WO2014155730A1 - 表示処理装置、及び表示処理方法 - Google Patents

表示処理装置、及び表示処理方法 Download PDF

Info

Publication number
WO2014155730A1
WO2014155730A1 PCT/JP2013/059732 JP2013059732W WO2014155730A1 WO 2014155730 A1 WO2014155730 A1 WO 2014155730A1 JP 2013059732 W JP2013059732 W JP 2013059732W WO 2014155730 A1 WO2014155730 A1 WO 2014155730A1
Authority
WO
WIPO (PCT)
Prior art keywords
display
unit
portable terminal
data
communication
Prior art date
Application number
PCT/JP2013/059732
Other languages
English (en)
French (fr)
Inventor
山田 雅弘
Original Assignee
株式会社東芝
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社東芝 filed Critical 株式会社東芝
Priority to PCT/JP2013/059732 priority Critical patent/WO2014155730A1/ja
Priority to JP2013556094A priority patent/JPWO2014155730A1/ja
Priority to US14/448,585 priority patent/US20140340344A1/en
Publication of WO2014155730A1 publication Critical patent/WO2014155730A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures

Definitions

  • Embodiments of the present invention relate to a display processing apparatus and a display processing method.
  • a display processing device provided with a user interface by a touch panel.
  • the display processing apparatus for example, when the user touches an icon or the like displayed on the user interface with a finger or a designated terminal, processing is performed based on data associated with the icon.
  • a display processing apparatus includes an acquisition unit, a communication unit, a communication control unit, and an output unit.
  • the acquisition unit acquires detection information indicating that the display area has been touched by the display device.
  • the communication unit enables transmission and reception of data with the communication terminal.
  • the communication control unit determines that the communication terminal has touched the display area based on the detection information acquired by the acquisition unit and the attribute information indicating the attribute of the communication terminal received from the communication terminal.
  • the communication unit communicates predetermined data with the communication terminal.
  • the output unit outputs, to the display unit, the screen information on which the display information representing the data is arranged, and when the communication unit enables communication with the communication terminal, the display information indicates data which can be used by the communication terminal. Are output to the display unit with different display information and display manner.
  • FIG. 1 is a hardware configuration diagram of the display processing apparatus according to the embodiment.
  • FIG. 2 is a view showing a modified example of displaying an image on a wall surface using a projector as a display unit.
  • FIG. 3 is a diagram showing a data structure of an icon data table stored in the icon storage unit according to the embodiment.
  • FIG. 4 is a hardware configuration diagram of the portable terminal according to the embodiment.
  • FIG. 5 is a diagram showing an example of a user interface screen when the terminal cooperation program is executed by the display processing apparatus according to the embodiment.
  • FIG. 6 is a view showing a modified example of the first screen in which icons representing data which can be used by the portable terminal according to the embodiment are displayed in different display modes from other icons.
  • FIG. 1 is a hardware configuration diagram of the display processing apparatus according to the embodiment.
  • FIG. 2 is a view showing a modified example of displaying an image on a wall surface using a projector as a display unit.
  • FIG. 3 is a diagram showing a data structure
  • FIG. 7 is a view showing a modified example of the second screen in which icons representing data which can be used by the portable terminal according to the embodiment are displayed in different display modes from other icons.
  • FIG. 8 is a diagram showing a timing chart when the cooperation processing between the display processing device according to the embodiment and the portable terminal is performed.
  • FIG. 9 is a diagram illustrating a timing chart when the cooperation processing between the display processing device according to the embodiment and a plurality of mobile terminals is performed.
  • FIG. 10 is a view showing an example of a screen in which icons representing data that can be used by each of a plurality of mobile terminals are displayed with different display modes from other icons.
  • FIG. 11 is a diagram showing an example of screen transition by display control of the output unit according to the embodiment.
  • FIG. 12 is a diagram showing an example of the destination of the icon movement by the output unit according to the embodiment.
  • FIG. 13 is a view showing the arrangement of portable terminals when data is downloaded from the display processing apparatus according to the embodiment.
  • FIG. 14 is a diagram showing an example of transition of screen information output by the output unit according to the embodiment.
  • FIG. 15 is a diagram showing a first example of the transition of the screen information output by the output unit according to the modification.
  • FIG. 16 is a diagram showing a second example of the transition of the screen information output by the output unit according to the modification.
  • FIG. 17 is a diagram showing an example of a screen on which a login button whose display mode has been changed is arranged by the output unit according to the embodiment.
  • FIG. 18 is a diagram showing an example of a screen on which a login button whose display mode has been changed is arranged by the output unit according to the embodiment.
  • FIG. 19 is a flowchart illustrating a procedure of processing until communication is started with the portable terminal in the display processing device according to the embodiment.
  • the display processing device displays a user interface screen on a touch panel display unit.
  • the display processing device executes a predetermined process by detecting a touch on the user interface screen.
  • the portable terminal is a portable communication terminal, and can use, for example, a smartphone or the like, but may use other dedicated devices.
  • the device may be shaped like a pen.
  • FIG. 1 is a hardware configuration diagram of the display processing device 1 according to the embodiment. As shown in FIG. 1, the display processing device 1 communicates with the display unit 11, the CPU 12, the display controller unit 13, the storage unit 14, the position acquisition unit 15, the position acquisition IF (interface) unit 16 and And a unit 17.
  • the display processing device 1 communicates with the display unit 11, the CPU 12, the display controller unit 13, the storage unit 14, the position acquisition unit 15, the position acquisition IF (interface) unit 16 and And a unit 17.
  • the display unit 11 includes a liquid crystal display panel or the like, and displays a user interface screen for the user.
  • the CPU 12 controls the entire display processing device 1.
  • the display controller unit 13 converts information and a user interface screen on the display unit 11 into an image format and draws the image according to control from the CPU 12.
  • the position acquisition unit 15 acquires position coordinates in contact with the display unit 11.
  • the position acquisition unit 15 is configured of a touch sensor film attached to the surface of the display unit 11.
  • sensors are arranged in the X-axis direction and the Y-axis direction, and when the user touches the screen with a hand, a finger, a portable terminal or the like, the touch sensor film detects these touches.
  • the detection signal including the touched position coordinate is output to the position acquisition IF unit 16.
  • it does not restrict
  • the position acquisition IF unit 16 outputs the detection signal (including the position coordinates detected by the touch sensor film) input from the position acquisition unit 15 to the CPU 12.
  • the position acquisition unit 15 may be an optical touch sensor.
  • the optical touch sensor may be a system that detects transmission or blocking of light to detect the presence of an object, or may be a system that detects the presence of an object from a captured image using a camera.
  • a television display device equipped with a touch panel can be considered, but the present invention is not limited to such a device.
  • FIG. 2 is a view showing a modified example of displaying an image on a wall surface using the projector 210 as the display unit 11.
  • the example shown in FIG. 2 is an example provided with optical touch sensors 201 and 202 as a position acquisition unit in order to detect a position when a touch is performed on a wall surface on which an image is projected. Even with such a modification, the same effect can be realized by the same processing as that of the embodiment.
  • the position acquisition unit is not limited to the optical touch sensors 201 and 202, and an imaging camera or the like may be used, or a touch sensor film may be used as in the embodiment.
  • the display processing device is not limited to a device having a display device internally, and any device that performs display processing may be used.
  • the display processing device may be, for example, a set top box to which a display device having a touch sensor is externally attached, a computer, or the like.
  • a display device having a touch sensor is well known as a monitor of a computer. For example, a signal from the touch sensor is input to a display processing device through a USB terminal.
  • the communication unit 17 is configured to enable transmission and reception of data with another terminal (for example, a communication terminal) of the display processing device 1.
  • the communication unit 17 performs data transmission / reception of a portable terminal by Bluetooth (registered trademark) or wireless LAN, Internet communication by wireless LAN, and the like.
  • the storage unit 14 is configured of a storage medium such as a ROM and a RAM capable of storing information, and includes an icon storage unit 21, a program group 22, and a terminal cooperation program 23.
  • the icon storage unit 21 includes image data of an icon displayed on the user interface screen, a program that performs processing when the icon is touched, and position information indicating the display position of the icon in the display area of the display unit 11. Are associated and stored.
  • FIG. 3 is a diagram showing the data structure of the icon data table 300 stored in the icon storage unit 21.
  • the icon data table 300 is used for an icon ID which is identification information of the icon, (position) coordinates which is an example of a position when displayed on the display unit 11, an icon size, and an icon.
  • the object ID specifying the image data to be stored and the program activated for each attribute of the terminal are stored in association with one record.
  • the image data of the icon specified by the object ID is drawn at the position indicated by (position) coordinates on the display unit 11 under the control of the CPU 12.
  • the icon data table 300 is an attribute 1 program in the case where the touched portable terminal is attribute 1 and an attribute in the case where the touched portable terminal is the attribute 2 as a program activated when the icon contacts.
  • Two programs and three types of finger handling programs when other than the portable terminal (for example, the user's finger) contacts are stored in association with the icon ID.
  • the program referred to here is not limited to one in which execution codes are different, and even in the same execution code, ones which pass different arguments are also expressed as different programs. For example, each includes starting a web browser but passing different URLs, or passing a different message while being a message display program.
  • the program group 22 stores programs to be executed by the display processing device 1.
  • the program group 22 includes the attribute 1 program, the attribute 2 program, the finger handling program, and the like described above.
  • the terminal cooperation program 23 includes the communication control unit 101, the acquisition unit 102, the determination unit 103, the activation unit 104, and the output unit 105, and is included in the program group 22 when a touch on the display unit 11 is detected. It performs control for activating a program or transmitting / receiving data.
  • the communication control unit 101 establishes communication with the portable terminal using the communication unit 17 and transmits and receives data to and from the portable terminal. For example, the communication control unit 101 receives, from the mobile terminal, attribute information indicating an attribute of the mobile terminal. Furthermore, the communication control unit 101 receives an acceleration detection signal indicating an acceleration generated in the mobile terminal and a tilt detection signal.
  • the attribute information includes the format format of data that can be used by the portable terminal, the model name of the portable terminal of the transmission source, the terminal type such as camera or audio player, and the inclination detected by the portable terminal Information and terminal authentication information are included. Furthermore, the size of displayable moving image data may be included. Furthermore, as the attribute information, an operation mode (operation state) indicating a reproduction mode, a data transmission mode, or a data reception mode for the portable terminal, an available data size, terminal authentication information, and key information are included.
  • the output unit 105 outputs screen information in which icons are arranged to the display unit 11 in order to display in the display area of the display unit 11.
  • the icons represent various data.
  • the acquisition unit 102 acquires detection information indicating that the display area of the display unit 11 is touched based on the detection signal input from the position acquisition unit 15 via the position acquisition IF unit 16.
  • the detection information to be acquired includes, in addition to the presence or absence of detection, position coordinates at which a touch occurs in the display area of the display unit 11.
  • the determination unit 103 determines various data indicated by icons based on the attribute information of the portable terminal. It is determined whether the portable terminal is available. In the present embodiment, an example will be described in which it is determined based on the format format etc. included in the attribute information whether or not the portable terminal can use the data, but the criteria of the determination is included in the attribute information
  • the format is not limited to the format, etc., and it may be determined based on the attribute of the portable terminal and the situation.
  • output unit 105 outputs an icon representing data that can be used by the portable terminal that has become communicable to display unit 11 with a different display mode from the other icons. .
  • the specific display mode will be described later.
  • the determination unit 103 determines , The portable terminal which contacted the display part 11 is specified.
  • the determination unit 103 detects the acceleration. It determines as the terminal which contacted the portable terminal of the transmission destination of a signal.
  • a threshold shall be defined by the aspect of implementation.
  • the determination unit 103 specifies a program to be activated based on the specified attribute of the portable terminal, the icon data table 300, and the position coordinates included in the acceleration detection signal. This enables the activation of a program according to the attribute of the portable terminal.
  • the activation unit 104 activates the program specified by the determination unit 103. For example, in the example shown in FIG. 3, when a touch on “Icon 1” is detected, “program 1” corresponding to attribute 1 is activated if the portable terminal corresponds to “attribute 1 program”. Note that the position coordinates of the position at which the portable terminal has touched and the position coordinates associated with the icon do not necessarily match or overlap. For example, when these position coordinates are close to a distance within a predetermined value, the activation unit 104 may activate the program corresponding to the icon.
  • the output unit 105 displays the icon by the communication control unit 101 with the portable terminal.
  • an animation display for moving the icon based on the position at which the contact of the mobile terminal is detected is performed in the display area of the display unit 11.
  • FIG. 4 is a hardware configuration diagram of the portable terminal 400 of the embodiment.
  • the portable terminal 400 includes a display unit 401, a CPU 402, a display controller unit 403, a storage unit 404, a position acquisition unit 405, a position acquisition IF (interface) unit 406, and a communication unit.
  • An acceleration detection unit 408 and an inclination detection unit 409 are provided.
  • the display unit 401, the CPU 402, the display controller unit 403, the position acquisition unit 405, the position acquisition IF (interface) unit 406, and the communication unit 407 included in the portable terminal 400 include the display unit 11, the CPU 12, and the display controller included in the display processing device 1.
  • the description will be omitted as the processing similar to that of the unit 13, the position acquisition unit 15, the position acquisition IF (interface) unit 16, and the communication unit 17 is performed.
  • the display unit 401 of the portable terminal 400 according to the present embodiment is an example in which the screen size is smaller than that of the display unit 11 of the display processing device 1.
  • the acceleration detection unit 408 detects an acceleration from an acceleration sensor provided in the portable terminal 400, and outputs acceleration information to the CPU 402.
  • the tilt detection unit 409 detects the tilt from the tilt sensor provided in the portable terminal 400, and outputs tilt information to the CPU 402.
  • the storage unit 404 is configured by a storage medium such as a ROM and a RAM capable of storing information, and includes an icon storage unit 412, a program group 411, and a display cooperation program 413.
  • the icon storage unit 412 includes image data of the icon displayed on the user interface screen, a program that performs processing when the icon is touched, and the user of the display unit 401. Position information representing a display position of an icon in the interface is stored in association with each other.
  • the program group 411 stores programs capable of reproducing and displaying data (for example, moving image data, audio data, picture data) on the portable terminal 400.
  • the display cooperation program 413 includes a control unit 421, a communication control unit 422, and a display control unit 423, is resident on the portable terminal 400, and performs control to cooperate with the display processing apparatus 1.
  • control unit 421 When transmitting data to the display processing device 1, the control unit 421 sets data reproduced and displayed in the program group 411 as a transmission target.
  • the communication control unit 422 performs control to transmit attribute information indicating an attribute of the portable terminal 400 when communication with the display processing device 1 is established. Further, when performing transmission control of data to the display processing device 1, the communication control unit 422 performs transmission control of data set by the control unit 421.
  • the display control unit 423 displays an icon representing data received by the communication control unit 422 from outside the display area of the display unit 401. Display moving animations. Further, when the communication control unit 422 transmits data with the display processing device 1, the display control unit 423 displays an icon representing the data transmitted by the communication control unit 422 in the display area of the display unit 401. Animate to move out.
  • Data transmission / reception is performed between the display processing apparatus 1 and the portable terminal 400 described above.
  • transmission and reception of data are triggered by an operation on the user interface screen of the display processing device 1.
  • FIG. 5 is a diagram showing an example of a user interface screen when the terminal cooperation program 23 is executed by the display processing device 1 of the present embodiment.
  • the display unit 11 of the display processing device 1 sets three moving image data, three music data, and two photo data stored in the storage unit 14 to different types. It is displayed by an icon. Furthermore, an icon representing a clock and an icon representing a weather forecast are displayed.
  • the display processing device 1 reproduces and displays the area.
  • the portable terminal 400 makes contact, if the data is usable by the portable terminal 400, the download is started.
  • an icon representing the weather or an icon representing a clock details are displayed when touched with a finger, but similar processing or no reaction occurs when touching with the portable terminal 400, and downloading is performed I can not do it.
  • the user can not recognize which icon is to be started when the portable terminal 400 is touched. Therefore, it is conceivable that the user keeps touching the icon representing the non-downloadable data on the portable terminal 400.
  • the mobile terminal when the mobile terminal is brought into contact with the touch panel, it can not be determined whether the mobile terminal has a data download function. For this reason, in the screen of FIG. 5A, the user blindly makes the portable terminal contact for each icon displayed on the touch panel and confirms it. For this reason, in the case where the contact is repeated many times in order not to be downloaded, it is conceivable that a strong impact is given and that the impact causes a failure.
  • the display modes of the icon representing downloadable data and the icon representing non-downloadable data are made different.
  • the user When the user wants to communicate with the display processing device 1 on the portable terminal 400, the user activates a display cooperation program 413 for communicating data with the display processing device 1 on the portable terminal 400.
  • the display cooperation program 413 waits for a communication request from the display processing device 1 and, if there is a communication request, sends a reply. Furthermore, the display cooperation program 413 sends a communication request to the terminal cooperation program 23 of the display processing device 1 which waits for a communication request. Thereby, the display processing device 1 can communicate with the portable terminal 400. Thereby, the display processing device 1 recognizes that the portable terminal 400 capable of data communication exists.
  • the display cooperation program is performed before the portable terminal enters the range of the LAN that can communicate with the display processing device 1. You may have launched 413.
  • Communication for downloading is started between the display processing device 1 and the portable terminal 400 in which communication is established. Thereby, attribute information indicating an attribute of the portable terminal 400 is transmitted to the display processing device 1.
  • the data format of the leftmost and the second from the left is ITU H 263 and the data format of the rightmost is It is ITU H264.
  • the leftmost is AIFF
  • the second data format from the left and the rightmost data format are MP3.
  • the determination unit 103 can recognize that the portable terminal 400 supports ITU H264, MPEG2, MP3, and AAC.
  • the start of data communication with the portable terminal 400 causes the screen shown in FIG. 5B to be displayed.
  • the output unit 105 displays an icon representing data that can be used by the portable terminal 400 based on the determination result of whether the data is usable by the portable terminal 400 by the determination unit 103.
  • the upload icon 504 is newly displayed.
  • the upload icon 504 is an icon for uploading data to the display processing device 1 when the mobile terminal 400 is touched, and can not be uploaded even if the finger is touched. Therefore, the upload icon 504 is not displayed when the mobile terminal is not recognized, and is displayed when the mobile terminal is recognized.
  • icons 501 ITU H 264
  • 502_1, 502_2 (MP3), and 503 are displayed as floating (with shadows emphasized) as a display mode different from the other.
  • the upload icon 504 is also displayed in a floating manner (shadow is emphasized) because the portable terminal 400 is available. Note that whether or not the data can be used by the portable terminal 400 is determined based on the attribute information.
  • Icons other than the icons 501 (ITU H 264), 502_1, 502_2 (MP3), 503 do not change the display mode. For this reason, even if the portable terminal 400 touches an icon other than the icons 501 (ITU H 264), 502_1, 502_2 (MP3), and 503, data communication is not performed.
  • a message may be displayed on the screen of the portable terminal 400 indicating that the interaction with the display processing device 1 has become possible.
  • a black circle is displayed on the screen of the portable terminal 400.
  • FIG. 6 is a view showing a modified example of the first screen in which icons representing data that can be used by the portable terminal 400 are displayed in different display modes from other icons.
  • the icons 601, 602_1, 602_2, and 603, and the upload icon 604 display a thick outer frame as a display mode different from the other icons.
  • Different display modes may change the size of the icon, shake or blink, or change the brightness or color.
  • an additional icon indicating a communicable state may be displayed, or an additional icon indicating an accessible icon may be displayed.
  • only the frame may be blinked, the blink speed may be changed, or the shaking speed may be changed. Moreover, you may combine and display these.
  • FIG. 7 is a view showing a modified example of the second screen in which icons representing data which can be used by the portable terminal 400 are displayed in different display modes from other icons.
  • an icon representing data that can be used by the portable terminal 400 is displayed so as to be floated out (shadow is emphasized) as in FIG.
  • a hatched line is superimposed and displayed on the icons 701_1, 701_2, 702, 703, 704, and 705 representing data that can not be used in 400.
  • the method is not limited to the example shown in FIG.
  • the display processing device 1 specifies the mobile terminal 400 as a linked terminal, and uploading of the set moving image data is performed. The specific method will be described later.
  • FIG. 5C the state in which the portable terminal 400 is placed on the upload icon 504 of the display unit 11 is shown.
  • the output unit 105 outputs a screen in which the display of the icon is restored.
  • the data stored in the first portable terminal 400 is uploaded.
  • the program activated by the activation unit 104 determines the type of the uploaded data, determines that the data is any of a moving image, music, and a photo, and is appropriate according to the determination result.
  • an icon 510 indicating the photo data uploaded from the first portable terminal 400 is additionally displayed in the area where the photo data is arranged.
  • the output unit 105 when uploading data from the portable terminal 400, the output unit 105 performs animation display such that data comes out from the position where the portable terminal 400 is detected.
  • FIG. 8 is a diagram showing a timing chart when cooperation processing between the display processing device 1 and the portable terminal 400 is performed.
  • the portable terminals 400 and 450 start communication by approaching the display processing device 1.
  • communication is performed by a wireless LAN.
  • the portable terminals 400 and 450 enter the same LAN as the display processing apparatus 1, they acquire an IP address between them.
  • the portable terminal 400 starts the display cooperation program 413 (application) according to the user's operation (step S901). Thereafter, the portable terminal 400 transmits attribute information to the display processing device 1 (step S902).
  • the transmission of the attribute information may be performed each time the settings of the portable terminals 400 and 450 are changed (e.g., each time the set data is changed). Also, transmission and reception of attribute information may be performed periodically.
  • the communication control unit 101 of the display processing device 1 delivers the received attribute information to the determination unit 103 (step S903). Then, the determination unit 103 determines data that can be used by the portable terminal 400 based on the attribute information (step S904).
  • the output unit 105 changes the display of the icon representing the data that can be used by the portable terminal 400 so that the display mode differs from that of the other icons (step S905). Thereby, the display screen shown in FIG. 5B is displayed.
  • the communication control unit 422 of the portable terminal 400 transmits the acceleration information detected by the acceleration detection unit 408 to the display processing device 1 as an acceleration detection signal.
  • the acquisition unit 102 of the display processing device 1 detects that the object is in contact with the upload icon 504 or a very near position by the detection signal (including the position coordinates) transmitted from the position acquisition unit 15. Get information.
  • the portable terminal that has transmitted the acceleration detection signal It determines with 400 having touched the display part 11, and determines the portable terminal 400 as cooperation object (step S906).
  • the determination unit 103 refers to the icon data table 300, and specifies a program to be executed among the plurality of programs associated with the icon touched by the portable terminal 400, based on the attribute of the portable terminal 400.
  • the activation unit 104 activates the program specified by the determination unit 103. Then, the started program transmits / receives data to / from the portable terminal 400 via the communication unit 17 (step S 907).
  • the acquisition unit 102 receives the detection signal (including the position coordinates) via the position acquisition unit 15, thereby making the contact of the portable terminal 450. To detect. Furthermore, the acquisition unit 102 acquires position coordinates of contact. Then, the communication control unit 101 receives an acceleration detection signal from the portable terminal 450. Then, the determination unit 103 identifies the portable terminal 450 that has made contact with the upload icon 504, and performs the same processing as when the portable terminal 400 has made contact.
  • the portable terminal 400 ends the display cooperation program 413 (application) according to the user's operation (step S 908). Thereafter, the portable terminal 400 transmits an end notification to the display processing device 1 (step S909). Then, the communication control unit 101 notifies the output unit 105 that the communication has ended (step S 910). As a result, the output unit 105 outputs the screen in which the display of the icon is returned to the original to the display unit 11 (step S911).
  • step S912 when the display processing device 1 changes the display of the icon when the application is started on the portable terminal 450 (step S912), the portable terminal 400 is changed according to the portable terminal 450 (step S916). It is assumed that the same processing is performed (steps S913 to S918).
  • the user can easily identify the icon of data available on the portable terminals 400 and 450 among the icons displayed on the display processing device 1. As a result, it is possible to prevent the display of the available data icon by causing the portable terminal 400 or 450 to contact the displayed icon on an as-needed basis. Furthermore, it is possible to prevent repeated contact because the user does not operate by touching the icon having no function.
  • the display processing device 1 has described the case where the target of data communication is one portable terminal. However, the display processing device 1 does not limit the target of data communication to one portable terminal, and data communication may be performed with a plurality of portable terminals.
  • the display processing device 1 communicates data with a plurality of mobile terminals
  • the plurality of mobile terminals may not have the same function.
  • data available to a plurality of mobile terminals will be different.
  • various methods can be considered as a method of changing the display mode of the icons on the screen output by the output unit 105.
  • the output unit 105 changes the display mode of an icon of data that can be used by any of the plurality of mobile terminals.
  • a method may be considered in which the display mode of only the icons of data available on any one portable terminal among a plurality of portable terminals is changed.
  • the display cooperation program is started, and only the icons of the data available on the portable terminal that can communicate data with the display processing device 1 earlier are made different from each other in the display mode. It is conceivable that the display mode of the icon is not changed corresponding to the portable terminal that has become communicable.
  • FIG. 9 is a diagram showing a timing chart when the cooperation processing between the display processing device 1 and the portable terminals 400 and 450 is performed.
  • the portable terminal 400 starts the display cooperation program 413 (application) according to the operation of the user (step S1001). Thereafter, the portable terminal 400 transmits the attribute information to the display processing device 1 (step S1002).
  • the communication control unit 101 of the display processing device 1 delivers the received attribute information of the portable terminal 400 to the determination unit 103 (step S1003). Then, the determination unit 103 determines data that can be used by the portable terminal 400 based on the attribute information (step S1004).
  • the output unit 105 changes the display of the icon representing the data that can be used by the portable terminal 400 so that the display mode differs from that of the other icons (step S1005). Thereby, the display screen shown in FIG. 5B is displayed.
  • the portable terminal 450 also starts the display cooperation program 413 (application) according to the operation of the user (step S1006). Thereafter, the portable terminal 450 transmits the attribute information to the display processing device 1 (step S1007).
  • the communication control unit 101 of the display processing device 1 delivers the received attribute information of the portable terminal 450 to the determination unit 103 (step S1008). Then, the determination unit 103 determines data that can be used by the portable terminal 450 based on the attribute information (step S1009).
  • the output unit 105 changes the display of the icons representing data that can be used by the portable terminal 400 and the portable terminal 450 so that the display mode differs from that of the other icons (step S1010). Thereby, the display screen shown in FIG. 10 is displayed.
  • FIG. 10 is a view showing an example of a screen in which icons representing data which can be used by the portable terminals 400 and 450 are displayed in different display modes from other icons.
  • the display modes of the icons are made different so that data available to the mobile terminal 400 and data available to the mobile terminal 450 can be identified.
  • the color (shaded) of the outer frame is made different.
  • the data shown by the icons 804 and 806 whose outer frames are represented by dark hatching are data that can be used only by the portable terminal 450.
  • data indicated by icons 801 and 805 whose outer frames are represented by light hatching are data that can be used only by the portable terminal 400.
  • the data indicated by the icons 802 and 803 in which the outer frame in which the light hatching and the dark hatching are combined are shown is data that can be used by both the portable terminals 400 and 450.
  • an upload icon 807 in which an outer frame combining a light hatching and a dark hatching is displayed is also available to both the portable terminals 400 and 450.
  • the user can recognize the icons that can be used by each mobile terminal by the color (shaded) displayed on the display unit 401 of the mobile terminals 400 and 450.
  • the communication control unit 422 of the portable terminal 400 transmits the acceleration information detected by the acceleration detection unit 408 to the display processing device 1 as an acceleration detection signal.
  • the acquisition unit 102 of the display processing device 1 detects that the object is in contact with the upload icon 504 or a very near position by the detection signal (including the position coordinates) transmitted from the position acquisition unit 15. Get information.
  • the portable terminal that has transmitted the acceleration detection signal It determines with 400 having touched the display part 11, and determines the portable terminal 400 as cooperation object (step S1011).
  • the determination unit 103 refers to the icon data table 300, and specifies a program to be executed among the plurality of programs associated with the icon touched by the portable terminal 400, based on the attribute of the portable terminal 400.
  • the activation unit 104 activates the program specified by the determination unit 103. Then, the started program transmits / receives data to / from the portable terminal 400 via the communication unit 17 (step S1012).
  • the communication control unit 101 of the display processing device 1 receives the acceleration detection signal from the first portable terminal 400 and the acceleration detection signal from the second portable terminal 450 at substantially the same timing.
  • the acceleration detection signal is received from the first portable terminal 400 and the second portable terminal 450 within a predetermined threshold after the acquisition unit 102 detects a touch.
  • the timing at which the portable terminal 400 touches the display unit 11 of the display processing device 1 substantially matches the timing at which the portable terminal 450 in a bag collides somewhere with the bag and generates an acceleration.
  • the second mobile terminal 450 performs a completely different operation from the first mobile terminal 400, and the first mobile terminal 400 displays the display processing device at a timing when the user strongly taps the screen of the second mobile terminal 450.
  • the timing may coincide with the timing at which the first display unit 11 is touched.
  • the time of the acceleration detection signal received from the portable terminal 400 and the time of the acceleration detection signal received from the second portable terminal 450 are very close to the time when the determination unit 103 receives the detection signal (within a predetermined threshold) ) (Step S1013).
  • the output unit 105 outputs, to the display unit 11, screen information on which a message such as “Please touch again” is displayed (step S1014).
  • the determination unit 103 identifies a plurality of contact terminals, it is not limited to prompting the contact again, and it is considered that both contacts, and the corresponding programs are executed for both mobile terminals. You may Thus, the operation is determined according to the embodiment.
  • FIG. 11 is a diagram illustrating an example of screen transition by display control of the output unit 105.
  • FIG. 11A a state in which the portable terminal 400 is arranged on the upload icon 504 is shown.
  • mobile terminal 400 it is assumed that data to be uploaded has already been selected.
  • the picture data stored in the portable terminal 400 is displayed as an icon on the screen of the portable terminal 400. Then, when the portable terminal 400 touches the display unit 11 of the display processing device 1, data transfer is started.
  • the output unit 105 is displayed according to the degree of progress of data transfer (the ratio of the amount of transferred data to the total amount of data). Change the proportion of icons. Specifically, the output unit 105 increases the ratio of the displayed icons as the upload proceeds.
  • the animation display is performed so as to be synchronized between the output unit 105 of the display processing device 1 and the display control unit 423 of the portable terminal 400.
  • the display screen can be synchronized by the output unit 105 and the display control unit 423 performing display according to the progress status of the upload.
  • the display control unit 423 of the portable terminal 400 also changes the ratio of the displayed icon according to the progress degree (the amount of untransferred data with respect to the total capacity of data). Specifically, the display control unit 423 of the portable terminal 400 reduces the ratio of the displayed icons as the upload progresses. Thereby, the icons displayed between the display processing device 1 and the portable terminal 400 are synchronized.
  • the position of the icon displayed by the output unit 105 is determined based on the position coordinates of the portable terminal 400 acquired by the position acquisition unit 15.
  • the position of the icon displayed by the output unit 105 of the display processing device 1 is matched with the position of the icon displayed by the display control unit 423 of the portable terminal 400.
  • the mobile terminal 400 transmits tilt information to the display processing apparatus 1 in order to synchronize the position and the like of the icon.
  • the portable terminal 400 transmits model information for specifying the portable terminal 400, screen size, resolution, and the like to the display processing apparatus 1.
  • the display processing device 1 according to the modification is output from the outer side of the portable terminal 400 specified from the received tilt information and the model information (or the size of the portable terminal 400). You may display an icon as it comes.
  • the display control unit 423 displays an icon 1101 representing the data when the transfer of the data is completed. Thereafter, the display control unit 423 moves the icon 1101 according to the type of data.
  • the display control unit 423 performs the above-described display control, whereby the user can recognize the communication state of data.
  • the terminal cooperation program 23 detects that the portable terminal 400 has touched the display unit 11, the terminal cooperation program 23 does not immediately start data transfer, but displays a confirmation dialog on the portable terminal 400 and operates to the user You may ask for confirmation of This makes it possible to suppress data transfer contrary to the user's intention when the determination as to whether or not the first portable terminal 400 has touched is erroneous.
  • the size of the icon may be adjusted so that the size matches the icon displayed on the portable terminal 400. Good. Thereby, the icons can be displayed in the same or substantially the same size on the portable terminal 400 and the display processing device 1.
  • the output unit 105 displays a dialog of “transfer lock” and “transfer stop” as shown in FIGS. 11A and 11B before or during transfer of data with the portable terminal 400. You may If the display processing device 1 does not receive the selection for the dialog, the data transfer is stopped when the portable terminal 400 is released from the display unit 11 after the transfer is started. On the other hand, when the selection of “transfer lock” is received, data transfer is continued even when the portable terminal 400 is separated from the display unit 11. Thus, data transfer according to the user's request can be realized.
  • the display processing device 1 receives the selection of “transfer interruption”
  • data transfer between the display processing device 1 and the portable terminal 400 is interrupted. That is, when the selection of “transfer lock” is received, the data transfer is not interrupted only by releasing the portable terminal 400 from the display unit 11, but when the selection of “transfer interruption” is received from the user, the data transfer is performed. It can be interrupted. Thus, data transfer can be interrupted by selecting “transfer interruption” when the user still wants to interrupt data transfer despite selecting “transfer lock”.
  • FIG. 12 is a diagram showing an example of the destination of the icon movement by the output unit 105. As shown in FIG. 12, when the received data is moving image data, the output unit 105 moves the icon of the moving image data to the position 1203. If the received data is music data, the output unit 105 moves the icon of the music data to the position 1202. If the received data is photo data, the output unit 105 moves the icon of the photo data to the position 1201.
  • FIG. 13 is a diagram showing the arrangement of the portable terminal 400 when downloading data from the display processing device 1. As shown in FIG. 13, by arranging the portable terminal 400 on the icon 1301, downloading of photo data indicated by the icon 1301 is started.
  • the output unit 105 displays an animation such that the icon moves to the portable terminal 400 also when downloading.
  • an animation such that the icon moves to the portable terminal 400 also when downloading.
  • various aspects are considered. For example, enlargement or reduction may be performed only in the vertical direction or the horizontal direction of the icon toward the portable terminal 400 to be downloaded.
  • FIG. 14 is a diagram showing an example of transition of screen information output by the output unit 105. As shown in FIG. As shown in FIG. 14A, it is assumed that the portable terminal 400 contacts on the icon 1401. As a result, the acquisition unit 102 detects a touch of the mobile terminal 400, and the data indicated by the icon 1401 with which the mobile terminal 400 is in contact is specified as the download target.
  • the output unit 105 moves the icon 1401 in a contracted manner only in the horizontal axis direction based on the position where the portable terminal 400 is in contact. , To control display.
  • the output unit 105 performs display control so that the icon moves in a contracted manner only in the horizontal axis direction as downloading to the portable terminal 400 proceeds. Do. Further, when the icon 1401 is configured of a plurality of images, the design of the icon may be changed according to the download status. In FIG. 14, the contents of the icons are gradually crushed, and it is assumed that the facial expression in the inside is animated and drawn.
  • FIG. 15 is a diagram showing a first example of transition of screen information output by the output unit 105 according to the modification.
  • the portable terminal 400 contacts on the icon 1500.
  • the acquisition unit 102 detects a touch of the portable terminal 400, and the data indicated by the icon 1500 with which the portable terminal 400 is in contact is specified as the download target.
  • the output unit 105 displays an animation that reduces the size of the icon according to the screen size and resolution of the portable terminal 400.
  • the portable terminal 400 transmits the screen size and the resolution to the display processing apparatus 1 in advance. Further, the display processing device 1 may specify the screen size and the resolution based on the model information received from the portable terminal 400.
  • the output unit 105 displays the icon 1503 of the portable terminal 400. Animate as you move to the detected position.
  • the output unit 105 ends the display of the icon representing the data that has been downloaded, while the display control unit 423 of the portable terminal 400 The entire icon 1504 representing the downloaded data is displayed. This allows the user to recognize that the data download is complete.
  • FIG. 16 is a diagram illustrating a second example of the transition of the screen information output by the output unit 105 according to the modification. As shown in FIG. 16A, it is assumed that the portable terminal 400 contacts on the icon 1601. As a result, the acquisition unit 102 detects a touch of the portable terminal 400, and the data indicated by the icon 1601 with which the portable terminal 400 is in contact is specified as the download target.
  • the output unit 105 sets the icon 1601 from the area farthest from the reference based on the position where the portable terminal 400 is in contact. , Animate to change the brightness and color.
  • the output unit 105 moves away from the position contacting the portable terminal 400 as the download to the portable terminal 400 proceeds.
  • the animation is displayed by gradually increasing the brightness (changing the color to white). As a result, animation is displayed such that the pattern disappears with the passage of time. Therefore, the user can be made to recognize the data indicated by the icons 1601 to 1603 as they enter the portable terminal 400.
  • the example in which the display mode of the icon is made different according to the data that can be used by the mobile terminal has been described.
  • different display modes are not limited to icons.
  • the portable terminal 400 transmits attribute information to the display processing device 1. It is assumed that the attribute information includes information for identifying a login-enabled system.
  • FIG. 17 is a diagram showing an example of a screen on which a login button whose display mode has been changed by the output unit 105 is arranged.
  • a message response OK
  • the display is performed, when the log-in button 1701 is touched by the portable terminal 400, the identification information and the password are exchanged, and the log-in process is performed.
  • FIG. 18 is a diagram showing an example of a screen on which a login button whose display mode has been changed by the output unit 105 is arranged. In the screen example shown in FIG. 18A, a message (response NG) indicating that login can not be performed is displayed.
  • the output unit 105 Please output the screen information including the message "Please make 1802".
  • FIG. 19 is a flowchart showing the procedure of the above-described processing in the display processing device 1 according to the present embodiment.
  • the communication unit 17 detects whether there is a communicable mobile terminal (step S1901). If not detected (step S1901: No), the process of step S1901 is repeated until a communicable portable terminal is detected. On the other hand, when the communication unit 17 detects a communicable mobile terminal (step S1901: Yes), communication with each of the detected mobile terminals is started. Then, the terminal cooperation program 23 acquires attribute information of each portable terminal via the communication unit 17 (step S1902).
  • the determination unit 103 determines data usable by the mobile terminal based on the attribute information (step S1903). Then, the output unit 105 changes the display mode of the icon according to the determination result (step S1904).
  • the acquisition unit 102 determines whether a touch on the display unit 11 is detected based on the detection signal from the position acquisition unit 15 (step S1905). If the acquisition unit 102 determines that the touch on the display unit 11 is detected (Yes at Step S1905), the acquisition unit 102 acquires position coordinates at which the touch is detected based on the detection signal (Step S1906). On the other hand, when it is determined that the touch on the display unit 11 is not detected (step S1905: No), the process of step S1905 is repeated.
  • the communication control unit 101 determines whether an acceleration detection signal has been received from the portable terminal via the communication unit 17 (step S1907).
  • the acceleration detection signal is not received (step S1907: No)
  • the portable terminal is not in contact, but it is considered that the finger of the person or the like is in contact, and the finger of the person or the like is in contact with the position indicated by the position coordinates.
  • the process (program) in the case of having been performed is specified (step S1912).
  • the activation unit 104 executes the specified processing (program) (step S1913).
  • specified processing for example, reproduction, display or the like of data (moving image data, music data, picture data) associated with an icon present at the touched position is used.
  • step S1907: Yes when the communication control unit 101 receives an acceleration detection signal (step S1907: Yes), an acceleration occurs in the portable terminal based on the time when the determination unit 103 detects a touch based on the detection signal and the mobile terminal based on the acceleration detection signal. It is determined whether the time is within a predetermined threshold, in other words, whether or not the occurrence timing is near (step S1908). If it is determined that it is not within the predetermined threshold (step S1908: NO), the process is performed from step S1912.
  • the determination unit 103 determines that the value is within the predetermined threshold (Yes at step S1908), the mobile terminal that has transmitted the acceleration detection signal is considered to be touched, and the mobile terminal is identified as data transmission / reception (step S1909). ).
  • the determination unit 103 determines whether the data indicated by the touched icon is available to the portable terminal 400 (step S1910). If it can not be used (step S1910: NO), the process ends.
  • step S1910 determines that the information is available (step S1910: YES)
  • the program identifies the position coordinates at which the contact has occurred and the attribute information of the portable terminal to which data is to be transmitted. Then, the activation unit 104 activates the identified program. Thus, communication is started between the display processing device 1 and the portable terminal (step S1911).
  • the icons are displayed in an animated manner according to the amount of transferred data.
  • the display mode of the icons is not limited to being proportional to the transfer amount.
  • the start of the animation display is not limited to the start of the data transfer at the same time as the start of the data transfer, and the timing may be any timing related to the data transfer operation.
  • the animation display may be started at the timing when the transfer ends, or the animation display may be started at the timing when the icon is touched.
  • the display information representing the data is not limited to the icons, but may be image data representing the data, for example, a thumbnail or the like.
  • thumbnails When thumbnails are used, it is easy for the user to recognize what the content of the data being transferred is.
  • the portable terminal 400 contacts by receiving tilt information of the portable terminal 400.
  • region which is carrying out was demonstrated.
  • the present invention is not limited to the case where the display unit 11 is arranged vertically, and may be arranged horizontally or the like. In this case, the area in which the portable terminal is in contact can be specified by acquiring the azimuth information from the portable terminal with the azimuth magnet function.
  • the display processing device 1 of the present embodiment described above when there is a touch on the icon of the display unit 11 by the portable terminal, the touched portable terminal is identified from the acquired acceleration detection signal, You have launched a program to transfer to your mobile device. Therefore, even when there are a plurality of portable terminals that can transmit to and receive from the display processing device 1, it is possible to transfer between the portable terminals intended by the user. As a result, erroneous transmission can be suppressed, and user convenience can be improved.
  • the program can execute the program according to the portable terminal, and convenience can be improved.
  • the user can easily grasp the transfer status by performing animation display according to the status of the transfer data. Furthermore, by making the display mode different according to the position where the portable terminal is placed, it becomes easy to intuitively recognize the process currently performed for the user.
  • the icons displayed between the display processing device 1 and the portable terminal 400 can be synchronized. This improves the visibility.
  • the display processing device 1 determines whether or not the mobile terminal can be used according to the display mode of the icon (display information). As a result, the convenience of the user is improved, and it is possible to suppress the occurrence of a problem caused by repeated contact.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)

Abstract

 実施形態にかかる表示処理装置は、取得部と、通信部と、通信制御部と、出力部と、を備える。取得部は、表示装置が表示を行う表示領域に接触されたことを示す検出情報を取得する。通信部は、通信端末との間でデータの送受信を可能とする。通信制御部は、取得部が取得した検出情報と、通信端末から受信した、当該通信端末の属性を示した属性情報と、に基づいて表示領域に通信端末が接触したと判定される場合に、通信部より通信端末との間で所定のデータの通信を行う。出力部は、データを表す表示情報が配置された画面情報を表示部に出力すると共に、通信部により通信端末と通信が可能となった場合に、当該通信端末が利用可能なデータを表す表示情報を、他の表示情報と表示態様を異ならせて表示部に出力する。

Description

表示処理装置、及び表示処理方法
 本発明の実施形態は、表示処理装置、及び表示処理方法に関する。
 従来、タッチパネルによるユーザインタフェースを備えた表示処理装置が知られている。表示処理装置では、例えば利用者が指や指定の端末において、ユーザインタフェース上に表示されたアイコン等に接触した場合に、アイコンに関連付けられたデータに基づく処理を行っている。
 例えば、表示処理装置が表示するアイコン等に対して、通信端末で接触した際に、通信端末と表示処理装置との間で、接触したアイコンに対応するデータを送受信する技術が知られている。
特開2009-282854号公報
 しかしながら、従来技術では、通信端末で利用可能なデータの形式が限られているが、ユーザインタフェースに表示されたアイコンでは、当該通信端末で利用可能なデータであるか否かを認識するのは難しい。
 本発明は、上記に鑑みてなされたものであって、表示処理装置は、取得部と、通信部と、通信制御部と、出力部と、を備える。取得部は、表示装置が表示を行う表示領域に接触されたことを示す検出情報を取得する。通信部は、通信端末との間でデータの送受信を可能とする。通信制御部は、取得部が取得した検出情報と、通信端末から受信した、当該通信端末の属性を示した属性情報と、に基づいて表示領域に通信端末が接触したと判定される場合に、通信部より通信端末との間で所定のデータの通信を行う。出力部は、データを表す表示情報が配置された画面情報を表示部に出力すると共に、通信部により通信端末と通信が可能となった場合に、当該通信端末が利用可能なデータを表す表示情報を、他の表示情報と表示態様を異ならせて表示部に出力する。
図1は、実施形態にかかる表示処理装置のハードウェア構成図である。 図2は、表示部としてプロジェクタを用いて、壁面に画像を表示する変形例を示した図である。 図3は、実施形態にかかるアイコン記憶部に記憶されるアイコンデータテーブルのデータ構造を示した図である。 図4は、実施形態にかかる携帯端末のハードウェア構成図である。 図5は、実施形態にかかる表示処理装置で端末連携プログラムを実行した時のユーザインタフェース画面の例を示した図である。 図6は、実施形態にかかる携帯端末が利用可能なデータを表すアイコンを、他のアイコンと表示態様を異ならせて表示された第1の画面の変形例を示した図である。 図7は、実施形態にかかる携帯端末が利用可能なデータを表すアイコンを、他のアイコンと表示態様を異ならせて表示された第2の画面の変形例を示した図である。 図8は、実施形態にかかる表示処理装置と携帯端末との連携処理が行われる際のタイミングチャートを示した図である。 図9は、実施形態にかかる表示処理装置と複数の携帯端末との連携処理が行われる際のタイミングチャートを示した図である。 図10は、複数の携帯端末の各々が利用可能なデータを表すアイコンが、他のアイコンと表示態様を異ならせて表示された画面例を示した図である。 図11は、実施形態にかかる出力部の表示制御による画面遷移の例を示した図である。 図12は、実施形態にかかる出力部によるアイコンの移動先の例を示した図である。 図13は、実施形態にかかる表示処理装置からデータをダウンロードさせる際の携帯端末の配置を示した図である。 図14は、実施形態にかかる出力部により出力される画面情報の遷移の例を示した図である。 図15は、変形例にかかる出力部により出力される画面情報の遷移の第1の例を示した図である。 図16は、変形例にかかる出力部により出力される画面情報の遷移の第2の例を示した図である。 図17は、実施形態にかかる出力部により、表示態様が変更されたログインボタンが配置された画面例を示した図である。 図18は、実施形態にかかる出力部により、表示態様が変更されたログインボタンが配置された画面例を示した図である。 図19は、実施形態にかかる表示処理装置における、携帯端末との間で通信を開始するまでの処理の手順を示すフローチャートである。
 以下に、表示処理装置及び表示処理方法を適用した実施形態を図面に基づいて説明する。なお、この実施形態によりこの発明が限定されるものではない。
 実施形態にかかる表示処理装置は、タッチパネル式の表示部にユーザインタフェース画面を表示する。表示処理装置は、ユーザインタフェース画面に対する接触を検出することで所定の処理を実行する。携帯端末は、携帯可能な通信端末であり、例えばスマートフォン等を利用することができるが、他の専用のデバイスを利用してもよい。例えば、ペンのような形状のデバイスであってもよい。
 図1は、実施形態の表示処理装置1のハードウェア構成図である。図1に示されるように、表示処理装置1は、表示部11と、CPU12と、表示コントローラ部13と、記憶部14と、位置取得部15と、位置取得IF(インターフェース)部16と、通信部17とを備えている。
 表示部11は、液晶表示パネル等で構成されており、利用者に対するユーザインタフェース画面を表示する。CPU12は、表示処理装置1全体を制御する。表示コントローラ部13は、CPU12からの制御に従って、表示部11に情報やユーザインタフェース画面を画像の形式に変換して描画する。
 位置取得部15は、表示部11に接触した位置座標を取得する。位置取得部15は、表示部11の表面に貼られたタッチセンサーフィルムにより構成される。タッチセンサーフィルムにはX軸方向、及びY軸方向にセンサーが並んでおり、利用者が手や指、又は携帯端末等で画面に接触した場合に、タッチセンサーフィルムがこれらの接触を検出して、接触した位置座標を含めた検出信号を、位置取得IF部16に出力する。なお、実際に接触することに制限するものではなく、表示部11に物体がほぼ接触した状態を、接触とみなしてもよい。
 位置取得IF部16は、位置取得部15から入力された検出信号(タッチセンサーフィルムが検出した位置座標を含む)を、CPU12に出力する。
 位置取得部15は、光学式タッチセンサーであってもよい。光学式タッチセンサーは光が透過したり遮断されたりすることを検出して物体の存在を検出する方式でもよいし、またカメラを用いてその撮像画像から物体の存在を検出する方式でもよい。
 実施形態の表示処理装置1としては、例えばタッチパネルを搭載したテレビジョン表示装置などが考えられるが、このような装置に制限するものではない。
 図2は、表示部11としてプロジェクタ210を用いて、壁面に画像を表示する変形例を示した図である。図2に示す例では、位置取得部として、画像が投影された壁面に対して、接触が行われた場合の位置を検出するために、光学式タッチセンサー201、202を備えた例である。このような変形例であっても、実施形態と同様の処理で、同様の効果を実現できる。また、位置取得部として、光学式タッチセンサー201、202に制限するものではなく、撮像カメラ等を用いてもよいし、実施形態と同様に、タッチセンサーフィルムを用いてもよい。
 さらには、表示処理装置としては、表示装置を内部に備えた装置に制限するものではなく、表示処理を行う装置であればよい。表示処理装置としては、例えば、タッチセンサーを有する表示装置を外付けするセット・トップ・ボックスや、コンピュータ等であってもよい。タッチセンサーを有する表示装置としては、コンピュータのモニターとしてよく知られており、例えばタッチセンサーからの信号はUSB端子を介して表示処理装置に入力される。
 図1に示される実施形態に戻り、通信部17は、表示処理装置1の他の端末(例えば通信端末)との間のデータの送受信を可能とする構成とする。例えば、通信部17は、Bluetooth(登録商標)や無線LANによる携帯端末のデータ送受信や、無線LANによるインターネット通信等を行う。
 記憶部14は、情報を記憶可能なROM及びRAMなどの記憶媒体で構成され、アイコン記憶部21と、プログラム群22と、端末連携プログラム23とを備えている。
 アイコン記憶部21は、ユーザインタフェース画面上に表示するアイコンの画像データと、アイコンが接触された場合に処理を行うプログラムと、表示部11の表示領域における当該アイコンの表示位置を表す位置情報と、を対応付けて記憶している。
 図3は、アイコン記憶部21に記憶されるアイコンデータテーブル300のデータ構造を示した図である。図3に示されるように、アイコンデータテーブル300は、アイコンの識別情報であるアイコンIDと、表示部11で表示する際の位置の一例である(位置)座標と、アイコンサイズと、アイコンに用いられる画像データを指定するオブジェクトIDと、端末の属性毎に起動するプログラムと、を1レコードに対応付けて記憶している。
 オブジェクトIDによって規定されるアイコンの画像データは、CPU12の制御に従って、表示部11に、(位置)座標で示された位置に描画される。また、本実施形態にかかるアイコンデータテーブル300は、当該アイコンが接触した際に起動するプログラムとして、接触した携帯端末が属性1の場合の属性1プログラム、接触した携帯端末が属性2の場合の属性2プログラム、及び携帯端末以外(例えば利用者の指)が接触した場合の指対応プログラムの3種類を、アイコンIDと対応付けて記憶している。
 ここでいうプログラムとは、実行コードが異なるものに限るわけではなく、同じ実行コードであっても異なる引数を渡すものも異なるプログラムと表現する。例えば、どれもウェブブラウザを起動するがそれぞれ異なるURLを渡す、あるいはメッセージ表示プログラムでありながら、異なるメッセージを渡す、というものを含んでいる。
 図1に戻り、プログラム群22は、表示処理装置1が実行するプログラムが格納されている。例えば、プログラム群22には、上述した属性1プログラム、属性2プログラム、及び指対応プログラム等を含んでいる。
 端末連携プログラム23は、通信制御部101と、取得部102と、判定部103と、起動部104と、出力部105とを含み、表示部11に対する接触を検出した場合に、プログラム群22に含まれているプログラムを起動、又はデータを送受信させるための制御を行う。
 通信制御部101は、通信部17を用いて、携帯端末との間で通信を確立し、当該携帯端末との間でデータの送受信を行う。例えば、通信制御部101は、携帯端末から、当該携帯端末の属性が示された属性情報を受信する。さらには、通信制御部101は、当該携帯端末で生じた加速度を示した加速度検出信号や、傾き検出信号を受信する。
 属性情報には、携帯端末で利用可能なデータのフォーマット形式が含まれているほか、送信元の携帯端末の機種名、カメラなのかオーディオプレーヤーなのかなどの端末種類、携帯端末で検出された傾き情報、端末認証情報が含まれている。さらには、表示可能な動画像データのサイズなどが含まれていてもよい。さらには、属性情報として、携帯端末について再生モード、データ送信モード、又はデータ受信モード等を示す動作モード(動作状態)、利用可能なデータサイズや、端末認証情報や鍵情報が含まれている。
 出力部105は、表示部11の表示領域に表示するために、表示部11に対して、アイコンが配置された画面情報を出力する。アイコンは、各種データを表すものとする。
 取得部102は、位置取得IF部16を介して、位置取得部15から入力された検出信号に基づいて、表示部11の表示領域に接触されたことを示す検出情報を取得する。取得する検出情報には、検出の有無の他に、表示部11の表示領域内における、接触が生じた位置座標が含まれている。
 判定部103は、通信制御部101の制御により通信が確立され、携帯端末と通信が可能となった場合に、当該携帯端末の属性情報に基づいて、アイコンで示されている各種データについて、当該携帯端末が利用可能であるか否かを判定する。なお、本実施形態では、携帯端末が利用可能なデータであるか否かを、属性情報に含まれるフォーマット形式等に基づいて判定する例について説明するが、判定の基準を、属性情報に含まれるフォーマット形式等に制限するものではなく、携帯端末の属性、状況に基づいて判定できれば良い。
 そして、出力部105は、判定部103による判定結果に基づいて、通信可能となった携帯端末が利用可能なデータを表すアイコンを、他のアイコンと表示態様を異ならせて表示部11に出力する。なお、具体的な表示態様については後述する。
 さらに、判定部103は、取得部102が携帯端末から検出情報を取得した時刻(換言すれば、接触を検出した時刻)と、通信制御部101が加速度検出信号を受信した時刻と、に基づいて、表示部11に接触した携帯端末を特定する。本実施形態では、判定部103が、取得部102により接触が検出された時刻と、通信制御部101が加速度検出信号を受信した時刻と、の時間差が所定の閾値以内の場合に、当該加速度検出信号の送信先の携帯端末を接触した端末として判定する。なお、閾値は実施の態様により定められるものとする。
 さらに、判定部103は、特定された携帯端末の属性と、アイコンデータテーブル300と、加速度検出信号に含まれている位置座標と、に基づいて起動するプログラムを特定する。これにより、携帯端末の属性に応じたプログラムの起動が可能となる。
 起動部104は、判定部103により特定されたプログラムを起動する。例えば、図3に示す例において、“Icon1”に対する接触を検出した場合に、携帯端末が“属性1プログラム”に対応するものであれば、属性1に対応する“プログラム1”を起動させる。なお、携帯端末が接触した位置の位置座標と、アイコンに対応付けられた位置座標とは、必ずしも一致、もしくは重なっている必要はない。例えば、これらの位置座標が、所定値以内の距離に近接している場合に、起動部104が、アイコンに対応するプログラムを起動させてもよい。
 そして、出力部105は、判定部103による判定結果により、アイコンに接触した携帯端末(通信可能な携帯端末)が特定された後、通信制御部101により当該携帯端末との間で、アイコンで示されるデータを送受信する場合に、携帯端末の接触が検出された位置を基準に当該アイコンを移動させるアニメーション表示を、表示部11の表示領域内で行う。
 図4は、実施形態の携帯端末400のハードウェア構成図である。図4に示されるように、携帯端末400は、表示部401と、CPU402と、表示コントローラ部403と、記憶部404と、位置取得部405と、位置取得IF(インターフェース)部406と、通信部407と、加速度検出部408と、傾き検出部409とを備えている。
 携帯端末400が備える表示部401、CPU402、表示コントローラ部403、位置取得部405、位置取得IF(インターフェース)部406、及び通信部407は、表示処理装置1が備える表示部11、CPU12、表示コントローラ部13、位置取得部15、位置取得IF(インターフェース)部16、及び通信部17と同様の処理を行うものとして、説明を省略する。なお、本実施形態にかかる携帯端末400の表示部401は、表示処理装置1の表示部11と比べて画面サイズが小さい例とする。
 加速度検出部408は、携帯端末400に設けられた加速度センサーから加速度を検出し、加速度情報をCPU402に出力する。
 傾き検出部409は、携帯端末400に設けられた傾きセンサーから傾きを検出し、傾き情報をCPU402に出力する。
 記憶部404は、情報を記憶可能なROM及びRAMなどの記憶媒体で構成され、アイコン記憶部412と、プログラム群411と、表示連携プログラム413とを備えている。
 アイコン記憶部412は、表示処理装置1のアイコン記憶部21と同様に、ユーザインタフェース画面上に表示するアイコンの画像データと、アイコンが接触された場合に処理を行うプログラムと、表示部401のユーザインタフェースにおけるアイコンの表示位置を表す位置情報と、を対応付けて記憶している。
 プログラム群411は、携帯端末400でデータ(例えば動画データ、音声データ、写真データ)を再生、表示可能なプログラムを記憶する。
 表示連携プログラム413は、制御部421と、通信制御部422と、表示制御部423と、を備え、携帯端末400に常駐し、表示処理装置1と連携するための制御を行う。
 制御部421は、表示処理装置1にデータを送信する際に、プログラム群411で再生、表示されているデータを送信対象として設定する。
 通信制御部422は、表示処理装置1との間で通信が確立した際に、携帯端末400の属性を示した属性情報を送信する制御を行う。また、通信制御部422は、表示処理装置1に対してデータの送信制御を行う際に、制御部421により設定されたデータの送信制御を行う。
 表示制御部423は、通信制御部422により表示処理装置1との間でデータの受信が行われる場合に、通信制御部422により受信されるデータを表すアイコンが、表示部401の表示領域外から移動してくるアニメーション表示を行う。また、表示制御部423は、通信制御部422により表示処理装置1との間でデータの送信が行われる場合に、通信制御部422により送信されるデータを表すアイコンが、表示部401の表示領域外に移動していくアニメーション表示を行う。
 上述した表示処理装置1及び携帯端末400との間でデータの送受信が行われることになる。本実施形態では、データの送受信を、表示処理装置1のユーザインタフェース画面に対する操作をトリガーとして行う。
 図5は、本実施形態の表示処理装置1で端末連携プログラム23を実行した時のユーザインタフェース画面の例を示した図である。図5(a)に示されるように、表示処理装置1の表示部11は、記憶部14に記憶されている3つの動画データ、3つの音楽データ、及び2つの写真データを、それぞれ異なる種類のアイコンで表示している。さらには、時計を表すアイコンや、天気予報を表すアイコンが表示されている。
 動画アイコン、音楽アイコン、写真アイコンが表されている、タッチパネル上の領域を、指で接触した場合に、表示処理装置1で再生表示する。一方、携帯端末400で接触した場合には、携帯端末400で利用可能なデータであれば、ダウンロードが開始される。また、天気を表すアイコンや、時計を表すアイコンの場合、指で接触された場合に、詳細が表示されるが、携帯端末400で接触した場合に、同様の処理か無反応となり、ダウンロードは行われない。
 しかしながら、図5(a)に示される画面例では、ユーザは、携帯端末400でどのアイコンに接触した際に、ダウンロードを開始されるのか認識できない。このため、ユーザは、ダウンロード不可能なデータを表すアイコンを携帯端末400で接触し続けることが考えられる。
 さらには、携帯端末を、タッチパネル上に接触させる際に、そもそも当該携帯端末がデータのダウンロード機能を有しているか否かも判別できない。このため、図5(a)の画面では、ユーザがやみくもに携帯端末を、タッチパネルに表示されたアイコン毎に接触させて、確かめる以外ない。このため、ダウンロードされないために何度も接触を繰り返している場合には、強い衝撃が与えられ、当該衝撃により不具合が生じることも考えられる。
 そこで、本実施形態では、ダウンロード可能なデータを表すアイコンと、ダウンロード不可能なデータを表すアイコンとの表示態様を異ならせることとした。
 ユーザは、携帯端末400で、表示処理装置1と通信をしたい場合に、携帯端末400において、表示処理装置1とデータを通信するための表示連携プログラム413を起動させる。表示連携プログラム413は、表示処理装置1からの通信要求を待ち受け、通信要求があれば返信する。さらに、表示連携プログラム413は、通信要求を待ち受ける表示処理装置1の端末連携プログラム23に対して、通信要求を行う。これにより、表示処理装置1は携帯端末400との通信が可能となる。これにより、表示処理装置1は、データ通信が可能な携帯端末400が存在していることを認識する。
 なお、本機能のある携帯端末が1台しかない場合や、LANの通信範囲が狭い場合等においては、携帯端末が、表示処理装置1と通信可能なLANの圏内に入る前から、表示連携プログラム413を立ち上げていてもよい。
 通信が確立されている表示処理装置1と携帯端末400との間で、ダウンロードを行うための通信が開始される。これにより、携帯端末400の属性を示す属性情報が、表示処理装置1に送信される。
 図5(b)で示す例では、動画(Video)に配列された3個の動画アイコンのうち、一番左、及び左から2番目のデータ形式をITU H263とし、一番右のデータ形式をITU H264とする。また、音楽(Music)に配列された3個の音楽アイコンのうち一番左をAIFFとし、左から2番目、及び一番右のデータ形式をMP3とする。
 一方、判定部103は、携帯端末400から受信した属性情報により、携帯端末400がITU H264、MPEG2、MP3、AACをサポートしていることを認識できる。
 携帯端末400とデータ通信が開始することで、図5(b)で示される画面が表示される。図5(b)に示す例では、判定部103による携帯端末400で利用可能なデータであるか否かの判定結果に基づいて、出力部105が、携帯端末400が利用可能なデータを表すアイコンを、他のアイコンと表示態様を異ならせて表示部11に出力している。
 さらには、アップロードアイコン504が新たに表示される。アップロードアイコン504は、携帯端末400に接触したときにデータを表示処理装置1にアップロードするためのアイコンであり、指で接触してもアップロードできない。このため、アップロードアイコン504は、携帯端末が認識されない場合には非表示とし、携帯端末が認識された場合に表示される。
 図5(b)では、他と異なる表示態様として、アイコン501(ITU H264)、502_1、502_2(MP3)、503が浮き出るように(影が強調されて)表示される。また、アップロードアイコン504も、携帯端末400が利用可能なため、浮き出るように(影が強調されて)表示される。なお、携帯端末400で利用可能なデータであるか否かは、属性情報に基づいて判定される。
 アイコン501(ITU H264)、502_1、502_2(MP3)、503以外のアイコンは、表示態様を変化させない。このため、アイコン501(ITU H264)、502_1、502_2(MP3)、503以外のアイコンを、携帯端末400で接触してもデータの通信は行われない。
 さらに、表示処理装置1が携帯端末400の属性情報を受信した後、携帯端末400の画面に、表示処理装置1と相互動作が可能になった旨のメッセージを表示してもよい。図5(b)で示される例では、携帯端末400の画面に●印が表示される。
 また、本実施形態は、表示態様を制限するものではなく、様々な態様が考えられる。図6は、携帯端末400が利用可能なデータを表すアイコンを、他のアイコンと表示態様を異ならせて表示された第1の画面の変形例を示した図である。図6に示す例では、アイコン601、602_1、602_2、603、アップロードアイコン604が、他のアイコンと異なる表示態様として、太い外枠を表示している。
 異なる表示態様は、アイコンの大きさを変えたり、震えさせたり、点滅させたり、輝度や色を変えても良い。さらには、通信可能状態を示す追加アイコンを表示したり、接触可能なアイコンを指示する追加アイコンを表示しても良い。さらには、枠だけ点滅させてもよいし、点滅速度を変化させたり、震える速度を変化させてもよい。また、これらを組み合わせて表示しても良い。
 さらには、携帯端末400が利用可能なデータを表すアイコンと、利用不可能なデータを表すアイコンと、の表示態様を異ならせる手法として、携帯端末400が利用できないデータを表す他のアイコンの方の表示態様を変更しても良い。
 図7は、携帯端末400が利用可能なデータを表すアイコンを、他のアイコンと表示態様を異ならせて表示された第2の画面の変形例を示した図である。図7に示す例では、図5と同様に、携帯端末400で利用可能なデータを表すアイコンを、図5(b)と同様に、浮き出るように(影が強調されて)表示し、携帯端末400で利用できないデータを表すアイコン701_1、701_2、702、703、704、705に対して斜線を重畳して表示する。
 また、携帯端末400で利用できないデータを表すアイコンに対して表示態様を異ならせる手法としては、図7で示す例に制限するものではなく、輝度や色を薄くしてもよい。
 図5に戻り、表示部11の表示領域(ユーザインタフェース画面)に対して携帯端末400で接触する場合について説明する。本実施形態にかかる表示処理装置1は、携帯端末400を連携する端末として特定し、設定された動画データのアップロードが行われる。なお、特定手法については、後述する。
 図5(c)の例では、携帯端末400が、表示部11のアップロードアイコン504上に置かれた状態を示している。図5(c)に示されるように、携帯端末400が、アップロードアイコン504上で接触したことを検出すると、出力部105は、アイコンの表示が元に戻された画面を出力する。
 これにより第1の携帯端末400に格納されていたデータのアップロードがなされる。そして、アップロード終了後に、起動部104により起動されたプログラムが、アップロードされたデータの種別を判定し、当該データが動画、音楽、及び写真のいずれかを判別して、判別結果に応じて適切なアイコンを付与する。これにより、写真データが配置されている領域に、第1携帯端末400からアップロードされた写真データを示すアイコン510が追加表示される。
 本実施形態においては、携帯端末400からデータをアップロードさせる際に、出力部105は、携帯端末400が検出された位置からデータが出てくるようなアニメーション表示を行う。
 図8は、表示処理装置1と携帯端末400との連携処理が行われる際のタイミングチャートを示した図である。
 携帯端末400、450は、表示処理装置1に近づくことで、通信を開始する。本実施形態では、無線LANで通信が行われる例とする。携帯端末400、450が、表示処理装置1と同じLANの圏内に入ることで、相互間でIPアドレスを取得する。
 まず、携帯端末400が、ユーザの操作に従って、表示連携プログラム413(アプリケーション)を始動する(ステップS901)。その後、携帯端末400が、表示処理装置1に対して属性情報を送信する(ステップS902)。なお、本実施形態では、属性情報の送信は、携帯端末400、450の設定が変更される毎(例えば設定されているデータが変更される毎)に行ってもよい。また、属性情報の送受信は、定期的に行っても良い。
 その後、表示処理装置1の通信制御部101が、受信した属性情報を、判定部103に受け渡す(ステップS903)。そして、判定部103は、属性情報に基づいて、携帯端末400が利用可能なデータを判定する(ステップS904)。
 そして、出力部105が、判定結果に基づいて、携帯端末400が利用可能なデータを表すアイコンを、他のアイコンと表示態様が異なるように表示変更を行う(ステップS905)。これにより、図5(b)で示す表示画面が表示される。
 携帯端末400が、アイコン上に置かれた瞬間、携帯端末400の通信制御部422は、加速度検出部408が検出した加速度情報を、加速度検出信号として表示処理装置1に送信する。一方、表示処理装置1の取得部102は、位置取得部15から送信された検出信号(位置座標を含む)により、アップロードアイコン504付近に物体が接触もしくは非常に近い位置に接触したことを示す検出情報を取得する。
 そして、判定部103が、検出情報を取得した時刻と、携帯端末400から加速度検出信号を受信した時刻とが非常に近い場合(所定の閾値以内の場合)に、加速度検出信号を送信した携帯端末400が表示部11に接触したと判定し、携帯端末400を連携対象として判定する(ステップS906)。
 そして、判定部103は、アイコンデータテーブル300を参照し、携帯端末400が接触したアイコンと関連付けられた複数のプログラムのうち、携帯端末400の属性に基づいて、実行するプログラムを特定する。
 そして、起動部104が判定部103により特定されたプログラムを起動する。そして、起動したプログラムは、通信部17を介して、携帯端末400との間でデータの送受信を行う(ステップS907)。
 その後、携帯端末450がアップロードアイコン504上に置かれた場合に、取得部102が、位置取得部15を介して検出信号(位置座標を含む)を受信することで、当該携帯端末450の接触を検出する。さらに、取得部102は、接触した位置座標を取得する。そして、通信制御部101が、携帯端末450から加速度検出信号を受信する。そして、判定部103が、アップロードアイコン504に接触した携帯端末450を特定し、携帯端末400が接触した時と同様の処理を行う。
 まず、携帯端末400が、ユーザの操作に従って、表示連携携プログラム413(アプリケーション)を終了する(ステップS908)。その後、携帯端末400が、表示処理装置1に対して、終了通知を送信する(ステップS909)。そして、通信制御部101が、出力部105に対して、通信が終了した旨を通知する(ステップS910)。これにより、出力部105が、アイコンの表示を元に戻された画面を、表示部11に出力する(ステップS911)。
 その後、表示処理装置1が、携帯端末450でアプリケーションが始動された場合(ステップS912)、アイコンの表示を変更する際に、携帯端末450に合わせて変更する(ステップS916)以外は、携帯端末400と同様の処理を行うものとする(ステップS913~S918)。
 上述した処理を行うことで、ユーザは、表示処理装置1に表示されたアイコンのうち、携帯端末400、450で利用可能なデータのアイコンを容易に識別できる。これにより、表示されているアイコンに対して、手当たりしだいに携帯端末400、450で接触させて、利用可能なデータのアイコンを探すことを抑止できる。さらには、何の機能もないアイコンに触れて動作しないがために、接触を繰り返させることを抑止できる。
 上述した処理手順では、表示処理装置1は、データ通信を行う対象が携帯端末1つの場合について説明した。しかしながら、表示処理装置1が、データ通信を行う対象を携帯端末1つに制限するものではなく、複数の携帯端末とデータ通信を行ってもよい。
 表示処理装置1が、複数の携帯端末とデータを通信する場合、複数の携帯端末が同じ機能を有していない場合もある。この場合、複数の携帯端末で利用可能なデータが異なることになる。この場合、出力部105が出力する画面における、アイコンの表示態様の変更手法としては、様々な手法が考えられる。
 例えば、出力部105が、複数の携帯端末のどちらでも利用可能なデータのアイコンについて表示態様を変更することが考えられる。または、複数の携帯端末のうちいずれか1つの携帯端末で利用可能なデータのアイコンのみ表示態様を変更する手法が考えられる。この場合、例えば、表示連携プログラムを起動させて、表示処理装置1と先にデータ通信可能になった携帯端末で利用可能なデータのアイコンのみ表示態様を異ならせ、表示処理装置1と後でデータ通信可能となった携帯端末に対応した、アイコンの表示態様の変更は行わない等が考えられる。
 さらには、複数の携帯端末のそれぞれについて、利用可能なデータのアイコンが認識できるように、表示態様を変更しても良い。そこで、複数の携帯端末それぞれに利用可能なデータであることを認識させる表示態様について説明する。図9は、表示処理装置1と携帯端末400、450との連携処理が行われる際のタイミングチャートを示した図である。
 まず、携帯端末400が、ユーザの操作に従って、表示連携プログラム413(アプリケーション)を始動する(ステップS1001)。その後、携帯端末400が、表示処理装置1に対して、属性情報を送信する(ステップS1002)。
 その後、表示処理装置1の通信制御部101が、受信した携帯端末400の属性情報を、判定部103に受け渡す(ステップS1003)。そして、判定部103は、属性情報に基づいて、携帯端末400が利用可能なデータを判定する(ステップS1004)。
 そして、出力部105が、判定結果に基づいて、携帯端末400が利用可能なデータを表すアイコンを、他のアイコンと表示態様が異なるように表示変更を行う(ステップS1005)。これにより、図5(b)で示す表示画面が表示される。
 同様に、携帯端末450も、ユーザの操作に従って、表示連携プログラム413(アプリケーション)を始動する(ステップS1006)。その後、携帯端末450が、表示処理装置1に対して、属性情報を送信する(ステップS1007)。
 その後、表示処理装置1の通信制御部101が、受信した携帯端末450の属性情報を、判定部103に受け渡す(ステップS1008)。そして、判定部103は、属性情報に基づいて、携帯端末450が利用可能なデータを判定する(ステップS1009)。
 そして、出力部105が、判定結果に基づいて、携帯端末400及び携帯端末450が利用可能なデータを表すアイコンを、他のアイコンと表示態様が異なるように表示変更を行う(ステップS1010)。これにより、図10で示す表示画面が表示される。
 図10は、携帯端末400、450が利用可能なデータを表すアイコンを、他のアイコンと表示態様を異ならせて表示された画面例を示した図である。図10に示す例では、携帯端末400が利用可能なデータと、携帯端末450が利用可能なデータとが識別できるようにアイコンの表示態様を異ならせている。図10に示す例では、外枠の色(網掛け)を異ならせている。
 つまり、図10に示す例では、濃い網掛けで外枠が表されているアイコン804、806で示されるデータが、携帯端末450のみで利用可能なデータである。一方、薄い網掛けで外枠が表されているアイコン801、805で示されるデータが、携帯端末400のみで利用可能なデータである。そして、薄い網掛けと濃い網掛けとを組み合わせた外枠が表されているアイコン802、803で示されるデータは、携帯端末400、450の両方で利用可能なデータである。また、薄い網掛けと濃い網掛けとを組み合わせた外枠が表されているアップロードアイコン807も、携帯端末400、450の両方で利用可能とする。
 さらに、携帯端末400、450の表示部401に表示される色(網掛け)により、ユーザは、各携帯端末で利用可能なアイコンを認識できる。
 図9に戻り、携帯端末400が、アイコン上に置かれた瞬間、携帯端末400の通信制御部422は、加速度検出部408が検出した加速度情報を、加速度検出信号として表示処理装置1に送信する。一方、表示処理装置1の取得部102は、位置取得部15から送信された検出信号(位置座標を含む)により、アップロードアイコン504付近に物体が接触もしくは非常に近い位置に接触したことを示す検出情報を取得する。
 そして、判定部103が、検出情報を取得した時刻と、携帯端末400から加速度検出信号を受信した時刻とが非常に近い場合(所定の閾値以内の場合)に、加速度検出信号を送信した携帯端末400が表示部11に接触したと判定し、携帯端末400を連携対象として判定する(ステップS1011)。
 そして、判定部103は、アイコンデータテーブル300を参照し、携帯端末400が接触したアイコンと関連付けられた複数のプログラムのうち、携帯端末400の属性に基づいて、実行するプログラムを特定する。
 起動部104が判定部103により特定されたプログラムを起動する。そして、起動したプログラムは、通信部17を介して、携帯端末400との間でデータの送受信を行う(ステップS1012)。
 その後、表示処理装置1の通信制御部101が、第1携帯端末400からの加速度検出信号と、第2携帯端末450からの加速度検出信号とを、ほぼ同じタイミングで受信したものとする。換言すれば、取得部102が接触を検知してから所定の閾値以内に、第1携帯端末400及び第2携帯端末450から加速度検出信号を受信している。
 例えば、携帯端末400が表示処理装置1の表示部11にタッチしたタイミングと、カバンに入った状態の携帯端末450が、カバンごとどこかに衝突し、加速度を発生したタイミングと、がほぼ一致した場合が考えられる。さらには、第2携帯端末450で第1携帯端末400と全く別の操作を行っていて、第2携帯端末450の画面をユーザが強くたたいたタイミングが、第1携帯端末400が表示処理装置1の表示部11にタッチしたタイミングと一致した場合等もあり得る。
 判定部103が、検出信号を受信した時刻に対して、携帯端末400から受信した加速度検出信号の時刻、及び第2携帯端末450から受信した加速度検出信号の時刻が非常に近い(所定の閾値以内)と判定する(ステップS1013)。
 このように、判定部103が接触した携帯端末を複数特定した場合に、誤った端末にデータの送受信制御を行うことを抑止するために、特定した複数の携帯端末400、450とデータの送受信を行わず、出力部105が、表示部11に対して、「もう一度タッチしなおしてください」などのメッセージが表された画面情報を出力する(ステップS1014)。このように、再度、携帯端末の接触を促すことで、ユーザが所望する携帯端末との間でデータの送受信を実現できる。
 また、判定部103が接触した端末を複数特定した場合に、再度接触を促すことに制限するものではなく、両方とも接触したものとみなして、両方の携帯端末に対して、対応するプログラムを実行してもよい。このように実施態様に応じて動作を決定する。
 次に、出力部105によるアニメーション表示について説明する。図11は、出力部105の表示制御による画面遷移の例を示した図である。図11(a)においては、アップロードアイコン504に携帯端末400が配置された状況を示している。なお、携帯端末400では、すでにアップロード対象のデータは選択されているものとする。
 図11(a)に示されるように、携帯端末400に記憶されている写真データは、携帯端末400の画面上にアイコンとして表示されている。そして、携帯端末400が表示処理装置1の表示部11に触れた際に、データ転送が開始される。
 次に、図11(b)~(d)に示されるように、出力部105は、データの転送の進行度合い(データの総容量に対する、転送完了したデータ量の割合)に応じて、表示されるアイコンの割合を変化させる。具体的には、出力部105は、アップロードが進むにつれて、表示されるアイコンの割合を大きくさせる。
 アニメーション表示は、表示処理装置1の出力部105と、携帯端末400の表示制御部423と、の間で同期するように行う。具体的には、出力部105と、表示制御部423と、がアップロードの進行状況に応じた表示を行うことで、表示画面を同期させることができる。
 つまり、携帯端末400の表示制御部423も、進行度合い(データの総容量に対する、未転送のデータ量)に応じて、表示されるアイコンの割合を変化させる。具体的には、携帯端末400の表示制御部423は、アップロードが進むにつれて、表示されるアイコンの割合を小さくさせる。これにより、表示処理装置1と携帯端末400との間で表示されるアイコンが同期する。
 さらに、出力部105が表示するアイコンの位置は、位置取得部15によって取得された携帯端末400の位置座標を基準に決定される。表示処理装置1の出力部105が表示するアイコンの位置と、携帯端末400の表示制御部423が表示するアイコンの位置と、を合わせる。アイコンの位置等を同期させるために、携帯端末400は、傾き情報を表示処理装置1に送信しておく。さらには、携帯端末400は、携帯端末400を特定するための機種情報や、画面サイズ、解像度等も、表示処理装置1に送信しておく。
 そして、図11(b)で示す様に、変形例にかかる表示処理装置1は、受信した傾き情報、及び機種情報(または携帯端末400のサイズ)から特定される携帯端末400の外辺から出てくるように、アイコンを表示してもよい。
 これにより、表示制御部423が表示するアイコンの一部と、表示制御部423が表示するアイコンの一部と、が組み合わさる。これにより、利用者は、一つのアイコンのように認識できる。
 そして、図11(e)に示されるように、表示制御部423は、データの転送完了時に、当該データを表すアイコン1101を表示する。その後、表示制御部423は、当該アイコン1101を、データの種別に応じて移動させる。
 表示制御部423が、上述した表示制御を行うことで、ユーザは、データの通信状況を認識できる。
 なお、端末連携プログラム23は、携帯端末400が表示部11に接触したことを検出した場合に、すぐにデータ転送を開始するのではなく、携帯端末400に確認のダイアログを表示し、ユーザに動作の確認を求めてもよい。これにより、第1携帯端末400が接触したか否かの判定を誤った時にユーザの意思に反したデータ転送を抑止できる。
 また、表示処理装置1が、携帯端末400の機種情報、解像度、画面サイズの情報を受信した際に、携帯端末400に表示されるアイコンとサイズが合うように、アイコンのサイズを調整してもよい。これにより、携帯端末400及び表示処理装置1上で、アイコンを同一、又はほぼ同一サイズで表示できる。
 また、データ転送の途中で携帯端末400が表示部11から離れた場合、表示処理装置1及び携帯端末400の間のデータ転送を中止する。このように、ユーザは特段のキャンセルのための操作をせずに、直感的にデータ転送の中止を指示できる。
 また、出力部105は、携帯端末400との間のデータの転送の開始前、あるいは転送中に、図11(a)及び(b)のような「転送ロック」「転送中断」のダイアログを表示してもよい。表示処理装置1が、当該ダイアログに対する選択を受け付けていない場合、転送を開始した後に、携帯端末400が表示部11から離された際、データ転送が中止される。一方、「転送ロック」の選択を受け付けている場合、携帯端末400が表示部11から離れた際であっても、データ転送が継続される。このように、ユーザの要求に応じたデータの転送が実現できる。
 また、表示処理装置1が「転送中断」の選択を受け付けた場合に、表示処理装置1及び携帯端末400の間のデータ転送が中断される。つまり、「転送ロック」の選択を受け付けた場合、携帯端末400を表示部11から離しただけではデータ転送は中止されないが、ユーザから「転送中断」の選択を受け付けた場合には、データ転送を中断できる。これにより、ユーザが、「転送ロック」を選択したにも拘わらず、やはりデータ転送を中断したいと考えた時に、「転送中断」を選択することで、データ転送を中断できる。
 そして、出力部105は、データの転送が完了した後、データの種類に応じた位置まで、アイコンを移動させるアニメーション表示を行う。図12は、出力部105によるアイコンの移動先の例を示した図である。図12に示されるように、受信したデータが動画データの場合、出力部105は、当該動画データのアイコンを、位置1203まで移動させる。受信したデータが音楽データの場合、出力部105は、当該音楽データのアイコンを、位置1202まで移動させる。受信したデータが写真データの場合、出力部105は、当該写真データのアイコンを、位置1201まで移動させる。
 次に、表示処理装置1から携帯端末400にデータをダウンロードさせる場合について説明する。表示処理装置1から、携帯端末400にデータをダウンロードさせる場合、携帯端末400で、表示部11に表示されたアイコンに接触することで、当該アイコンで示されるデータのダウンロードが開始される。図13は、表示処理装置1からデータをダウンロードさせる際の携帯端末400の配置を示した図である。図13に示す様に、携帯端末400をアイコン1301上に配置することで、アイコン1301で示される写真データのダウンロードが開始される。
 出力部105は、ダウンロードさせる際も、アイコンが携帯端末400に移動するようなアニメーション表示を行う。また、本実施形態では、データの通信状況に応じて、アイコン全体を拡大、縮小させる例について説明したが、様々な態様が考えられる。例えば、ダウンロードさせる携帯端末400に向かって、アイコンの縦方向又は横方向に限り、拡大、縮小を行っても良い。
 図14は、出力部105により出力される画面情報の遷移の例を示した図である。図14(a)に示されるように、携帯端末400が、アイコン1401上で接触したものとする。これにより、取得部102が、携帯端末400の接触を検出し、当該携帯端末400が接触しているアイコン1401で示されるデータが、ダウンロード対象として特定される。
 そして、出力部105は、表示処理装置1と携帯端末400との間のダウンロード状況に応じて、アイコン1401を、携帯端末400が接触している位置を基準として、横軸方向のみ縮小移動するよう、表示制御する。
 つまり、図14(b)のアイコン1402、(c)のアイコン1403で示されるように、出力部105は、携帯端末400に対するダウンロードが進むにつれて、アイコンが横軸方向のみ縮小移動するように表示制御する。また、アイコン1401が複数枚の画像で構成されている場合、ダウンロード状況に応じて、アイコンの絵柄を変化させても良い。図14では、アイコンの中身がだんだん押しつぶされて、中の顔の表情が引きつっていくようにアニメーション表示させる例とする。
 ダウンロードする際に表示するアニメーションの別態様についても説明する。図15は、変形例にかかる出力部105により出力される画面情報の遷移の第1の例を示した図である。図15(a)に示されるように、携帯端末400が、アイコン1500上で接触したものとする。これにより、取得部102が、携帯端末400の接触を検出し、当該携帯端末400が接触しているアイコン1500で示されるデータが、ダウンロード対象として特定される。
 次に、図15(b)のアイコン1501、(c)のアイコン1502に示されるように、出力部105は、携帯端末400の画面サイズ、解像度に合わせて、アイコンを縮小させるアニメーション表示を行う。この画面サイズ、解像度は、携帯端末400が、予め表示処理装置1に送信しておく。また、表示処理装置1が、携帯端末400から受信した機種情報に基づいて、画面サイズ、解像度を特定しても良い。
 図15(d)に示されるように、出力部105が、データの転送の進行度合い、具体的にはデータの総容量に対する、転送完了したデータ量の割合に応じて、アイコン1503が携帯端末400を検出された位置に移動していくように、アニメーション表示する。
 そして、図15(e)に示されるように、出力部105は、ダウンロードが完了した時に、ダウンロードさせていた当該データを表すアイコンの表示を終了する一方、携帯端末400の表示制御部423が、ダウンロードが完了したデータを表すアイコン1504全体を表示する。これにより、ユーザはデータのダウンロードが完了したことを認識できる。
 また、アイコンのアニメーション表示は、縮小、拡大制御に制限するものではなく、アイコンの色、輝度等を変化させてもよい。図16は、変形例にかかる出力部105により出力される画面情報の遷移の第2の例を示した図である。図16(a)に示されるように、携帯端末400が、アイコン1601上で接触したものとする。これにより、取得部102が、携帯端末400の接触を検出し、当該携帯端末400が接触しているアイコン1601で示されるデータが、ダウンロード対象として特定される。
 そして、出力部105は、表示処理装置1と携帯端末400との間のダウンロード状況に応じて、アイコン1601を、携帯端末400が接触している位置を基準に、当該基準から最も離れた領域から、輝度及び色を変化させるアニメーション表示を行う。
 つまり、図16(b)のアイコン1602、(c)のアイコン1603で示されるように、出力部105は、携帯端末400に対するダウンロードが進むにつれて、携帯端末400と接触している位置から離れた左辺から徐々に輝度を高くしていく(色を白に変化させていく)アニメーション表示を行う。これにより、時間経過と共に、絵柄が無くなっていくようなアニメーション表示がなされる。よって、アイコン1601~1603で示されたデータが、携帯端末400に入っていくように、ユーザに認識させることができる。
 上述した実施形態では、携帯端末が使用可能なデータに応じて、アイコンの表示態様を異ならせる例について説明した。しかしながら、表示態様を異ならせるのはアイコンに制限するものではない。例えば、表示処理装置1が表示しているログインボタンに対して、携帯端末で接触した場合に、表示処理装置1と携帯端末との間で識別情報及びパスワード等を交換し、ログインするシステムがある。このシステムに対して適用することが考えられる。
 具体的には、携帯端末400でログインプログラムを起動した場合に、携帯端末400が、表示処理装置1に対して属性情報を送信する。当該属性情報には、ログイン可能なシステムを識別する情報が含まれているものとする。
 そして、表示処理装置1の判定部103が、当該属性情報により、携帯端末400がログインするために必要な情報を有していると判定した場合に、出力部105が、ログインボタンの表示態様を異ならせる。図17は、出力部105により、表示態様が変更されたログインボタンが配置された画面例を示した図である。図17に示す画面例では、ログインボタンが浮き出るように(影が強調されて)表示されている他、ログインできる旨のメッセージ(対応OK)が表示されている。当該表示がされている場合に、ログインボタン1701に携帯端末400で接触すると、識別情報とパスワードとが交換されて、ログイン処理が行われる。
 また、表示処理装置1の判定部103が、当該属性情報により、携帯端末400がログインするために必要な情報を有していないと判定した場合に、出力部105が、ログインボタンの表示態様を異ならせてもよい。図18は、出力部105により、表示態様が変更されたログインボタンが配置された画面例を示した図である。図18(a)に示す画面例では、ログインできない旨のメッセージ(対応NG)が表示されている。
 当該表示がされている場合に、ログインボタン1801に携帯端末400で接触すると、図18(b)に示されるように、携帯端末400によるログインができないため、出力部105は、「通常のログインをして下さい」1802というメッセージが含まれた画面情報を出力する。
 次に、本実施形態にかかる表示処理装置1における、携帯端末400との間で通信を開始するまでの処理について説明する。図19は、本実施形態にかかる表示処理装置1における上述した処理の手順を示すフローチャートである。
 通信部17は、通信可能な携帯端末があるか否かを検出する(ステップS1901)。検出しなかった場合は(ステップS1901:No)、通信可能な携帯端末を検出するまでステップS1901の処理を繰り返す。一方、通信部17が、通信可能な携帯端末を検出した場合(ステップS1901:Yes)、検出した携帯端末の各々と通信を開始する。そして、通信部17を介して、端末連携プログラム23が、携帯端末各々の属性情報を取得する(ステップS1902)。
 そして、判定部103が、属性情報に基づいて、携帯端末が利用可能なデータを判定する(ステップS1903)。そして、出力部105が、判定結果に従って、アイコンの表示態様を変更する(ステップS1904)。
 その後、取得部102が、位置取得部15からの検出信号に基づいて、表示部11に対する接触が検出されたか否かを判定する(ステップS1905)。取得部102が、表示部11に対する接触が検出されたと判定した場合(ステップS1905:Yes)、取得部102は、検出信号に基づいて、接触が検出された位置座標を取得する(ステップS1906)。一方、表示部11に対する接触が検出されなかったと判定した場合(ステップS1905:No)、ステップS1905の処理が繰り返される。
 次に、通信制御部101が、通信部17を介して、携帯端末から加速度検出信号を受信したか否かを判定する(ステップS1907)。加速度検出信号を受信していない場合(ステップS1907:No)、携帯端末が接触したのではなく、人の指などが接触したものと見なして、位置座標に示される位置に人の指などが接触した場合の処理(プログラム)を特定する(ステップS1912)。そして、起動部104が、特定した処理(プログラム)を実行する(ステップS1913)。特定した処理としては、例えば、接触した位置に存在するアイコンで対応付けられたデータ(動画データ、音楽データ、写真データ)の再生、表示等とする。
 一方、通信制御部101が、加速度検出信号を受信した場合(ステップS1907:Yes)、判定部103が、検出信号に基づく接触を検出した時間と、加速度検出信号に基づく携帯端末で加速度が生じた時間と、が所定の閾値以内、換言すれば発生タイミングが近いか否かを判定する(ステップS1908)。所定の閾値以内でないと判定した場合(ステップS1908:No)、ステップS1912から処理を行う。
 一方、判定部103が所定の閾値以内と判定した場合(ステップS1908:Yes)、加速度検出信号を送信した携帯端末が接触したものとみなし、当該携帯端末をデータの送受信対象として特定する(ステップS1909)。
 判定部103が、接触したアイコンで示されるデータが、携帯端末400で利用可能か否か判定する(ステップS1910)。利用可能でない場合(ステップS1910:No)、終了する。
 一方、判定部103が、利用可能と判定した場合(ステップS1910:Yes)、接触が生じた位置座標と、データの送受信対象の携帯端末の属性情報と、に対応するプログラムを特定する。そして、起動部104が、特定したプログラムを起動させる。これにより、表示処理装置1と携帯端末との間で通信が開始される(ステップS1911)。
 なお、本実施形態では、転送完了したデータ量に応じて、アイコンをアニメーション表示する例について説明した。しかしながら、アイコンの表示態様を、転送量に比例させることに制限するものではない。
 本実施形態は、アニメーション表示の開始を、データの転送の開始と同時に行うことに制限するものではなく、データの転送動作と関連したタイミングであればよい。例えば、転送終了したタイミングでアニメーション表示を開始しても良いし、アイコンに接触したタイミングでアニメーション表示を開始しても良い。
 また、本実施形態では、データを表す表示情報をアイコンに制限するものではなく、データを表す画像データであれば良く、例えばサムネイル等であっても良い。サムネイルを用いた場合、転送中のデータの内容が何であるかを、ユーザに認識させるのが容易になる。
 また、本実施形態では、表示処理装置1が、テレビジョン表示装置のように、表示部11が垂直に配置されているため、携帯端末400の傾き情報を受信することで、携帯端末400が接触している領域を特定する例について説明した。しかしながら、表示部11が垂直に配置されている場合に制限するものではなく、水平等で配置されていてもよい。この場合、方位磁石機能付きの携帯端末から方位情報を取得することで、携帯端末が接触している領域を特定できる。
 以上に示した本実施形態の表示処理装置1では、携帯端末による表示部11のアイコンへの接触があった場合に、取得した加速度検出信号から、接触された携帯端末を特定した上で、当該携帯端末に転送するためのプログラムを起動している。そのため、表示処理装置1と送受信可能な携帯端末が複数存在する場合でも、ユーザが意図する携帯端末との間で転送することを可能とした。これにより誤送信を抑止し、ユーザの利便性を向上させることができる。
 また、起動するプログラムに対して適切な携帯端末の属性情報を渡すことで、プログラムは携帯端末に応じてプログラムを実行することができ、利便性を向上させることができる。
 上述した表示処理装置1においては、転送データの状況に応じたアニメーション表示を行うことで、ユーザは転送状況を容易に把握できる。さらには、携帯端末が置かれた位置に応じて、表示態様を異ならせることで、ユーザに対して現在行われている処理を直感的に認識させることが容易になる。
 さらには、データ本体の転送を行う前に、当該データを表すアイコンの転送を行うことで、どのようなデータを転送するのかユーザに認識させるのが容易になる。さらには、表示処理装置1と携帯端末400との間で表示するアイコンを同期させることができる。これにより、視認性が向上する。
 上述した実施形態にかかる表示処理装置1によれば、アイコン(表示情報)の表示態様に応じて、携帯端末で利用可能か否か認識できる。これにより、ユーザの利便性が向上すると共に、何度も接触させて不具合が生じることを抑止できる。
 本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、請求の範囲に記載された発明とその均等の範囲に含まれる。

Claims (6)

  1.  表示装置が表示を行う表示領域に接触されたことを示す検出情報を取得する取得部と、
     通信端末との間でデータの送受信を可能とする通信部と、
     前記取得部が取得した前記検出情報と、前記通信端末から受信した、当該通信端末の属性を示した属性情報と、に基づいて前記表示領域に前記通信端末が接触したと判定される場合に、前記通信部より前記通信端末との間で所定のデータの通信を行う通信制御部と、
     データを表す表示情報が配置された画面情報を表示部に出力すると共に、前記通信部により前記通信端末と通信が可能となった場合に、当該通信端末が利用可能なデータを表す前記表示情報を、他の表示情報と表示態様を異ならせて前記表示部に出力する出力部と、
     を備える表示処理装置。
  2.  前記表示領域で接触が行われた場合に当該接触を検出可能な表示装置を、
     さらに備える請求項1に記載の表示処理装置。
  3.  前記出力部は、前記通信制御部により複数の通信端末と通信可能な場合に、前記複数の通信端末の各々が利用可能か否かに応じて表示態様を異ならせて前記表示部に出力する、
     請求項1又は2に記載の表示処理装置。
  4.  前記出力部が表示する表示情報は、データを表すアイコン、サムネイル、又はボタンである、
     請求項1又は2に記載の表示処理装置。
  5.  前記出力部は、当該通信端末が利用可能なデータを表す前記表示情報について、影を強調、又は外枠の色を異ならせて前記表示部に出力する、
     請求項1又は2に記載の表示処理装置。
  6.  表示装置が表示を行う表示領域に接触されたことを示す検出情報を取得する取得ステップと、
     前記取得ステップが取得した前記検出情報と、通信端末から受信した、当該通信端末の属性を示した属性情報と、に基づいて前記表示領域に前記通信端末が接触したと判定される場合に、通信部より前記通信端末との間で所定のデータの通信を行う通信制御ステップと、
     データを表す表示情報が配置された画面情報を表示部に出力すると共に、前記通信部により前記通信端末と通信が可能となった場合に、当該通信端末が利用可能なデータを表す前記表示情報を、他の表示情報と表示態様を異ならせて表示部に出力する出力ステップと、
     を有する表示処理方法。 
PCT/JP2013/059732 2013-03-29 2013-03-29 表示処理装置、及び表示処理方法 WO2014155730A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/JP2013/059732 WO2014155730A1 (ja) 2013-03-29 2013-03-29 表示処理装置、及び表示処理方法
JP2013556094A JPWO2014155730A1 (ja) 2013-03-29 2013-03-29 表示処理装置、及び表示処理方法
US14/448,585 US20140340344A1 (en) 2013-03-29 2014-07-31 Display processor and display processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2013/059732 WO2014155730A1 (ja) 2013-03-29 2013-03-29 表示処理装置、及び表示処理方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/448,585 Continuation US20140340344A1 (en) 2013-03-29 2014-07-31 Display processor and display processing method

Publications (1)

Publication Number Publication Date
WO2014155730A1 true WO2014155730A1 (ja) 2014-10-02

Family

ID=51622775

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/059732 WO2014155730A1 (ja) 2013-03-29 2013-03-29 表示処理装置、及び表示処理方法

Country Status (3)

Country Link
US (1) US20140340344A1 (ja)
JP (1) JPWO2014155730A1 (ja)
WO (1) WO2014155730A1 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016133889A (ja) * 2015-01-16 2016-07-25 シャープ株式会社 表示システム、主表示装置、端末表示装置及び表示方法
CN106126043A (zh) * 2016-06-30 2016-11-16 努比亚技术有限公司 一种信息处理方法及移动终端
CN107678576A (zh) * 2017-08-24 2018-02-09 上海与德科技有限公司 光标的控制方法、终端设备、计算机可读存储介质
JP2018512684A (ja) * 2015-04-16 2018-05-17 ホアウェイ・テクノロジーズ・カンパニー・リミテッド アプリケーション記憶空間を表示するための方法および端末
JP2021149296A (ja) * 2020-03-17 2021-09-27 日本ユニシス株式会社 現実物体に対するクラスタリングの可視化システム、可視化制御装置、可視化方法および可視化制御用プログラム
JP2021162371A (ja) * 2020-03-31 2021-10-11 横河電機株式会社 波形測定器、及びそのデータ転送方法
JP2022043028A (ja) * 2015-06-09 2022-03-15 オックスフォード メトリックス ピーエルシー モーション・キャプチャ・システム

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014085957A (ja) * 2012-10-25 2014-05-12 Toshiba Corp 表示処理装置、及び表示処理方法
USD798883S1 (en) * 2014-08-19 2017-10-03 Fujifilm Corporation Digital camera with display screens having graphical user interfaces
USD775153S1 (en) * 2015-12-17 2016-12-27 Outbrain Inc. Mobile device display screen or portion thereof with a graphical user interface
USD775156S1 (en) * 2015-12-17 2016-12-27 Outbrain Inc. Mobile device display screen or portion thereof with a graphical user interface
USD775157S1 (en) * 2015-12-17 2016-12-27 Outbrain Inc. Mobile device display screen or portion thereof with a graphical user interface
USD775154S1 (en) * 2015-12-17 2016-12-27 Outbrain Inc. Mobile device display screen or portion thereof with a graphical user interface
KR20180005377A (ko) * 2016-07-06 2018-01-16 엘지전자 주식회사 이동단말기 및 그 제어 방법, 디스플레이 디바이스 및 그 제어 방법
JP6921652B2 (ja) * 2017-06-29 2021-08-18 キヤノン株式会社 情報処理装置および情報処理方法およびプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10283247A (ja) * 1997-04-04 1998-10-23 Casio Comput Co Ltd ネットワークシステム及び記録媒体
JP2004054879A (ja) * 2002-05-27 2004-02-19 Sony Corp 表示装置および表示方法
JP2009204844A (ja) * 2008-02-27 2009-09-10 Canon Inc 情報提供装置、その制御方法及びプログラム
WO2010035326A1 (ja) * 2008-09-26 2010-04-01 パイオニア株式会社 画像表示装置及び画像表示システム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1422873A4 (en) * 2001-08-28 2007-02-21 Sony Corp INFORMATION PROCESSING APPARATUS AND METHOD AND ASSOCIATED RECORDING MEDIUM
JP2011248766A (ja) * 2010-05-28 2011-12-08 Sony Corp 電子ペン、情報処理システム及びプログラム
US20130066908A1 (en) * 2011-07-04 2013-03-14 Research In Motion Limited System and method for sharing mobile device content
US9262042B2 (en) * 2011-07-25 2016-02-16 Lenovo (Singapore) Pte. Ltd. File transfer applications
TWI449397B (zh) * 2012-01-13 2014-08-11 Asustek Comp Inc 近場通訊電子裝置、使用此裝置的登入系統及其方法
US20130222266A1 (en) * 2012-02-24 2013-08-29 Dan Zacharias GÄRDENFORS Method and apparatus for interconnected devices
US8989670B2 (en) * 2012-09-24 2015-03-24 Intel Corporation Location aware file sharing between near field communication enabled devices

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10283247A (ja) * 1997-04-04 1998-10-23 Casio Comput Co Ltd ネットワークシステム及び記録媒体
JP2004054879A (ja) * 2002-05-27 2004-02-19 Sony Corp 表示装置および表示方法
JP2009204844A (ja) * 2008-02-27 2009-09-10 Canon Inc 情報提供装置、その制御方法及びプログラム
WO2010035326A1 (ja) * 2008-09-26 2010-04-01 パイオニア株式会社 画像表示装置及び画像表示システム

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016133889A (ja) * 2015-01-16 2016-07-25 シャープ株式会社 表示システム、主表示装置、端末表示装置及び表示方法
JP2018512684A (ja) * 2015-04-16 2018-05-17 ホアウェイ・テクノロジーズ・カンパニー・リミテッド アプリケーション記憶空間を表示するための方法および端末
US11327631B2 (en) 2015-04-16 2022-05-10 Huawei Technologies Co., Ltd. Method for displaying application storage space and terminal
JP2022043028A (ja) * 2015-06-09 2022-03-15 オックスフォード メトリックス ピーエルシー モーション・キャプチャ・システム
JP2022043027A (ja) * 2015-06-09 2022-03-15 オックスフォード メトリックス ピーエルシー モーション・キャプチャ・システム
JP7344950B2 (ja) 2015-06-09 2023-09-14 オックスフォード メトリックス ピーエルシー モーション・キャプチャ・システム
CN106126043A (zh) * 2016-06-30 2016-11-16 努比亚技术有限公司 一种信息处理方法及移动终端
CN107678576A (zh) * 2017-08-24 2018-02-09 上海与德科技有限公司 光标的控制方法、终端设备、计算机可读存储介质
JP2021149296A (ja) * 2020-03-17 2021-09-27 日本ユニシス株式会社 現実物体に対するクラスタリングの可視化システム、可視化制御装置、可視化方法および可視化制御用プログラム
JP7374413B2 (ja) 2020-03-17 2023-11-07 Biprogy株式会社 現実物体に対するクラスタリングの可視化システム、可視化制御装置、可視化方法および可視化制御用プログラム
JP2021162371A (ja) * 2020-03-31 2021-10-11 横河電機株式会社 波形測定器、及びそのデータ転送方法
JP7390235B2 (ja) 2020-03-31 2023-12-01 横河電機株式会社 波形測定器、及びそのデータ転送方法

Also Published As

Publication number Publication date
US20140340344A1 (en) 2014-11-20
JPWO2014155730A1 (ja) 2017-02-16

Similar Documents

Publication Publication Date Title
WO2014155730A1 (ja) 表示処理装置、及び表示処理方法
KR102135052B1 (ko) 네트워크 디바이스 간의 어플리케이션 데이터 전송 개시 및 완료를 위한 3차원 제스처 검출 시스템 및 방법
JP5521117B2 (ja) ジェスチャーベースの遠隔制御のための方法および装置
US8943582B1 (en) Transferring information among devices using cameras
KR102227087B1 (ko) 글래스 타입 단말기 및 그것의 제어방법
KR102090755B1 (ko) 기능 제어 방법 및 그 전자 장치
KR101276846B1 (ko) 미디어 데이터의 스트리밍 제어방법 및 제어장치
KR102124498B1 (ko) 화면을 공유하는 장치 및 방법
CN112558825A (zh) 一种信息处理方法及电子设备
EP2680125A2 (en) Enhanced user interface to transfer media content
EP3227886A1 (en) External visual interactions for speech-based devices
KR20150090162A (ko) 비-접촉 제스처들을 통한 제스처 인식 모드 및 디바이스 페어링 및 공유를 트리거링하기 위한 방법들, 장치들 및 컴퓨터 판독가능 매체
KR102521192B1 (ko) 전자 장치 및 그의 동작 방법
US11029778B2 (en) Device and method for processing user input
JP6804939B2 (ja) 情報処理装置及び情報処理方法
US20140223359A1 (en) Display processor and display processing method
WO2018107941A1 (zh) 一种ar场景下的多屏联动方法和系统
US20170046037A1 (en) Gestures for sharing data between devices in close physical proximity
KR20160139481A (ko) 사용자 단말 장치 및 그 제어 방법
JP6433923B2 (ja) デバイスへの特定のオブジェクト位置の提供
WO2014036974A1 (zh) 一种终端设备、同屏显示方法和系统
US20150193613A1 (en) Portable apparatus and method of connecting to external apparatus
CN106464976B (zh) 显示设备、用户终端设备、服务器及其控制方法
US20160224134A1 (en) Display apparatus and control method thereof
JP2014085957A (ja) 表示処理装置、及び表示処理方法

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2013556094

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13880525

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13880525

Country of ref document: EP

Kind code of ref document: A1