WO2010090106A1 - 情報処理装置、情報処理方法およびプログラム - Google Patents

情報処理装置、情報処理方法およびプログラム Download PDF

Info

Publication number
WO2010090106A1
WO2010090106A1 PCT/JP2010/051020 JP2010051020W WO2010090106A1 WO 2010090106 A1 WO2010090106 A1 WO 2010090106A1 JP 2010051020 W JP2010051020 W JP 2010051020W WO 2010090106 A1 WO2010090106 A1 WO 2010090106A1
Authority
WO
WIPO (PCT)
Prior art keywords
output device
gesture
information
information processing
input
Prior art date
Application number
PCT/JP2010/051020
Other languages
English (en)
French (fr)
Inventor
文規 本間
辰志 梨子田
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to BRPI1006971A priority Critical patent/BRPI1006971A2/pt
Priority to CN201080005901.XA priority patent/CN102301317B/zh
Priority to US13/146,888 priority patent/US20110285658A1/en
Priority to RU2011131785/08A priority patent/RU2541125C2/ru
Priority to EP10738441.4A priority patent/EP2395416A4/en
Publication of WO2010090106A1 publication Critical patent/WO2010090106A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1626Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1637Details related to the display arrangement, including those related to the mounting of the display in the housing
    • G06F1/1643Details related to the display arrangement, including those related to the mounting of the display in the housing the display being associated to a digitizer, e.g. laptops that can be used as penpads
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/169Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated pointing device, e.g. trackball in the palm rest area, mini-joystick integrated between keyboard keys, touch pads or touch stripes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/169Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated pointing device, e.g. trackball in the palm rest area, mini-joystick integrated between keyboard keys, touch pads or touch stripes
    • G06F1/1692Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated pointing device, e.g. trackball in the palm rest area, mini-joystick integrated between keyboard keys, touch pads or touch stripes the I/O peripheral being a secondary touch screen used as control interface, e.g. virtual buttons or sliders

Definitions

  • the present invention relates to an information processing apparatus, an information processing method, and a program.
  • a touch panel In recent years, portable information processing devices equipped with a touch panel, a touch pad, etc. (hereinafter referred to as a touch panel) have become widespread. Examples of such portable information processing apparatuses include a cellular phone, a PHS (Personal Handy-phone System), a portable video player, a portable music player, a PDA (Personal Digital Assistant), and the like. Furthermore, recently, touch panels have been mounted on television receivers, portable game machines, remote controllers (hereinafter referred to as remote controllers), and the like.
  • remote controllers remote controllers
  • Patent Document 1 discloses a technique for swapping a display screen of a portable information processing device to a large screen display device by intuitive gesture input to the touch panel of the portable information processing device. Proposed.
  • An object of the present invention is to enable large-screen display content to be directly operated by a portable information processing apparatus.
  • a display panel on which a predetermined object is displayed and a display screen side of the display device are provided on the display screen by a first operating body. Selection of the object selected by the first operating body based on an input position detection unit that detects an input position, input position information that represents the input position, and display position information that represents the display position of the object
  • An object identification unit that identifies an object
  • a gesture detection unit that is provided on the back side of the display screen of the display device and detects a gesture when a predetermined gesture is input by the second operation body; and Based on the first gesture information representing the gesture detected by the gesture detection unit, the container corresponding to the selected object is displayed.
  • An output device selection unit that selects an output device that is an external device that outputs data, and the selection based on second gesture information that represents a gesture detected after transmitting location information of the content data to the output device.
  • An information processing apparatus includes a signal generation unit that generates a control signal for causing the output device to execute a predetermined process.
  • the information processing apparatus may further include a location information transfer unit that transfers location information of content data corresponding to the selected object to the output device selected by the output device selection unit.
  • the gesture detection unit can detect an input position on the back surface of the display screen by the second operating body, and the information processing apparatus can detect an area on the display screen and The area on the back surface of the display screen is divided into a plurality of divided areas, and the first input position information indicating the input position of the first operating body input from the input position detector, and the gesture detection Based on the second input position information indicating the input position of the second operating body input from the unit, the divided area on the display screen where the first operating body is positioned, and the second operation An input area detecting unit for detecting the divided area on the back surface of the display screen where the body is located; first divided area information representing the divided area where the first operating body is located; and the second operation Body position Based on the second divided area information indicating the divided area to be performed, the divided area where the first operating body is located and the divided area where the second operating body is located have a corresponding positional relationship.
  • a determination unit for determining whether or not the location information transfer unit is configured to determine, by the determination unit, the divided region where the first operating body is located and the divided region where the second operating body is located.
  • the location information may be transferred only when it is determined that the area has a corresponding positional relationship.
  • the information processing apparatus acquires display control information that is information for display control on the output device of content data corresponding to the selected object from the output device, and further, the acquired display control information, A command for adjusting the layout of the content data on the display screen of the output device based on the third gesture information representing the gesture detected by the gesture detection unit after the content data is displayed on the output device.
  • a layout adjusting unit that generates a signal may be further provided.
  • the output device When the layout adjustment is performed when displaying the one content data, the output device associates the layout information regarding the layout of the one content data after the layout adjustment with the location information of the content data.
  • the layout adjusting unit stores the one of the one stored in the output device when the output device displays other content data according to the gesture information input from the gesture detection unit.
  • Application condition information indicating an application condition of the layout information associated with the location information of the content data may be transmitted to the output device.
  • the information processing device further includes a device registration unit that performs a device registration process for making external devices accessible to each other via a network using a common protocol with the information processing device, and the output device selection unit includes: The output device may be selected from the external devices that have undergone the device registration process.
  • an input position detecting step for detecting an input position of the first operating body on a display screen of a display device on which a predetermined object is displayed;
  • An object specifying step of specifying a selected object that is the object selected by the first operating body based on input position information representing the input position and display position information representing a display position of the object;
  • a gesture detecting step for detecting a predetermined gesture input by the second operating body in a state where the selected object is selected by the first operating body, and a first representing the gesture detected by the gesture detecting step.
  • An external device that outputs content data corresponding to the selected object based on gesture information
  • an information processing method including a signal generation step of generating a control signal for causing the selected output device to execute a predetermined process based on second gesture information.
  • a computer is provided on a display screen side of a display device on which a predetermined object is displayed, and the display screen is displayed by a first operating body.
  • the object selected by the first operating body based on the input position detection unit for detecting the input position on the input, the input position information indicating the input position, and the display position information indicating the display position of the object;
  • An object identification unit that identifies a selected object;
  • a gesture detection unit that is provided on the back side of the display screen of the display device and detects a gesture when a predetermined gesture is input by the second operation body;
  • Corresponding to the selected object based on first gesture information representing a gesture detected by the gesture detection unit An output device selection unit that selects an output device that is an external device that outputs content data, and second gesture information that represents a gesture detected after transmitting location information of the content data to the output device,
  • a program for functioning as an information processing apparatus comprising: a signal generation unit that generates a control
  • the computer program is stored in the storage unit included in the computer, and is read and executed by the CPU included in the computer, thereby causing the computer to function as the information processing apparatus.
  • a computer-readable recording medium in which a computer program is recorded can also be provided.
  • the recording medium is, for example, a magnetic disk, an optical disk, a magneto-optical disk, a flash memory, or the like.
  • the above computer program may be distributed via a network, for example, without using a recording medium.
  • the user operation becomes simpler and more intuitive than before, and portable information Direct operation of large screen display content by the processing device is possible.
  • 2 is an explanatory diagram illustrating an external configuration (display screen side) and a usage example of the information processing apparatus according to the embodiment. It is explanatory drawing which shows the external appearance structure (back side) and usage example of the information processing apparatus which concern on the embodiment. It is explanatory drawing which shows the outline of the information processing method which concerns on the embodiment. It is a disassembled perspective view which shows the hardware constitutions of the information processing apparatus which concerns on the embodiment. It is a block diagram which shows the hardware constitutions of the information processing apparatus which concerns on the embodiment.
  • DESCRIPTION OF SYMBOLS 100 Information processing apparatus 101 Device registration part 103 Input position detection part 105 Display control part 107 Object specification part 109 Gesture detection part 111 Output device selection part 113 Content data management part 115 Signal generation part 117 Layout adjustment part 119 Storage part 135 Location information transfer Unit 136 input region detection unit 137 determination unit 150 touch panel 160 touch pad 170 first operation body 180 second operation body
  • FIG. 1 is an explanatory diagram illustrating a configuration of a video display system 1 (see, for example, Patent Document 1) as an example of an information processing system including a portable information processing device in related technology.
  • a video display system 1 includes a plastic display device 2, a base device (base station) 3, and a large screen display device 4 as an example of an information processing device in the related art.
  • the video signal supplied from the base device 3 can be displayed on the plastic display device 2 and the large screen display device 4.
  • the instruction content from the user is assigned in advance to the coordinate change of the indicated position on the touch panel on the LCD as the display element of the plastic display device 2. Then, the plastic display device 2 detects the coordinate change of the indicated position on the display screen, determines the instruction content assigned to the detected coordinate change, and controls the control signal based on the determined instruction content.
  • the display content of the plastic display device 2 is greatly increased in response to a change in coordinates of the indicated position on the display screen of the plastic display device 2 (for example, a drag operation from the user's hand toward the hand).
  • the instruction content to be swapped is assigned to the display screen of the screen display device 4.
  • the display content of the plastic display device 2 can be swapped with the display screen of the large screen display device 4.
  • touch panels are provided on both surfaces of the display panel of the portable information processing apparatus.
  • one of the touch panels for example, the touch panel on the front surface side of the display panel
  • an external device for example, a device that reproduces content corresponding to the swapped object
  • FIG. 2 is an explanatory diagram showing the overall configuration of the information processing system according to the present embodiment.
  • the information processing system 10 mainly includes a portable information processing apparatus 100, an output device 200, and a WEB server 300.
  • the information processing apparatus 100 can communicate with the output device 200, the WEB server 300, and the like via the network 400.
  • the type of the network 400 is not particularly limited, and examples thereof include a home network using a protocol such as the Internet and DLNA (Digital Living Network Alliance).
  • the information processing apparatus 100 when a user is browsing a WEB page in the WEB server 300 through a browser or the like using the information processing apparatus 100, a specific content is selected and output to the output device 200. can do.
  • the information processing apparatus 100 causes the location information of the selected content data acquired via the Internet 400 (for example, the URL of the WEB page where the content data is stored) Etc.) can be transmitted to the output device 200.
  • the output device 200 that has acquired the location information of the content data outputs the content data by an application associated with the content data.
  • the information processing apparatus 100 when the user operates the information processing apparatus 100, the information processing apparatus 100 generates a control signal for executing various processes in the output device 200, and transmits the generated control signal to the output device 200.
  • the output device 200 that has received this control signal executes processing corresponding to the control signal (for example, scrolling / zooming of images, fast-forwarding / rewinding of video and music, volume change, etc.).
  • the information processing apparatus 100 is an electronic device that is connected to the network 400 by any means such as FTTH (Fiber To The Home) or WiMAX (Worldwide Interoperability for Microwave Access), and can browse the WEB page via a browser.
  • Such an information processing apparatus 100 includes a notebook personal computer (hereinafter referred to as PC), a mobile phone, a PHS (Personal Handy-phone System), a mobile video player, a mobile music player, a PDA (Personal Digital Assistant), a mobile phone. There are game consoles.
  • the information processing apparatus 100 may be a remote controller (hereinafter referred to as a remote controller) or the like as long as it has a display device such as an LCD.
  • the information processing apparatus 100 has a display device, which will be described in detail later, and a touch panel or a touch pad is mounted on both the front and back surfaces of the display screen of the display device.
  • operation body When the user operates the information processing apparatus 100, the user normally moves the operating body while pressing the surface of the touch panel or the touch pad with a finger, a stylus, or the like (hereinafter referred to as “operation body”).
  • operation body A predetermined operation (gesture operation) is performed.
  • the touch panel reads, as coordinates, a point at which the operating body contacts the touch panel surface.
  • the method for reading the contact position between the operating body and the touch panel surface is not particularly limited, and any method such as a so-called electrostatic method, pressurization method, or optical method can be used. Then, the coordinates read by the touch panel are transmitted to the arithmetic processing means, and predetermined processing is executed.
  • FIG. 1 shows an example in which only one information processing apparatus 100 is connected to the network 400, the number of information processing apparatuses 100 is not particularly limited.
  • the output device 200 is a device that outputs content data corresponding to the object selected by the operating body from the objects displayed on the display screen of the display device of the information processing apparatus 100.
  • the output device 200 is not particularly limited as long as it can output content data on the information processing apparatus 100.
  • Specific examples of the output device 200 include a television receiver having a large screen display, a stationary audio device, and the like.
  • the output device 200 is also connected to the network 400 by any means such as FTTH or WiMAX.
  • FIG. 1 shows an example in which a television receiver 210 having a large screen display and a stationary audio device 220 are connected to a network 400 as the output device 200.
  • the number of output devices 200 is not particularly limited.
  • the output device 200 when the output device 200 is selected as a device that outputs content data (hereinafter, selected content data) corresponding to the object selected by the operating tool, the location information of the content data is processed by the information processing apparatus. Get from 100. Then, the output device 200 acquires the content data from the WEB server 300 based on the location information of the acquired content data (for example, the URL of the content data storage destination), and the predetermined amount based on the control signal from the information processing apparatus 100 Execute the process. As such processing, for example, when the selected content data is a still image such as a photograph, focus, zoom, etc., when the selected content is a moving image or music, playback, pause, fast forward, rewind, There is volume adjustment.
  • the selected content data is a still image such as a photograph, focus, zoom, etc.
  • the selected content is a moving image or music
  • playback, pause, fast forward, rewind There is volume adjustment.
  • the WEB server 300 transmits content data location information (for example, a URL of a WEB page where the content data is stored) to the information processing apparatus 100. Further, the WEB server 300 distributes content data corresponding to the location information of the content data in response to a request from the output device 200 that acquired the location information of the content data from the information processing apparatus 100.
  • the type of content data distributed by the WEB server 300 is not particularly limited as long as it is data to be displayed on the display unit.
  • the WEB server 300 is a server that provides a WEB service that can be executed by a WEB browser or the like. For example, a server that provides a service such as a photo sharing service, a video distribution service, or a music distribution service. To do. The user can view the content distributed from the WEB server 300 on the information processing apparatus 100 or the output device 200.
  • the network 400 is a communication network that connects the information processing apparatus 100, the output device 200, and the content distribution server 400 so that they can communicate bidirectionally or in one direction.
  • the network 400 is, for example, a public line network such as the Internet, a telephone line network, a satellite communication network, a broadcast communication path, a WAN (Wide Area Network), a LAN (Local Area Network), an IP-VPN (Internet Protocol-Virtual Private). Network), Ethernet (registered trademark), a dedicated network such as a wireless LAN, etc., whether wired or wireless.
  • the information processing apparatus 100 and the output device 200 can perform data communication with each other on the home network using a protocol such as DLNA.
  • FIG. 3 is an explanatory diagram illustrating an appearance configuration (display screen side) and a usage example of the information processing apparatus 100 according to the present embodiment.
  • FIG. 4 is an explanatory diagram illustrating an external configuration (back side) and a usage example of the information processing apparatus 100 according to the present embodiment.
  • FIG. 5 is an explanatory diagram showing an outline of the information processing method according to the present embodiment.
  • the information processing apparatus 100 is a portable electronic device provided with a touch panel 150 on the front surface (display screen side) and a touch pad 160 on the back surface (back side of the display screen).
  • the user operates the information processing apparatus 100 by a gesture operation on the touch panel 150 on the front surface.
  • the user views the content on the WEB server 300 via the WEB browser by a tap operation or a drag operation using the first operation body 170 (for example, the user's thumb) on the touch panel 150.
  • the user can also select an object corresponding to the content data to be output to the output device 200 from among the objects displayed on the touch panel 150 by a tap operation using the first operation body 170 or the like.
  • the user is performing a gesture operation on the touch pad 160 on the back surface, and can select the output device 200, swap to the selected output device 200, directly operate the output device 200, and the like. .
  • the user can select a desired output device 200 by a tap operation or a drag operation using the second operation body 180 (for example, the user's index finger) on the touch pad 160.
  • the desired output device 200 here is an output device 200 that outputs content data (hereinafter, selected content data) corresponding to an object selected by a gesture input in the first operating body 170.
  • the information processing apparatus 100 acquires the location information of the selected content data from the WEB server 300 and transmits the acquired location information to the output device 200.
  • the user directly performs an operation on the output device 200 using the information processing apparatus 100 by performing a tap operation or a drag operation on the touch pad 160. It can be carried out.
  • direct operation on the output device 200 for example, when the selected content data is a still image such as a photograph, focus, zoom, etc., when the selected content is a moving image or music, playback, temporary, etc. Stop, fast forward, rewind, volume adjustment, etc.
  • the user's right thumb is used as an example of the first operating body 170
  • the user's right hand's index finger is used as an example of the second operating body 180.
  • the finger is not limited to these fingers. That is, as the first operation body 170 and the second operation body 180, a finger that is easy for the user to use (for example, the finger of the left hand) may be used, and a stylus or the like may be used.
  • FIG. 5 illustrates an example in which a plurality of thumbnail images indicated by rectangles are displayed as objects on the application screen displayed on the touch panel 150 of the information processing apparatus 100. It is assumed that the object 150a is selected by the first operation body 170 (user's thumb) from the plurality of objects displayed on the touch panel 150, and the object 150a is selected.
  • FIG. 5 illustrates a case where a television receiver 210 having a large screen display 211 and an audio device 220 are connected to the network 400 as the output device 200.
  • the information processing apparatus 100 can select the television receiver 210 as the output device 200.
  • the information processing apparatus 100 can select the audio device 220 as the output device 200.
  • the information processing apparatus 100 transmits location information (for example, URL) of content data corresponding to the object 150a to the selected output device 200.
  • information such as location information of content data corresponding to the object 150a selected by the first operating body 170 is output by a cooperative operation between the touch panel 150 on the front surface of the information processing apparatus and the touch pad 160 on the back surface. 200.
  • the output device 200 that has received the location information of the content data accesses the WEB server 300 based on the location information of the content data, and acquires the content data corresponding to the object 150a from the WEB server 300.
  • the output device 200 selected by the information processing apparatus 100 is the television receiver 210
  • the content corresponding to the object 150a is displayed on the display 211.
  • processing corresponding to the gesture is executed by the television receiver 210.
  • the output device 200 selected by the information processing apparatus 100 is the audio device 220
  • the music content data acquired from the WEB server 300 is stored in the audio device 220.
  • the audio device 220 has a display unit, a player screen corresponding to the acquired music content data may be displayed on the display unit. Thereafter, when a gesture is input to the touch pad 160 by the second operation body 180, processing corresponding to the gesture (music reproduction or the like) is executed by the audio device 220.
  • FIG. 6 is an exploded perspective view showing a hardware configuration of the information processing apparatus 100 according to the present embodiment.
  • FIG. 7 is a block diagram illustrating a hardware configuration of the information processing apparatus 100 according to the present embodiment.
  • the information processing apparatus 100 includes a display device 151 provided on a substrate 191, and an information input device 153 provided on the display screen 151 a side (surface side of the information processing device 100) of the display device 151. And a touch pad 160 provided on the back side of the display screen 151a of the display device 151 (the back side of the information processing device 100).
  • a RAM Random Access Memory
  • CPU Central Processing Unit
  • the display device 151 displays results obtained by various processes performed by the information processing apparatus 100 as text or images.
  • the display device 151 constitutes the touch panel 150 together with an information input device 153 described later.
  • Specific examples of the display device 151 include devices that can visually notify the user of information, such as an LCD (Liquid Crystal Display), an organic EL (Electroluminescence) display device, and the like.
  • the information input device 153 has a panel shape and constitutes the touch panel 150 together with the display device 151.
  • the information input device 153 detects the contact position of the first operating body 170 in contact with the surface as the input position by the first operating body 170 on the display screen of the display device 151.
  • the information input device 153 outputs input position information indicating the detected input position by the first operating body 170 to the CPU 197 as an information signal.
  • a user of the information processing apparatus 100 can input various data or instruct a processing operation to the information processing apparatus 100 by operating the information input apparatus 153.
  • the touch pad 160 has a panel-like shape like the information input device 153.
  • the touch pad 160 detects the contact position of the second operating body 180 in contact with the surface as an input position by the second operating body 180 on the touch pad 160.
  • the touch pad 160 outputs input position information representing the detected input position by the second operating body 180 to the CPU 197 as an information signal.
  • the user of the information processing apparatus 100 can operate the touch pad 160 to transmit various data and instruct processing operations to the output device 200.
  • the information processing apparatus 100 includes a non-volatile memory 193, a RAM 195, a CPU 197, and a network interface 199 in addition to the touch panel 150 (the display device 151 and the information input device 153) and the touch pad 160 described above. And further.
  • the non-volatile memory (storage device) 193 is a data storage device configured as an example of a storage device of the information processing device 100.
  • a magnetic storage device such as an HDD (Hard Disk Drive), a semiconductor storage device, An optical storage device or a magneto-optical storage device is used.
  • the nonvolatile memory 193 stores programs executed by the CPU 197 and various data.
  • the non-volatile memory 193 displays, for example, information regarding the optimal layout, zoom ratio, and the like when displaying content data acquired from the WEB server 300 on the output device 200 in the URL of the storage destination of the content data. It is stored in association with the domain.
  • the RAM 195 temporarily stores programs used in the CPU 197, parameters that change as appropriate during the execution, and the like.
  • the CPU (control unit) 197 functions as an arithmetic processing unit and a control unit, and controls all or a part of the operation in the information processing apparatus 100 according to various programs recorded in the nonvolatile memory 193 and the RAM 195. is there.
  • the network interface 199 is an interface for transmitting / receiving various data to / from external devices such as the output device 200 and the WEB server 300 via the network 400.
  • each component described above may be configured using a general-purpose member, or may be configured by hardware specialized for the function of each component. Therefore, the hardware configuration to be used can be changed as appropriate according to the technical level at the time of carrying out the present embodiment.
  • FIG. 8 is a block diagram illustrating a functional configuration of the information processing apparatus 100 according to the present embodiment.
  • the information processing apparatus 100 includes an input position detection unit 103, a display control unit 105, an object specification unit 107, a gesture detection unit 109, an output device selection unit 111, and a signal generation unit 115.
  • the information processing apparatus 100 further includes a device registration unit 101, a content data management unit 113, a layout adjustment unit 117, a storage unit 119, and a communication unit 121.
  • the device registration unit 101 registers the information processing apparatus 100 and the output device 200 by a simple registration method such as WPS (Wi-Fi Protected Setup). By performing device registration in this manner, the information processing apparatus 100 and the output device 200 can access each other via a network using a common protocol (for example, DLNA).
  • a common protocol for example, DLNA
  • the device registration method is not limited to WPS, and any method can be adopted as long as the information processing apparatus 100 and the output device 200 can access each other.
  • the device registration unit 101 records registered device information representing information (for example, information such as a device name and an IP address) related to an external device for which device registration has been performed in the storage unit 119.
  • the input position detection unit 103 detects an input position on the touch panel 150 by the first operating body 170. Specifically, the input position detection unit 103 reads the position (point) on the surface of the touch panel 150 where the first operating body 170 (for example, the thumb of the user of the information processing apparatus 100) is in contact as coordinates.
  • the method by which the input position detection unit 103 detects the contact position by the first operating body 170 is not particularly limited, and any method such as a so-called electrostatic method, pressurization method, or optical method can be used. .
  • the input position detection unit 103 detects that pressure is applied to the touch panel 150 and reads the coordinates of the point where the pressure is applied.
  • the input position detection unit 103 detects the presence of the first operation body 170 in the space on the touch panel 150 close to the touch panel 150 even if the input operation detector 170 is not directly touched by the first operation body 170, and makes contact You may have the function which can be recognized as a position. That is, the contact position referred to here may include position information for an operation performed by the first operating body 170 so as to draw a sky on the screen of the touch panel 150.
  • the input position detection unit 103 transmits information on the detected contact position (more specifically, the coordinates of the contact position) to the display control unit 105 and the object specifying unit 107 as input position information. For example, when the detected contact position is one location, the input position detection unit 103 outputs one coordinate (X1, Y1) as the input position information. When there are two detected contact positions, the input position detection unit 103 outputs a plurality of detected coordinates (X1, Y1) and (X2, Y2).
  • the display control unit 105 is a control unit that controls the content displayed on the touch panel 150.
  • the display control unit 105 reads out object data such as thumbnail images of arbitrary image data recorded in the storage unit 119 to be described later, and causes the touch panel 150 to display the object data.
  • the display control unit 105 designates the display position of the object on the touch panel 150 and displays the object data at the display position. For this reason, the display control unit 105 holds information indicating the display position of the object displayed on the touch panel 150.
  • Information indicating the display position of the object is transmitted from the display control unit 105 to the object specifying unit 107.
  • the input position information is input from the input position detection unit 103 to the display control unit 105.
  • the display control unit 105 acquires an object such as a thumbnail of the moving image content included in the information processing apparatus 100 from the storage unit 119 described later, and displays the object on the display screen.
  • the display control unit 105 displays an object corresponding to the content data on the display screen.
  • the object specifying unit 107 specifies a selected object that is an object selected by the first operation body 170 based on the input position information and the display position information indicating the display position of the object or the like.
  • the input position information is input from the input position detection unit 103 to the object specifying unit 107.
  • display position information indicating the display position of an object or the like is also input from the display control unit 105 to the object specifying unit 107. Therefore, the object specifying unit 107 compares the input position information input from the input position detection unit 103 with the display position information input from the display control unit 105. Then, the object specifying unit 107 specifies the object selected by the first operating body 170. By this processing, the object specifying unit 107 transmits information related to the selected content object and the like to the display control unit 105 and the content data management unit 113.
  • the gesture detection unit 109 detects a gesture when a predetermined gesture is input to the touch pad 160.
  • the specific function of the gesture detection unit 109 is similar to the function of the input position detection unit 103 described above. That is, the gesture detection unit 109 detects an input position on the touch pad 160 by the second operation body 180. Specifically, the gesture detection unit 109 reads, as coordinates, a position (point) at which the second operation body 180 (for example, the index finger of the user of the information processing apparatus 100) contacts on the surface of the touch pad 160.
  • the method by which the gesture detection unit 109 detects the contact position by the second operating body 180 is not particularly limited, and any method such as a so-called electrostatic method, pressurization method, or optical method can be used.
  • the gesture detection unit 109 detects that pressure is applied to the touch pad 160 and reads the coordinates of the point where the pressure is applied. Further, the gesture detection unit 109 detects that the second operation body 180 exists in the space on the touch pad 160 close to the touch pad 160 even if the gesture detection unit 109 is not directly touched by the second operation body 180. You may have the function which can be recognized as a contact position. That is, the contact position referred to here may include position information regarding an operation performed by the second operating body 180 so as to draw a sky on the screen of the touch pad 160.
  • the gesture detection unit 109 outputs, as gesture information, information on the detected contact position (more specifically, coordinates of the contact position) and information on the direction and amount of change of the detected contact position with time.
  • the data is transmitted to the selection unit 111, the signal generation unit 115, and the layout adjustment unit 117.
  • the input position detection unit 103 outputs one coordinate (X1, Y1) as the input position information.
  • the input position detection unit 103 outputs a plurality of detected coordinates (X1, Y1) and (X2, Y2).
  • a vector representing a change in a plurality of coordinates (X1, Y1) and (X2, Y2) detected within a predetermined time is output.
  • the output device selection unit 111 selects the output device 200 that outputs the content data corresponding to the selected object, based on the first gesture information representing the gesture detected by the gesture detection unit 109. That is, first gesture information representing a gesture detected in a state where a specific object is selected by the first operating body 170 is input from the gesture detection unit 109 to the output device selection unit 111. Further, the output device selection unit 111 acquires information (registered device information) related to registered devices that can access the information processing apparatus 100 from the storage unit 119. Then, the output device selection unit 111 selects one output device 200 (for example, the television receiver 210 and the audio device 220) from among the registered output devices 200 based on the first gesture information. For example, the television receiver 210) is selected.
  • the gesture detection unit 109 detects the number of times that the tap operation has been performed on the touch pad 160 within a predetermined time. For example, when gesture information indicating that a single tap operation has been performed on the touch pad 160 is input to the output device selection unit 111, the output device selection unit 111 outputs the television receiver 210. The device 200 is selected. When the gesture information indicating that the tap operation has been performed twice on the touch pad 160 is input to the output device selection unit 111, the output device selection unit 111 selects the audio device 220 as the output device 200. To do.
  • the determination criterion for the output device selection unit 111 to select the output device 200 is not limited to the method of selecting the output device 200 based on the number of taps of the touch pad 160.
  • the display control unit 105 displays on the display screen the names of external devices that have been registered, and the output device selection unit 111 selects the output device 200 in response to a drag operation on the touch pad 160. May be selected.
  • the output device 200 is selected according to the number of fingers of the user who are simultaneously touching the touch pad 160 (the television receiver 210 is selected for one, and the audio device 220 is selected for two). It may be. Note that when the output device 200 is selected based on the number of taps, for example, when the user wants to select the television receiver 210 and accidentally taps twice, the user operability may not be good. . From such a viewpoint of user operability, it is preferable to select the output device 200 by a drag operation, the number of fingers, or the like because a desired output device 200 can be immediately selected again even if an erroneous operation is performed. .
  • the output device selection unit 111 transmits information on the name, IP address, and the like of the selected output device 200 to the content data management unit 113 and the signal generation unit 115.
  • the content data management unit 113 acquires content data and the like from the WEB server 300, transfers location information of the content data to the output device 200 selected by the output device selection unit 111, and the like.
  • FIG. 9 is a block diagram showing a configuration of the content data management unit 113 according to the present embodiment.
  • the content data management unit 113 includes a content data acquisition unit 131, a selected content identification unit 132, a location information extraction unit 133, an output device identification unit 134, and a location information transfer unit 135.
  • the content data management unit 113 may include an input area detection unit 136 and a determination unit 137 as necessary.
  • the content data acquisition unit 131 receives predetermined content data from the WEB server 300 via the communication unit 121, its location information (such as the URL where the content data is stored), and information related to the application associated with the content data. To get.
  • the content data acquisition unit 131 may record information such as acquired content data in the storage unit 119.
  • the content data acquisition unit 131 may transmit the acquired content data to the display control unit 105 and display the content data on the display screen of the information processing apparatus 100 as text, an image, or the like.
  • Information regarding the object selected by the first operation body 170 is input from the object specifying unit 107 to the selected content specifying unit 132.
  • the selected content specifying unit 113 specifies content data corresponding to the object from the input information related to the selected object. Then, the selected content specifying unit 132 transmits information regarding the specified content data to the location information extracting unit 133.
  • the location information extracting unit 133 extracts the location information of the content data from the information regarding the selected content data input from the selected content specifying unit 132.
  • the location information of the selected content data to be extracted may be held by the content data management unit 113 or may be stored in the storage unit 119. Further, the location information extraction unit 133 transmits the location information of the extracted selected content data to the location information transfer unit 135.
  • the output device specifying unit 134 has been selected as the output device 200 that outputs content data (hereinafter, selected content data) corresponding to the object selected by the first operating body 170 from the output device selection unit 111. Information about the device is entered. The output device specifying unit 134 specifies the output device 200 selected by the output device 200 based on the input information regarding the output device 200. Further, the output device specifying unit 134 transmits information on the specified output device 200 (name, IP address, etc. of the output device 200) to the location information transfer unit 135.
  • content data hereinafter, selected content data
  • the location information transfer unit 135 transfers the location information of the selected content data input from the location information extraction unit 133 to the output device 200 specified by the output device specification unit 134 via the communication unit 121.
  • the input position information indicating the contact position of the first operating body 170 on the touch panel 150 is input from the input position detection unit 103 to the input area detection unit 136.
  • input position information representing the contact position of the second operation body 180 on the touch pad 160 is input from the gesture detection unit 109 to the input region detection unit 136.
  • the input area detection unit 136 divides the area on the touch panel 150 into a plurality of divided areas, and the divided area where the first operating body 170 is positioned based on the input position information input from the input position detection unit 103. Is detected.
  • the input area detection unit 136 divides the area on the touch pad 160 into a plurality of divided areas, and the divided area where the second operating body 180 is located based on the input position information input from the gesture detection unit 109. Is detected. Furthermore, the contact position detection unit 136 detects first divided area information indicating the detected divided area where the first operating body 170 is located, and second divided area information indicating the divided area where the second operating body 180 is located. Is transmitted to the determination unit 137.
  • the determination unit 137 determines the divided region where the first operating body 170 is located and the second operating member 180 as the position. It is determined whether or not there is a corresponding positional relationship with the divided area.
  • the “corresponding positional relationship” refers to, for example, a divided area where the first operating body 170 is located on the touch panel 150 and a divided area where the second operating body 180 is located on the touch pad 160 facing each other. It refers to the relationship that is located. In other words, it means a relationship in which the divided area where the first operating body 170 is located and the divided area where the second operating body 180 is located are areas having the same coordinates in the XY coordinate plane. Further, the determination unit 137 transmits the result of the determination to the location information transfer unit 135.
  • the location information transfer unit 135 determines whether to transfer the location information of the selected content. That is, the location information transfer unit 135 receives a determination result that the divided area where the first operating body 170 is located and the divided area where the second operating body 180 is located have a corresponding positional relationship. The location information of the selected content is transferred to the output device 200. On the other hand, the location information transfer unit 135 receives a determination result that the divided area where the first operating body 170 is located and the divided area where the second operating body 180 is located do not have a corresponding positional relationship. The location information of the selected content is not transferred to the output device 200. In this case, the operation input to the touch pad 160 by the second operation body 180 is determined to be an erroneous operation.
  • the information processing apparatus 100 since the information processing apparatus 100 includes the input region detection unit 136 and the determination unit 137, the location of the selected content is detected when the second operation body 180 accidentally contacts the touch pad 160 due to an erroneous operation by the user. Information can be prevented from being transferred to the output device 200.
  • the signal generation unit 115 performs predetermined processing on the selected output device 200 based on the second gesture information representing the gesture detected by the gesture detection unit 109 after transmitting the location information of the content data to the output device 200.
  • a control signal for execution is generated. The details of the processing are as follows.
  • the signal generation unit 115 receives, from the content data management unit 113, information related to the selected content data that has been transferred to the output device 200, the associated application, and the like.
  • information related to the selected output device 200 is input to the signal generation unit 115 from the output device selection unit 111.
  • gesture information representing a gesture input to the touch pad 160 is input from the gesture detection unit 109 to the signal generation unit 115.
  • the signal generation unit 115 recognizes the content of the gesture corresponding to the gesture information. For example, when the gesture information is information indicating that the contact position of the second operation body 180 that has touched the touch pad 160 within a predetermined time is one place (for example, coordinates (X1, Y1)). It is recognized that the tap operation on the touch pad 160 has been performed once. Further, for example, the gesture information is information indicating that the contact position of the second operating body 180 that has touched the touch pad 160 within a predetermined time has moved from the coordinates (X1, Y1) to the coordinates (X2, Y2). If it is detected, it is recognized that a drag operation has been performed on the touch pad 160.
  • the gesture information is information indicating that the contact position of the second operation body 180 that has touched the touch pad 160 within a predetermined time is one place (for example, coordinates (X1, Y1)). It is recognized that the tap operation on the touch pad 160 has been performed once. Further, for example, the gesture information is information indicating that the contact position of the second operating body 180 that
  • the signal generation unit 115 generates a control signal for causing the output device 200 to execute the process assigned to the gesture based on the gesture information (the content of the recognized gesture) input from the gesture detection unit 109.
  • the content reproduction process is assigned to one tap operation after the location information of the selected content data is transmitted, and the volume adjustment process is assigned to the drag operation.
  • the signal generation unit 115 causes the output device 200 to reproduce the selected content data.
  • a control signal for executing is generated.
  • the signal generation unit 115 generates a control signal for causing the output device 200 to adjust the playback volume of the selected content.
  • the content of the process assigned to each gesture may be stored in the storage unit 119 in association with the content of the gesture and the content of the process, for example.
  • the layout adjustment unit 117 adjusts the layout for displaying the selected content on the output device 200 based on the gesture detected by the gesture detection unit 109. Specifically, the layout adjustment unit 117 acquires display control information that is information for display control in the output device 200 such as the size and resolution of the display screen of the output device 200 from the output device 200. Then, the layout adjustment unit 117 holds the acquired display control information or records it in the storage unit 119. In addition, the layout adjustment unit 117 generates a command signal such as scrolling or zooming for adjusting the layout on the display screen of the content data displayed on the output device 200 based on the display control information and the gesture information. To the output device 200.
  • display control information is information for display control in the output device 200 such as the size and resolution of the display screen of the output device 200 from the output device 200. Then, the layout adjustment unit 117 holds the acquired display control information or records it in the storage unit 119. In addition, the layout adjustment unit 117 generates a command signal such as scrolling or zooming for adjusting the layout on
  • WEB content can be laid out freely. Therefore, even if the output device 200 plays the selected content as it is based on the location information of the content such as the transferred URL, the content is not always displayed at the center of the display screen at the optimum zoom rate. I can't. Therefore, the layout adjustment as described above is necessary.
  • the selected content data is displayed on the output device 200.
  • gesture information representing the content of detecting that a gesture such as dragging, pinching in, or pinching out is input to the touch pad 160 from the gesture detection unit 109 is input to the layout adjustment unit 117.
  • the layout adjustment unit 117 performs a scroll command signal on the display screen of the output device 200 based on the dragged distance and direction and the display control information (display screen size, etc.). Is transmitted to the output device 200.
  • the layout adjustment unit 117 instructs zoom-out on the display screen of the output device 200 based on the pinched-out distance and display control information (display screen size, etc.). A signal is generated and transmitted to the output device 200.
  • the layout adjustment unit 117 may record layout information regarding the preset position, zoom ratio, and the like regarding the display of content data after layout adjustment in the storage unit 119.
  • the output device 200 records the layout information after layout adjustment for each WEB site, domain, etc., so that when the output device 200 reproduces the same WEB content later, the optimum content automatically. Playback in layout becomes possible. That is, when layout adjustment is performed, the layout information is output from the output device 200, for example, content location information (for example, the URL of the main page of the WEB site where the content is stored, the domain where the content is stored, etc. ) And recorded. When the output device 200 redisplays the content in the same WEB site or the content having the same domain, the output device 200 automatically reproduces the content with the optimum content layout by using the stored layout information. can do.
  • content location information for example, the URL of the main page of the WEB site where the content is stored, the domain where the content is stored, etc.
  • the layout adjustment unit 117 selects an application condition for the layout information stored in the output device 200 according to the gesture information input from the gesture detection unit 109. May be.
  • the application conditions include, for example, “(1) Do not apply stored layout information”, “(2) Apply to content on the same WEB site”, “(3) Content on the same domain” Apply ".
  • different gestures are assigned to the application conditions. For example, when the number of second operating bodies 180 in contact with the touch pad 160 (the number of fingers of the user, etc.) is 1, the application condition of (1), the application condition of (2) in the case of two, In the three cases, as in the application condition (3), a gesture is assigned for each application condition. Then, the layout adjustment unit 117 transmits application condition information indicating application conditions selected according to the gesture information input from the gesture detection unit 109 to the output device 200.
  • the layout adjustment unit 117 selects the application condition of the layout information. That is, when the output device 200 receives the location information of the selected content data, a display asking whether to apply the layout information stored in the output device 200 is displayed on the display screen of the output device 200. Can be considered. Then, the user who sees the display inputs a predetermined gesture to the touch pad 160 using the second operation body 180, and the layout adjustment unit 117 selects an application condition of the layout information based on the gesture.
  • the storage unit 119 stores object data displayed on the touch panel 150.
  • the object data referred to here includes, for example, arbitrary parts constituting a graphical user interface (hereinafter, GUI) such as an icon, a button, and a thumbnail.
  • GUI graphical user interface
  • the storage unit 119 may store object data of content that can be reproduced by the information processing apparatus 100.
  • the storage unit 119 stores attribute information in association with individual object data.
  • the attribute information includes, for example, object data or entity data creation date, update date, creator name, updater name, entity data type, entity data size, importance, priority, and the like.
  • the storage unit 119 stores entity data corresponding to the object data in association with each other.
  • entity data referred to here is data corresponding to a predetermined process executed when an object displayed on the touch panel 150 is operated.
  • the object data corresponding to the moving image content is associated with the content data of the moving image content as entity data.
  • the storage unit 119 also stores an application for playing back the stored content in association with object data, content data, or attribute information.
  • the object data stored in the storage unit 119 is read by the display control unit 105 and displayed on the touch panel 150.
  • registered device information related to the registered device that has been registered by the device registration unit 101 is also registered.
  • the storage unit 119 may store layout information regarding a preset position, a zoom ratio, and the like when the selected content is displayed on the output device 200.
  • the storage unit 119 also stores various parameters, intermediate progress of processing, and various databases that need to be saved when the information processing apparatus 100 performs some processing. It can be stored as appropriate.
  • the storage unit 119 includes a device registration unit 101, an input position detection unit 103, a display control unit 105, an object specification unit 107, a gesture detection unit 109, an output device selection unit 111, a content data management unit 113, a signal generation unit 115, a layout.
  • the adjustment unit 117 and the like can freely read and write.
  • the communication unit 121 is connected to a home network or the like between the Internet 400 and the output device 200, and transmits / receives data to / from external devices (in this embodiment, the output device 200 and the WEB server 300) in the information processing apparatus 100. .
  • each component described above may be configured using a general-purpose member or circuit, or may be configured by hardware specialized for the function of each component.
  • the CPU or the like may perform all functions of each component. Therefore, the configuration to be used can be changed as appropriate according to the technical level at the time of carrying out the present embodiment.
  • FIGS. 10 and 11 are flowcharts showing a flow of processing of the information processing method according to the present embodiment.
  • FIG. 12 is an explanatory diagram illustrating a first example to which the information processing method according to the present embodiment is applied.
  • FIG. 13 is an explanatory diagram illustrating a second example to which the information processing method according to the present embodiment is applied.
  • FIG. 14 is an explanatory diagram illustrating a third example to which the information processing method according to the present embodiment is applied.
  • FIG. 15 is an explanatory diagram illustrating a modification of the information processing method according to the present embodiment.
  • FIG. 16 is an explanatory diagram illustrating a modification of the information processing method according to the present embodiment.
  • the information processing method mainly includes the following steps.
  • Input position detection step of detecting the input position of the first operating body 170 on the display screen of the display device 151 (touch panel 150) on which a predetermined object is displayed
  • Input position of the first operating body 170 Object specifying step (3) for specifying a selected object that is an object selected by the first operating body 170 based on the input position information indicating the display position information and the display position information indicating the display position of the object.
  • Gesture detection step (4) for detecting a predetermined gesture input by the second operation body 180 in a state selected by the operation body 170. First gesture representing the gesture detected by the gesture detection step (3).
  • the information processing apparatus 100 and desired external devices are registered by a simple registration method such as WPS (S101).
  • WPS simple registration method
  • the information processing apparatus 100 and external devices registered as devices can access each other via a network using a common protocol.
  • the information processing apparatus 100 accesses the WEB server 300 via the network 400 such as the Internet, acquires arbitrary content data, and displays the WEB content on the touch panel 150. Furthermore, any content desired to be output to an external device registered as a device is tapped by the first operating body 170 (for example, the thumb of the user).
  • the content to be output to the external device is a photo content in the photo sharing service on the WEB server 300
  • a plurality of objects are displayed on the touch panel 150 of the information processing apparatus 100.
  • Image is displayed.
  • the first object 150a is tapped by the first operating body 170 (for example, the thumb of the user) (S202).
  • the WEB page in the service is displayed on the touch panel 150 of the information processing apparatus 100. Is displayed.
  • the first operation body 170 taps the object 150b corresponding to the moving image content (S302).
  • the WEB page in the service is displayed on the touch panel 150 of the information processing apparatus 100. Is displayed.
  • the object 150b corresponding to the music content is tapped by the first operating body 170 (S402).
  • the input position detection unit 103 detects the position (input position) tapped by the first operating body 170 (S103). Further, the object specifying unit 107 specifies the object (selected object) selected by the first operating body 170 based on the input position detected in step S103 and the display position information acquired from the display control unit 105. (S105). For example, the object specifying unit 107 selects the object 150a in the example of FIG. 12, the object 150b in the example of FIG. 13, and the object 150c in the example of FIG. Identify as an object.
  • the gesture detection unit 109 detects a tap input on the touch pad 160 while the first operating body 170 continues to tap the selected object, that is, in a state where a predetermined object on the touch panel 150 is selected. It is determined whether or not to be performed (S107). For example, in the example of FIG. 12, the gesture detection unit 109 detects a tap input on the touch pad 160 by the second operation body 180 (for example, the user's index finger) on the touch pad 160 in a state where the object 150a is selected. It is determined whether or not.
  • the target (selection) of the selected content is output based on the number of times the touch pad 160 is tapped.
  • Output device 200 to be switched.
  • the output target is the television receiver 210
  • the number of taps is two
  • the output target is the audio device 220. It should be noted that at this stage, nothing is displayed on the display screen 211 of the television receiver 210 or the display screen 223 of the audio device 220 in any of the examples of FIGS. 12 to S201 of FIG. 14, S301, S401).
  • step S107 if the gesture detection unit 109 does not detect a tap input on the touch pad 160, the information processing apparatus 100 returns to step S103 again and determines the input position by the first operating body 170. Wait for detection.
  • the output device selection unit 111 selects the selected content according to, for example, the number of taps of the tap input.
  • the output device 200 to be output is selected (S109).
  • the content data management unit 113 sends the location information (URL) of the selected content data corresponding to the object tapped on the first operating body 170 to the output device 200 selected in step S109 via the network.
  • the network here is a network (for example, home network) based on a common protocol with the external device registered in step S101, and is a network (for example, the Internet) that communicates with the WEB server 300 or the like. Is different.
  • the location information transfer unit 135 is used only when the position of the first operation body 170 on the touch panel 150 and the position of the second operation body 180 on the touch pad 160 are in a corresponding positional relationship.
  • the URL of the selected content data is transferred to the output device 200. That is, as shown in FIG. 15, the input area detection unit 136 divides the area on the touch panel 150 into a plurality of divided areas (four divided areas 150A, 150B, 150C, and 150D in the example of FIG. 15).
  • the input area detection unit 136 also divides the area on the touch pad 160 into a plurality of divided areas (four divided areas 160A, 160B, 160C, and 160D in the example of FIG.
  • the divided area 150A on the touch panel 150 and the divided area 160A on the touch pad 160 are in a corresponding positional relationship.
  • the “corresponding positional relationship” referred to here is, for example, a divided area where the first operation body 170 is located on the touch panel 150 and a divided area where the second operation body 180 is located on the touch pad 160. It refers to the relationship of being positioned facing each other. In other words, it means a relationship in which the divided area where the first operating body 170 is located and the divided area where the second operating body 180 is located are areas having the same coordinates in the XY coordinate plane.
  • the input area detection unit 136 detects the divided area where the first operating body 170 is located based on the input position information input from the input position detection unit 103.
  • the input area detection unit 136 detects that the first operating body 170 is located in the divided area 150D.
  • the input position detection unit 136 detects the divided region where the second operation body 180 is located based on the input position information input from the gesture detection unit 109.
  • the input area detection unit 136 detects that the second operation body 180 is located in the divided area 160D. To do.
  • the determination unit 137 corresponds to the divided region where the first operating body 170 is located and the divided region where the second operating body 180 is located based on the detection result input from the input region detecting unit 136. It is determined whether or not the positional relationship is satisfied.
  • the determination unit 137 since the first operating body 170 is located in the divided area 150D and the second operating body 180 is located in the divided area 160D, the determination unit 137 includes the first operating body 170 and the second operating body 170D. It is determined that the divided area where the operating body 180 is located has a corresponding positional relationship.
  • the location information transfer unit 135 determines whether or not to transfer the location information of the selected content when the determination result is input from the determination unit 137. That is, the location information transfer unit 135 receives a determination result that the divided area where the first operating body 170 is located and the divided area where the second operating body 180 is located have a corresponding positional relationship. The location information of the selected content is transferred to the output device 200. On the other hand, the location information transfer unit 135 receives a determination result that the divided area where the first operating body 170 is located and the divided area where the second operating body 180 is located do not have a corresponding positional relationship. The location information of the selected content is not transferred to the output device 200.
  • the operation input to the touch pad 160 by the second operation body 180 is determined to be an erroneous operation.
  • the location information transfer unit 135 selects the selected content. Is transferred to the output device 200.
  • the information processing apparatus 100 since the information processing apparatus 100 includes the input region detection unit 136 and the determination unit 137, the location of the selected content is detected when the second operation body 180 accidentally contacts the touch pad 160 due to an erroneous operation by the user. Information can be prevented from being transferred to the output device 200.
  • the output device 200 that has received the URL of the selected content data accesses the WEB site on the WEB server 300 having the URL based on the received URL, and acquires the selected content data (S113).
  • layout information such as a preset position of an object displayed on the display screen and a zoom ratio is stored for each URL domain of content data transferred to itself.
  • the output device 200 applies the stored layout information at the stage of starting connection to the WEB server 300 (S115).
  • step S115 The reason why the process as in step S115 is performed is as follows.
  • the WEB content can be freely laid out. Therefore, even if the output device 200 plays the selected content as it is based on the location information of the content such as the transferred URL, the content is not always displayed at the center of the display screen at the optimum zoom rate. I can't.
  • content display layouts are often shared within the same WEB content. Therefore, by storing the layout information when the layout is adjusted on the information processing apparatus 100 side on the output device 200 side, the content can be reproduced with the optimum layout from the next time. This point will be specifically described with reference to the example of FIG.
  • FIG. 12 shows a photo sharing service in the WEB server 300 on the touch panel 150 of the information processing apparatus 100 and outputs content data (photo image data) corresponding to an object selected from the displayed objects to the output device 200. This is an example of output.
  • the output device 200 is based on the received URL in the processing in steps S113 and S115.
  • the linked high-resolution photographic image is displayed (S203).
  • the title bar and other related information on the site of the photo sharing service are also displayed on the display screen 211.
  • a gesture is input to the touch pad 160 by the second operation body 180, for example, a gesture such as a drag is input to the touch pad 160 (S204), the focus position of the photographic image 211a is determined according to the gesture input. Moves (S205).
  • the photographic image 211a is zoomed according to the gesture input (S207).
  • the photographic image 211a can be adjusted to the optimum display position and zoom ratio. For example, if the content is in the same photo sharing site, the layout of high resolution photos is common. Therefore, the output device 200 stores the layout information after the layout adjustment, and applies the stored layout information when the output to the output device 200 is performed for another photographic image after that. Thus, an optimal layout can be displayed on the display screen 211.
  • a plausible rectangle for example, a rectangle having the same size as the size of the display screen 211
  • the selected content for example, a photographic image
  • the position and zoom ratio may be automatically adjusted.
  • the layout adjustment unit 117 of the information processing apparatus 100 is stored in the output device 200 in accordance with the gesture information input from the gesture detection unit 109 when the output device 200 reproduces the selected content.
  • Application conditions for layout information may be selected.
  • the application conditions include, for example, “(1) Do not apply stored layout information”, “(2) Apply to content on the same WEB site”, “(3) Content on the same domain” Apply ".
  • different gestures are assigned to the application conditions.
  • the layout adjustment unit 117 determines that the second operation body 180 in contact with the touch pad 160 is only the operation body 181 (only the user's index finger). Apply the applicable conditions. Further, for example, as shown in FIG.
  • the layout adjusting unit 117 includes two operation bodies 181 and 182 that are in contact with the touch pad 160 (an index finger of the user). In the case of the middle finger), the application condition (2) is applied. Further, for example, as illustrated in FIG. 16C, the layout adjusting unit 117 includes three operating bodies 181, an operating body 182, and an operating body 183 that are in contact with the touch pad 160. In the case of the user's index finger, middle finger, and ring finger), the application condition (3) is applied. Then, the layout adjustment unit 117 transmits application condition information indicating application conditions selected according to the gesture information input from the gesture detection unit 109 to the output device 200.
  • the layout adjustment unit 117 selects the application condition of the layout information. That is, when the output device 200 receives the location information of the selected content data, a display asking whether to apply the layout information stored in the output device 200 is displayed on the display screen of the output device 200. Can be considered. Then, the user who sees the display inputs a predetermined gesture to the touch pad 160 using the second operation body 180, and the layout adjustment unit 117 selects an application condition of the layout information based on the gesture.
  • the output device 200 activates an application (usually a WEB browser or the like) associated with the selected content data acquired in step S113, and reproduces the selected content (S117).
  • the type of the associated application is determined based on, for example, the file name of the content data to be reproduced (particularly, an extension such as “wma” or “mpg”).
  • the gesture detection unit 109 determines whether or not a gesture input is detected on the touch pad 160 by the second operating body 180 (S119). This determination may be performed, for example, by setting a predetermined time and within this time. For example, this determination may be terminated in response to a gesture input by the second operating body 180. If the result of determination in step S119 is that gesture input by the second operating tool 180 has not been detected, processing proceeds to step S127 described later. On the other hand, if the gesture input by the second operating body 180 is detected as a result of the determination in step S119, the signal generation unit 115 performs control for causing the output device 200 to execute processing corresponding to the input gesture. A signal is generated (S121). Then, the signal generation unit 115 transmits the generated control signal to the output device 200 (S123), and the output device 200 that has received this signal executes processing corresponding to the received control signal (S125).
  • the gesture on the touch pad 160 can be performed only by relative finger movement. This is a feasible operation. Specifically, for example, when a drag operation in the vertical and horizontal directions is input to the touch pad 160, the gesture detection unit 109 detects that the drag operation is input. Based on the detection result, the signal generation unit 115 generates a control signal that instructs to scroll on the WEB page displayed on the display screen 211.
  • an operation related to the moving image content played on the television receiver 210 is performed on the touch pad 160. It is done by gesture input to. Specifically, for example, when a drag operation in the up / down / left / right direction, a drag operation in the left / right direction, a simple tap operation, or the like is input to the touch pad 160, the gesture detection unit 109 inputs the gesture operation. Detect that. Then, the signal generation unit 115 generates a control signal instructing an operation related to the moving image content displayed on the display screen 211 based on the detection result.
  • the operation of the touch pad 160 is mainly an operation that is completed with the target content (content output to the output device 200).
  • the content to be played back by the audio device 220 is music content in the music distribution service
  • an operation related to the music content played back by the audio device 220 is input to the touch pad 160 as a gesture. Is done.
  • music content or moving image content (sound only) is output to the audio device 220
  • the music being played on the audio device 220 can be controlled (played back) independently of the operation of the information processing apparatus 100.
  • using an audio device as an external speaker of a mobile device by a technology such as Bluetooth (registered trademark) is already widely used.
  • Bluetooth registered trademark
  • connection to the WEB server 300 and reproduction of acquired content are performed independently on the output device 200 side such as the audio device 200, and the information processing apparatus 100 Only the URL and control signal of the content are transmitted. Therefore, it is possible to reproduce different music between the audio device and the mobile device without providing a separate device or incurring processing costs.
  • step S127 it is determined whether or not the layout adjustment has been performed on the content currently being played back by the output device 200 (S127). Exit. On the other hand, if it is determined as a result of the determination in step S127 that the layout adjustment has been performed, the layout information such as the preset position and zoom ratio after the latest layout adjustment is recorded in association with the URL domain and the like (S129). ), The process is terminated. The recorded layout information is applied as necessary when other contents are reproduced on the output device 200.
  • the division of labor operation that takes advantage of the characteristics of each device occurs. Specifically, processing that requires complicated operations, such as navigation between web contents, is performed on the information processing apparatus 100 side. On the other hand, viewing of content that is easy to operate but is desired to be viewed on a large screen, such as a WEB video or a news article, is performed on the output device 200 side.
  • the information processing apparatus 100 is a mobile device in which the touch panel 150 is mounted on one surface (for example, the front surface) and the touch pad 160 is mounted on the other surface (for example, the back surface).
  • the information processing apparatus 100 performs an operation on the screen of the information processing apparatus 100 with the touch panel 150, and performs an operation on the screen of the output device 200 that can be connected to the information processing apparatus 100 via a home network or the like with the touch pad 160. .
  • complicated operations such as navigation of web contents are performed by the information processing apparatus 100 that is easy to perform touch operations, and contents are output by the output device 200, and these are seamlessly linked. It becomes possible to make it.
  • the following effects (1) to (3) can be mainly obtained.
  • Separate devices that specialize in navigation that requires complex operations in WEB content and content reproduction that can be realized with simple operations but requires a large screen, good sound quality, etc. 100 and output device 200) and can be controlled simultaneously.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

タッチパネルを搭載した携帯型の情報処理装置、当該情報処理装置における情報処理方法及びプログラムにおいて、ユーザ操作を従来よりもさらに単純かつ直感的なものとし、かつ、携帯型の情報処理装置による大画面表示コンテンツの直接操作を可能とする。表示パネルの表示画面側に設けられ、操作体による表示パネル上における入力位置を検出する入力位置検出部と、表示パネルの表示画面の裏面側に設けられ、所定のジェスチャを検知するジェスチャ検知部と、ジェスチャ検知部により検知されたジェスチャを表す第1のジェスチャ情報に基づいて、選択オブジェクトに対応するコンテンツデータを出力する出力機器を選択する出力機器選択部と、ジェスチャ検知部により検知されたジェスチャを表す第2のジェスチャ情報に基づいて、選択された出力機器に所定の処理を実行させるための制御信号を生成する信号生成部と、を設けた。

Description

情報処理装置、情報処理方法およびプログラム
 本発明は、情報処理装置、情報処理方法およびプログラムに関する。
 近年、タッチパネルやタッチパッド等(以下、タッチパネル)を搭載した携帯型の情報処理装置が広く普及してきている。このような携帯型の情報処理装置としては、例えば、携帯電話、PHS(Personal Handy-phone System)、携帯動画プレーヤ、携帯音楽プレーヤ、PDA(Personal Digital Assistant)等がある。さらに、最近では、テレビジョン受像機、携帯ゲーム機、リモートコントローラ(以下、リモコン)等にもタッチパネルが搭載されるようになってきている。
 また、最近では、携帯型の情報処理装置においては表示画面の面積が限られていることから、画面面積の限られた携帯型の情報処理装置の画面における表示内容を大画面に直感的に出力するというインタラクションが注目されている。このようなインタラクションとして、例えば、特許文献1では、携帯型の情報処理装置のタッチパネルへの直感的なジェスチャ入力により、携帯型の情報処理装置の表示画面を大画面の表示装置にスワップさせる技術が提案されている。
特開2004-336597号公報
 しかしながら、特許文献1に記載された技術のように、携帯型の情報処理装置の表示画面上に、大画面にスワップさせるためのジェスチャを割り当てるという手法では、割り当てたジェスチャ以外のジェスチャとの判別が困難となる、という問題があった。また、上記特許文献1の技術では、ジェスチャ数がスワップのためのジェスチャ分だけ増えるため、ユーザが覚えるべき操作が増えてしまう。このように、特許文献1に記載された技術では、ユーザの操作が煩雑になる、という問題もあった。
 さらに、上記特許文献1の技術では、大画面の表示装置に出力されているコンテンツの視聴のための操作方法として、携帯型の情報処理装置を用いて直接操作するための手段(直接操作手段)を持っておらず、このような直接操作手段が必要とされていた。特に、WEBコンテンツの視聴を前提としたケース、例えば、早送りや巻戻しの操作を必要とする動画・音楽コンテンツや、スクロールやズームなどの操作を必要とするニュース記事・地図コンテンツ等を含むケースなどでは、直接操作手段の必要性が高い。
 そこで、本発明は、上記問題に鑑みてなされたものであり、タッチパネルを搭載した携帯型の情報処理装置、当該情報処理装置における情報処理方法及びプログラムにおいて、ユーザ操作を従来よりもさらに単純かつ直感的なものとし、かつ、携帯型の情報処理装置による大画面表示コンテンツの直接操作を可能とすることを目的とする。
 上記課題を解決するために、本発明のある観点によれば、所定のオブジェクトが表示される表示パネルと、前記表示装置の表示画面側に設けられ、第1の操作体による前記表示画面上における入力位置を検出する入力位置検出部と、前記入力位置を表す入力位置情報と前記オブジェクトの表示位置を表す表示位置情報とに基づいて、前記第1の操作体により選択された前記オブジェクトである選択オブジェクトを特定するオブジェクト特定部と、前記表示装置の表示画面の裏面側に設けられ、前記第2の操作体により所定のジェスチャが入力された場合に、当該ジェスチャを検知するジェスチャ検知部と、前記ジェスチャ検知部により検知されたジェスチャを表す第1のジェスチャ情報に基づいて、前記選択オブジェクトに対応するコンテンツデータを出力する外部機器である出力機器を選択する出力機器選択部と、前記コンテンツデータの所在情報を前記出力機器に送信した後に検知されたジェスチャを表す第2のジェスチャ情報に基づいて、前記選択された出力機器に所定の処理を実行させるための制御信号を生成する信号生成部と、を備える情報処理装置が提供される。
 前記情報処理装置は、前記選択オブジェクトに対応するコンテンツデータの所在情報を、前記出力機器選択部により選択された前記出力機器に対して転送する、所在情報転送部をさらに備えていてもよい。
 前記情報処理装置において、前記ジェスチャ検知部は、前記第2の操作体による前記表示画面の裏面上における入力位置を検出することが可能であり、前記情報処理装置は、前記表示画面上の領域及び前記表示画面の裏面上の領域を、それぞれ複数の分割領域に分割するとともに、前記入力位置検出部から入力された前記第1の操作体の入力位置を表す第1入力位置情報と、前記ジェスチャ検知部から入力された前記第2の操作体の入力位置を表す第2入力位置情報とに基づいて、前記第1の操作体が位置する前記表示画面上の前記分割領域と、前記第2の操作体が位置する前記表示画面の裏面上の前記分割領域とを検出する入力領域検出部と、前記第1の操作体が位置する前記分割領域を表す第1分割領域情報と、前記第2の操作体が位置する前記分割領域を表す第2分割領域情報とに基づいて、前記第1の操作体が位置する前記分割領域と、前記第2の操作体が位置する前記分割領域とが対応する位置関係にあるか否かを判定する判定部と、をさらに備え、前記所在情報転送部は、前記判定部により、前記第1の操作体が位置する前記分割領域と前記第2の操作体が位置する前記分割領域とが対応する位置関係にあると判定された場合にのみ、前記所在情報を転送するようにしてもよい。
 前記情報処理装置は、前記選択オブジェクトに対応するコンテンツデータの前記出力機器への表示制御のための情報である表示制御情報を前記出力機器から取得し、さらに、取得した当該表示制御情報と、前記コンテンツデータが前記出力機器に表示された後に前記ジェスチャ検知部により検知されたジェスチャを表す第3のジェスチャ情報とに基づいて、前記コンテンツデータの前記出力機器の表示画面におけるレイアウトを調整するための指令信号を生成する、レイアウト調整部をさらに備えていてもよい。
 前記出力機器は、一のコンテンツデータを表示する際にレイアウト調整が行われた場合に、当該レイアウト調整後の前記一のコンテンツデータのレイアウトに関するレイアウト情報を、当該コンテンツデータの所在情報と対応付けて記憶しており、前記レイアウト調整部は、前記ジェスチャ検知部から入力されたジェスチャ情報に応じて、前記出力機器が他のコンテンツデータを表示する際において、前記出力機器に記憶されている前記一のコンテンツデータの所在情報に対応付けられた前記レイアウト情報の適用条件を表す適用条件情報を、前記出力機器に送信してもよい。
 前記情報処理装置は、外部機器に対し、前記情報処理装置と共通のプロトコルによりネットワークを介して互いにアクセス可能な状態とする機器登録処理を行う機器登録部をさらに備え、前記出力機器選択部は、前記機器登録処理が行われた前記外部機器の中から前記出力機器を選択してもよい。
 また、上記課題を解決するために、本発明の他の観点によれば、所定のオブジェクトが表示される表示装置の表示画面上における第1の操作体の入力位置を検出する入力位置検出ステップと、前記入力位置を表す入力位置情報と前記オブジェクトの表示位置を表す表示位置情報とに基づいて、前記第1の操作体により選択された前記オブジェクトである選択オブジェクトを特定するオブジェクト特定ステップと、前記選択オブジェクトが前記第1の操作体により選択されている状態で第2の操作体により入力された所定のジェスチャを検知するジェスチャ検知ステップと、前記ジェスチャ検知ステップにより検知されたジェスチャを表す第1のジェスチャ情報に基づいて、前記選択オブジェクトに対応するコンテンツデータを出力する外部機器である出力機器を選択する出力機器選択ステップと、前記コンテンツデータの所在情報を前記出力機器に送信する所在情報送信ステップと、前記所在情報を前記出力機器に送信した後に検知されたジェスチャを表す第2のジェスチャ情報に基づいて、前記選択された出力機器に所定の処理を実行させるための制御信号を生成する信号生成ステップと、を含む、情報処理方法が提供される。
 また、上記課題を解決するために、本発明のさらに他の観点によれば、コンピュータを、所定のオブジェクトが表示される表示装置の表示画面側に設けられ、第1の操作体による前記表示画面上における入力位置を検出する入力位置検出部と、前記入力位置を表す入力位置情報と前記オブジェクトの表示位置を表す表示位置情報とに基づいて、前記第1の操作体により選択された前記オブジェクトである選択オブジェクトを特定するオブジェクト特定部と、前記表示装置の表示画面の裏面側に設けられ、第2の操作体により所定のジェスチャが入力された場合に、当該ジェスチャを検知するジェスチャ検知部と、前記ジェスチャ検知部により検知されたジェスチャを表す第1のジェスチャ情報に基づいて、前記選択オブジェクトに対応するコンテンツデータを出力する外部機器である出力機器を選択する出力機器選択部と、前記コンテンツデータの所在情報を前記出力機器に送信した後に検知されたジェスチャを表す第2のジェスチャ情報に基づいて、前記選択された出力機器に所定の処理を実行させるための制御信号を生成する信号生成部と、を備える、情報処理装置として機能させるためのプログラムが提供される。
 かかる構成によれば、コンピュータプログラムは、コンピュータが備える記憶部に格納され、コンピュータが備えるCPUに読み込まれて実行されることにより、そのコンピュータを上記の情報処理装置として機能させる。また、コンピュータプログラムが記録された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリなどである。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信してもよい。
 本発明によれば、タッチパネルを搭載した携帯型の情報処理装置、当該情報処理装置における情報処理方法及びプログラムにおいて、ユーザ操作が従来よりもさらに単純かつ直感的なものとなり、かつ、携帯型の情報処理装置による大画面表示コンテンツの直接操作が可能となる。
関連技術における携帯型の情報処理装置を含む情報処理システムの構成を示す説明図である。 本発明の第1の実施形態に係る情報処理システムの全体構成を示す説明図である。 同実施形態に係る情報処理装置の外観構成(表示画面側)及び使用例を示す説明図である。 同実施形態に係る情報処理装置の外観構成(裏面側)及び使用例を示す説明図である。 同実施形態に係る情報処理方法の概略を示す説明図である。 同実施形態に係る情報処理装置のハードウェア構成を示す分解斜視図である。 同実施形態に係る情報処理装置のハードウェア構成を示すブロック図である。 同実施形態に係る情報処理装置の機能構成を示すブロック図である。 同実施形態に係るコンテンツデータ管理部の構成を示すブロック図である。 同実施形態に係る情報処理方法の処理の流れを示すフローチャートである。 同実施形態に係る情報処理方法の処理の流れを示すフローチャートである。 同実施形態に係る情報処理方法を適用した第1の例を示す説明図である。 同実施形態に係る情報処理方法を適用した第2の例を示す説明図である。 同実施形態に係る情報処理方法を適用した第3の例を示す説明図である。 同実施形態に係る情報処理方法の変形例を示す説明図である。 同実施形態に係る情報処理方法の変形例を示す説明図である。
 100  情報処理装置
 101  機器登録部
 103  入力位置検出部
 105  表示制御部
 107  オブジェクト特定部
 109  ジェスチャ検知部
 111  出力機器選択部
 113  コンテンツデータ管理部
 115  信号生成部
 117  レイアウト調整部
 119  記憶部
 135  所在情報転送部
 136  入力領域検出部
 137  判定部
 150  タッチパネル
 160  タッチパッド
 170  第1の操作体
 180  第2の操作体
 以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
 なお、説明は以下の順序で行うものとする。
 1. 関連技術の例(図1)
 2. 関連技術の例における課題の解決手段
 3. 第1の実施形態
 3-1. 情報処理システムの構成(図2)
 3-2. 情報処理装置及び情報処理方法の概略(図3~5)
 3-3. 情報処理装置のハードウェア構成(図6,7)
 3-4. 情報処理装置の機能構成(図8,9)
 3-5. 情報処理方法(図10~16)
 4.まとめ
<1.関連技術の例>
 まず、本発明の第1の実施形態に係る情報処理装置の説明をする前に、本発明の関連技術における携帯型の情報処理装置の表示画面を大画面の表示装置にスワップする技術の例について、図1を参照しながら説明する。なお、図1は、関連技術における携帯型の情報処理装置を含む情報処理システムの一例としての映像表示システム1(例えば、特許文献1を参照)の構成を示す説明図である。
 図1に示すように、映像表示システム1は、関連技術における情報処理装置の一例としての可塑型表示装置2と、ベース装置(ベースステーション)3と、大画面表示装置4とからなっている。この映像表示システム1では、ベース装置3から供給される映像信号を可塑型表示装置2と大画面表示装置4とで表示できるようになっている。
 また、映像表示システム1では、可塑型表示装置2の表示素子としてのLCD上のタッチパネルにおける指示位置の座標変化に対してユーザからの指示内容を予め割り当てておく。そして、可塑型表示装置2は、表示画面上の指示位置の座標変化を検出し、検出された座標変化に対して割り当てられた指示内容を判別し、この判別した指示内容に基づいて、制御信号を形成する。
 ここで、例えば、可塑型表示装置2の表示画面上の指示位置の座標変化(例えば、ユーザの手元から手先の方へ向けたドラッグ操作)に対して、可塑型表示装置2の表示内容を大画面表示装置4の表示画面にスワップさせる指示内容を割り当てておいたとする。この場合に、ユーザが上記ドラッグ操作を行えば、可塑型表示装置2の表示内容を大画面表示装置4の表示画面にスワップさせることができる。
<2.関連技術の例における課題の解決手段>
 しかしながら、このような技術においては、上述したように、ユーザ操作が煩雑となり、また、大画面表示装置4に出力されたコンテンツに対し可塑型表示装置2が直接操作する手段を持たない、といった課題があった。
 そこで、このような課題を解決するために、後述する本発明の第1の実施形態に係る情報処理装置及び情報処理方法では、携帯型の情報処理装置の表示パネルの両面にタッチパネルを設けている。ここで、一方のタッチパネル(例えば、表示パネルの表面側のタッチパネル)では、携帯型の情報処理装置自身の操作を行えるようにしている。また、他方のタッチパネル(表示パネルの裏面側のタッチパッド)では、外部機器(例えば、スワップさせたオブジェクトに対応するコンテンツを再生させる機器)の直接操作を行えるようにしている。さらに、一方のタッチパネルと他方のタッチパネルとの連動した操作により、外部機器へのコンテンツの転送などの処理をシームレスに行うことを可能としている。以下、本発明の第1の実施形態に係る情報処理装置及び情報処理方法について詳細に説明する。
<3.第1の実施形態>
[3-1.情報処理システムの構成]
 初めに、図2を参照しながら、本発明の第1の実施形態に係る情報処理装置を含む情報処理システムの全体構成について説明する。図2は、本実施形態に係る情報処理システムの全体構成を示す説明図である。
 図2に示すように、本実施形態に係る情報処理システム10は、携帯型の情報処理装置100と、出力機器200と、WEBサーバ300とを主に備える。この情報処理システム100では、情報処理装置100が、ネットワーク400を介して、出力機器200及びWEBサーバ300等と通信可能となっている。ネットワーク400の種類は、特に限定はされないが、例えば、インターネット、DLNA(Digital Living Network Alliance)等のプロトコルを用いたホームネットワークなどがある。
 情報処理システム10においては、ユーザが、情報処理装置100を用いてブラウザなどを介してWEBサーバ300内のWEBページを閲覧している場合に、特定のコンテンツを選択して、出力機器200に出力することができる。この場合に、ユーザが情報処理装置100を操作することで、情報処理装置100は、インターネット400を介して取得した選択したコンテンツデータの所在情報(例えば、当該コンテンツデータの格納先のWEBページのURL等)を出力機器200に送信できる。また、コンテンツデータの所在情報を取得した出力機器200は、当該コンテンツデータに関連付けられたアプリケーションにより、コンテンツデータを出力する。さらに、ユーザが情報処理装置100を操作することで、情報処理装置100は、出力機器200における各種処理を実行させるための制御信号を生成し、生成した制御信号を出力機器200に送信する。この制御信号を受信した出力機器200は、当該制御信号に対応する処理(例えば、画像のスクロール・ズーム、映像や音楽の早送り・巻戻し・音量変更等)を実行する。
 続いて、情報処理システム10に含まれる各装置の構成について説明する。
 情報処理装置100は、FTTH(Fiber To The Home)やWiMAX(Worldwide Interoperability for Microwave Acces)などの任意の手段でネットワーク400に接続されており、ブラウザを介してWEBページを閲覧可能な電子機器である。このような情報処理装置100としては、ノートブック型のパーソナルコンピュータ(以下、PC)、携帯電話、PHS(Personal Handy-phone System)、携帯動画プレーヤ、携帯音楽プレーヤ、PDA(Personal Digital Assistant)、携帯ゲーム機等がある。さらに、情報処理装置100としては、LCD等の表示装置を有していれば、リモートコントローラ(以下、リモコン)等であってもよい。
 情報処理装置100は、詳細な構成については後述するが、表示装置を有し、この表示装置の表示画面の表裏両面にタッチパネルまたはタッチパッドが搭載されている。ユーザが情報処理装置100を操作する場合、通常、ユーザは、指やスタイラス等(以下、「操作体」という。)でタッチパネルまたはタッチパッドの面上を押圧しつつ、操作体を移動させることで所定の操作(ジェスチャー操作)を行う。このような操作が行われると、タッチパネルは、操作体がタッチパネル表面と接触した点を座標として読み取る。この場合に、タッチパネルは、操作体とタッチパネル表面との接触位置を読み取る方式は特に限定はされず、いわゆる静電式、加圧式、光学式等の任意の方式を用いることができる。そして、タッチパネルにより読み取られた座標が演算処理手段に伝送され、所定の処理が実行される。なお、図1には、情報処理装置100が1台のみネットワーク400に接続されている例を示しているが、情報処理装置100の台数は特に限定されるものではない。
 出力機器200は、情報処理装置100の表示装置の表示画面に表示されているオブジェクトの中から操作体により選択されたオブジェクトに対応するコンテンツデータを出力する機器である。このような出力機器200としては、情報処理装置100上のコンテンツデータを出力できる機器であれば特に限定はされない。出力機器200の具体例としては、大画面ディスプレイを有するテレビジョン受像機、据置型のオーディオ機器等が挙げられる。また、出力機器200も、情報処理装置100と同様に、FTTHやWiMAXなどの任意の手段でネットワーク400に接続されている。図1には、出力機器200として、大画面ディスプレイを有するテレビジョン受像機210と、据置型のオーディオ機器220とがネットワーク400に接続されている例を示している。ただし、出力機器200の台数についても特に限定はされない。
 本実施形態では、出力機器200は、操作体により選択されたオブジェクトに対応するコンテンツデータ(以下、選択コンテンツデータ)を出力する機器として選択された場合に、当該コンテンツデータの所在情報を情報処理装置100から取得する。そして、出力機器200は、取得したコンテンツデータの所在情報(例えば、コンテンツデータ格納先のURL)に基づいて、WEBサーバ300からコンテンツデータを取得し、情報処理装置100からの制御信号に基づき、所定の処理を実行する。このような処理としては、例えば、選択コンテンツデータが写真等の静止画像の場合には、フォーカスやズーム等、選択コンテンツが動画像や音楽の場合には、再生、一時停止、早送り、巻戻し、音量調整等がある。
 WEBサーバ300は、例えば、情報処理装置100からの要求に応じて、情報処理装置100にコンテンツデータの所在情報(例えば、当該コンテンツデータの格納先のWEBページのURL等)を送信する。また、WEBサーバ300は、情報処理装置100からコンテンツデータの所在情報を取得した出力機器200の要求に応じて、当該コンテンツデータの所在情報に対応するコンテンツデータを配信する。WEBサーバ300が配信するコンテンツデータの種類は、表示部に表示するもとになるデータであれば特に限定されるものではない。なお、本実施形態では、WEBサーバ300は、WEBブラウザなどで実行できるWEBサービスを提供するサーバを示しており、例えば、写真共有サービス、動画配信サービス、音楽配信サービス等のサービスを提供するサーバとする。ユーザは、情報処理装置100や出力機器200上で、WEBサーバ300から配信されたコンテンツを視聴することができる。
 ネットワーク400は、情報処理装置100、出力機器200、コンテンツ配信サーバ400を双方向又は一方向に通信可能に接続する通信回線網である。ネットワーク400は、例えば、インターネット、電話回線網、衛星通信網、同報通信路等の公衆回線網や、WAN(Wide Area Network)、LAN(Local Area Network)、IP-VPN(Internet Protocol-Virtual Private Network)、Ethernet(登録商標)、ワイヤレスLAN等の専用回線網などで構成されており、有線/無線を問わない。
 なお、上述したように、情報処理装置100と出力機器200とは、DLNAなどのプロトコルによってホームネットワーク上で互いにデータ通信が可能となっている。
[3-2.情報処理装置及び情報処理方法の概略]
 続いて、図3~図5を参照しながら、本実施形態に係る情報処理装置100及び情報処理方法の概略について説明する。図3は、本実施形態に係る情報処理装置100の外観構成(表示画面側)及び使用例を示す説明図である。図4は、本実施形態に係る情報処理装置100の外観構成(裏面側)及び使用例を示す説明図である。図5は、本実施形態に係る情報処理方法の概略を示す説明図である。
(情報処理装置の概略)
 図3及び図4に示すように、情報処理装置100は、表面(表示画面側)にタッチパネル150、裏面(表示画面の裏側)にタッチパッド160が設けられた携帯型の電子機器である。
 図3に示すように、ユーザは、表面のタッチパネル150におけるジェスチャ操作により、情報処理装置100を操作する。具体的には、ユーザは、タッチパネル150における第1の操作体170(例えば、ユーザの親指)を用いたタップ操作やドラッグ操作等により、WEBブラウザを介してWEBサーバ300上のコンテンツを視聴することができる。また、ユーザは、タッチパネル150上に表示されているオブジェクトのうち、出力機器200に出力するコンテンツデータに対応するオブジェクトを、第1の操作体170を用いたタップ操作等により選択することもできる。
 一方、図4に示すように、ユーザは、裏面のタッチパッド160におけるジェスチャ操作におり、出力機器200の選択、選択した出力機器200へのスワップ、出力機器200の直接操作などを行うことができる。具体的には、ユーザは、タッチパッド160における第2の操作体180(例えば、ユーザの人差し指)を用いたタップ操作やドラッグ操作等により、所望の出力機器200を選択することができる。ここでいう所望の出力機器200とは、第1の操作体170におけるジェスチャ入力により選択されたオブジェクトに対応するコンテンツデータ(以下、選択コンテンツデータ)を出力する出力機器200のことである。ユーザのジェスチャ操作により出力機器200が選択されると、情報処理装置100は、選択コンテンツデータの所在情報をWEBサーバ300から取得し、取得した所在情報を出力機器200に送信する。また、ユーザは、選択コンテンツデータの所在情報が出力機器200に送信された後にタッチパッド160におけるタップ操作やドラッグ操作等を行うことで、出力機器200に対する操作を、情報処理装置100を用いて直接行うことができる。このような出力機器200に対する直接操作としては、例えば、例えば、選択コンテンツデータが写真等の静止画像の場合には、フォーカスやズーム等、選択コンテンツが動画像や音楽の場合には、再生、一時停止、早送り、巻戻し、音量調整等がある。
 なお、以下の説明では、第1の操作体170の一例としてユーザの右手の親指、第2の操作体180の一例としてユーザの右手の人差し指(必要に応じて、ユーザの右手の薬指及び小指も含む)を使用する例を挙げて説明するが、これらの指には限定されない。すなわち、第1の操作体170及び第2の操作体180としては、ユーザ自身が使いやすい指(例えば、左手の指)を使用すればよく、さらに、スタイラス等を使用してもよい。
(情報処理方法の概略)
 続いて、以上のような情報処理装置100を用いた本実施形態の情報処理方法の概略を説明する。情報処理装置100の表示画面(タッチパネル150)には、一般的なWEBブラウザ、動画プレーヤ、音楽プレーヤなど、再生するコンテンツに関連付けられたアプリケーションの画面が表示されている。図5には、情報処理装置100のタッチパネル150に表示されたアプリケーションの画面に、オブジェクトとして、矩形で示された複数のサムネイル画像が表示されている例を示している。このタッチパネル150に表示されている複数のオブジェクトの中から、第1の操作体170(ユーザの親指)によりオブジェクト150aがタップされ、オブジェクト150aが選択されたとする。そして、オブジェクト150aが第1の操作体170によりタップされている状態で、タッチパッド160に対して第2の操作体180(例えば、ユーザの人差し指)によりタップ操作が行われると、例えば、そのタップ回数により出力機器200が選択される。図5では、出力機器200として、大画面ディスプレイ211を有するテレビジョン受像機210と、オーディオ機器220がネットワーク400に接続されている場合を例示してある。この例で、例えば、タッチパッド160のタップ回数が1回である場合には、情報処理装置100は、出力機器200としてテレビジョン受像機210を選択するようにできる。また、例えば、タッチパッド160のタップ回数が2回である場合には、情報処理装置100は、出力機器200としてオーディオ機器220を選択するようにできる。そして、情報処理装置100は、選択された出力機器200に対し、オブジェクト150aに対応するコンテンツデータの所在情報(例えば、URL)を送信する。
 このように、情報処理装置の表面のタッチパネル150と裏面のタッチパッド160との連携操作により、第1の操作体170により選択されたオブジェクト150aに対応するコンテンツデータの所在情報等の情報を出力機器200に転送することができる。
 コンテンツデータの所在情報を受信した出力機器200は、当該コンテンツデータの所在情報に基づいて、WEBサーバ300にアクセスし、オブジェクト150aに対応するコンテンツデータをWEBサーバ300から取得する。例えば、情報処理装置100により選択された出力機器200がテレビジョン受像機210である場合には、ディスプレイ211に、オブジェクト150aに対応するコンテンツが表示される。その後、第2の操作体180によりタッチパッド160にジェスチャが入力されると、当該ジェスチャに対応する処理(写真画像のズーム、動画の再生等)がテレビジョン受像機210で実行される。また、例えば、情報処理装置100により選択された出力機器200がオーディオ機器220である場合には、WEBサーバ300から取得した音楽コンテンツデータがオーディオ機器220に記憶される。この際、オーディオ機器220が表示部を有するものである場合には、この表示部に、取得した音楽コンテンツデータに合わせたプレーヤ画面が表示されてもよい。その後、第2の操作体180によりタッチパッド160にジェスチャが入力されると、当該ジェスチャに対応する処理(音楽の再生等)がオーディオ機器220で実行される。
 以上、本実施形態に係る情報処理装置100及び情報処理方法の概略について説明した。
[3-3.情報処理装置のハードウェア構成]
 続いて、図6及び図7を参照しながら、本実施形態に係る情報処理装置100のハードウェア構成について詳述する。図6は、本実施形態に係る情報処理装置100のハードウェア構成を示す分解斜視図である。図7は、本実施形態に係る情報処理装置100のハードウェア構成を示すブロック図である。
 図6に示すように、情報処理装置100は、基板191上に設けられた表示装置151と、表示装置151の表示画面151a側(情報処理装置100の表面側)に設けられた情報入力装置153と、表示装置151の表示画面151aの裏面側(情報処理装置100の裏面側)に設けられたタッチパッド160と、を有している。
 基板191には、情報処理装置100で使用される様々な部品、装置等が取り付けられている。具体的には、図7を用いて後述する、不揮発性メモリ193、RAM(Random Access Memory)195、CPU(Central Processing Unit)197、ネットワークインターフェース199等の装置が取り付けられている。
 表示装置151は、情報処理装置100が行った各種処理により得られた結果を、テキストまたはイメージで表示する。表示装置151は、後述する情報入力装置153とともにタッチパネル150を構成するものである。表示装置151の具体例としては、例えば、LCD(Liquid Crystal Display)、有機EL(Electroluminescence)ディスプレイ装置等、情報をユーザに対して視覚的に通知することが可能な装置が挙げられる。
 情報入力装置153は、パネル状の形状を有しており、表示装置151とともにタッチパネル150を構成するものである。情報入力装置153は、その表面に接触した第1の操作体170の接触位置を、表示装置151の表示画面上における第1の操作体170による入力位置として検出する。情報入力装置153は、検出した第1の操作体170による入力位置を表す入力位置情報をCPU197に情報信号として出力する。情報処理装置100のユーザは、情報入力装置153を操作することにより、情報処理装置100に対して各種のデータを入力したり処理動作を指示したりすることができる。
 タッチパッド160は、情報入力装置153と同様に、パネル状の形状を有している。タッチパッド160は、その表面に接触した第2の操作体180の接触位置を、タッチパッド160上における第2の操作体180による入力位置として検出する。タッチパッド160は、検出した第2の操作体180による入力位置を表す入力位置情報をCPU197に情報信号として出力する。情報処理装置100のユーザは、タッチパッド160を操作することにより、出力機器200に対して各種のデータを送信したり処理動作を指示したりすることができる。
 続いて、図7を参照しながら、本実施形態に係る情報処理装置100のハードウェア構成について、さらに詳細に説明する。
 図7に示すように、情報処理装置100は、上述したタッチパネル150(表示装置151及び情報入力装置153)とタッチパッド160に加えて、不揮発性メモリ193と、RAM195と、CPU197と、ネットワークインターフェース199と、をさらに備えている。
 不揮発性メモリ(ストレージ装置)193は、情報処理装置100の記憶装置の一例として構成されたデータ格納用の装置であり、例えば、HDD(Hard Disk Drive)等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイス等により構成される。不揮発性メモリ193は、CPU197が実行するプログラムや各種データを格納する。本実施形態では、不揮発性メモリ193は、例えば、WEBサーバ300から取得したコンテンツデータを出力機器200で表示する際に最適なレイアウトやズーム率等に関する情報を、当該コンテンツデータの格納先のURLのドメイン等と対応付けて記憶している。
 RAM195は、CPU197において使用するプログラムや、その実行において適宜変化するパラメータ等を一次記憶するものである。
 CPU(制御部)197は、演算処理装置および制御装置として機能し、不揮発性メモリ193、RAM195に記録された各種プログラムにしたがって、情報処理装置100内の動作全般またはその一部を制御するものである。
 ネットワークインターフェース199は、ネットワーク400を介して、出力機器200やWEBサーバ300等の外部機器と各種データの送受信を行うためのインターフェースである。
 以上、本実施形態に係る情報処理装置100の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。したがって、本実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。
[3-4.情報処理装置の機能構成]
 続いて、図8を参照しながら、上述したハードウェア構成により実現される本実施形態に係る情報処理装置100の機能構成について説明する。図8は、本実施形態に係る情報処理装置100の機能構成を示すブロック図である。
 図8に示すように、情報処理装置100は、入力位置検出部103と、表示制御部105と、オブジェクト特定部107と、ジェスチャ検知部109と、出力機器選択部111と、信号生成部115とを有する。本実施形態では、情報処理装置100は、機器登録部101と、コンテンツデータ管理部113と、レイアウト調整部117と、記憶部119と、通信部121とをさらに有する。
 機器登録部101は、情報処理装置100と出力機器200とをWPS(Wi-Fi Protected Setup)などの簡易登録手法により機器登録する。このように機器登録を行うことにより、情報処理装置100と出力機器200とは、共通のプロトコル(例えば、DLNA等)によりネットワークを介して互いにアクセスすることが可能となる。ただし、機器登録の手法としては、WPSには限定されず、情報処理装置100と出力機器200とが互いにアクセス可能となるものであれば任意の手法を採用できる。また、機器登録部101は、機器登録が行われた外部機器に関する情報(例えば、機器名称、IPアドレス等の情報)を表す登録機器情報を記憶部119に記録する。
 入力位置検出部103は、第1の操作体170によるタッチパネル150上における入力位置を検出する。具体的には、入力位置検出部103は、タッチパネル150の表面における第1の操作体170(例えば、情報処理装置100のユーザの親指)が接触した位置(点)を座標として読み取る。この場合に、入力位置検出部103が第1の操作体170による接触位置を検出する方式は特に限定はされず、いわゆる静電式、加圧式、光学式等の任意の方式を用いることができる。例えば、加圧式の場合には、入力位置検出部103は、タッチパネル150に圧力が加えられたことを検知し、その圧力が加えられた点の座標を読み取る。また、入力位置検出部103は、第1の操作体170により直接接触されていなくても、タッチパネル150に近接したタッチパネル150上の空間に第1の操作体170が存在するのを検出し、接触位置として認識できる機能を有していてもよい。つまり、ここで言う接触位置は、第1の操作体170がタッチパネル150の画面上で空を描くように行った動作に対する位置情報を含むものであってもよい。
 また、入力位置検出部103は、検出した接触位置に関する情報(より詳細には、接触位置の座標)を、入力位置情報として、表示制御部105及びオブジェクト特定部107に伝送する。例えば、検出した接触位置が1箇所である場合には、入力位置検出部103は、入力位置情報として、1つの座標(X1,Y1)を出力する。また、検出した接触位置が2箇所である場合には、入力位置検出部103は、検出した複数の座標(X1,Y1)、(X2,Y2)を出力する。
 表示制御部105は、タッチパネル150に表示される内容を制御する制御手段である。例えば、表示制御部105は、後述する記憶部119に記録された任意の画像データのサムネイル画像などのオブジェクトデータを読み出して、タッチパネル150に表示させる。このとき、表示制御部105は、タッチパネル150に対してオブジェクトの表示位置を指定し、その表示位置にオブジェクトデータを表示させる。そのため、表示制御部105には、タッチパネル150に表示されるオブジェクトの表示位置等を示す情報が保持されている。オブジェクトの表示位置等を示す情報は、表示制御部105からオブジェクト特定部107に伝送される。
 表示制御部105には、入力位置検出部103から入力位置情報が入力される。例えば、タッチパネル150に接触している第1の操作体170が移動すると、表示制御部105には、入力位置検出部103からはリアルタイムに入力位置情報が入力される。表示制御部105は、情報処理装置100が有する動画コンテンツのサムネイル等のオブジェクトを後述する記憶部119等から取得し、表示画面に表示させる。また、表示制御部105は、後述するコンテンツデータ管理部113から、WEBサーバ300から取得したコンテンツデータが伝送された場合には、当該コンテンツデータに対応するオブジェクトを表示画面に表示させる。
 オブジェクト特定部107は、入力位置情報とオブジェクト等の表示位置を表す表示位置情報とに基づいて、第1の操作体170により選択されたオブジェクトである選択オブジェクトを特定する。すなわち、オブジェクト特定部107には、入力位置検出部103から入力位置情報が入力される。さらに、オブジェクト特定部107には、表示制御部105からオブジェクト等の表示位置を示す表示位置情報も入力される。そこで、オブジェクト特定部107は、入力位置検出部103から入力された入力位置情報と、表示制御部105から入力された表示位置情報とを比較する。そして、オブジェクト特定部107は、第1の操作体170によって選択されたオブジェクトを特定する。この処理により、オブジェクト特定部107は、選択されたコンテンツのオブジェクト等に関する情報を、表示制御部105及びコンテンツデータ管理部113に伝送する。
 ジェスチャ検知部109は、タッチパッド160に所定のジェスチャが入力された場合に、当該ジェスチャを検知する。ジェスチャ検知部109の具体的な機能は、上述した入力位置検出部103の機能と類似している。すなわち、ジェスチャ検知部109は、第2の操作体180によるタッチパッド160上における入力位置を検出する。具体的には、ジェスチャ検知部109は、タッチパッド160の表面における第2の操作体180(例えば、情報処理装置100のユーザの人差し指)が接触した位置(点)を座標として読み取る。この場合に、ジェスチャ検知部109が第2の操作体180による接触位置を検出する方式は特に限定はされず、いわゆる静電式、加圧式、光学式等の任意の方式を用いることができる。例えば、加圧式の場合には、ジェスチャ検知部109は、タッチパッド160に圧力が加えられたことを検知し、その圧力が加えられた点の座標を読み取る。また、ジェスチャ検知部109は、第2の操作体180により直接接触されていなくても、タッチパッド160に近接したタッチパッド160上の空間に第2の操作体180が存在するのを検出し、接触位置として認識できる機能を有していてもよい。つまり、ここで言う接触位置は、第2の操作体180がタッチパッド160の画面上で空を描くように行った動作に対する位置情報を含むものであってもよい。
 また、ジェスチャ検知部109は、検出した接触位置に関する情報(より詳細には、接触位置の座標)や検出した接触位置の経時的な変化の方向や変化量に関する情報を、ジェスチャ情報として、出力機器選択部111、信号生成部115及びレイアウト調整部117に伝送する。例えば、検出した接触位置が1箇所である場合には、入力位置検出部103は、入力位置情報として、1つの座標(X1,Y1)を出力する。また、検出した接触位置が2箇所である場合には、入力位置検出部103は、検出した複数の座標(X1,Y1)、(X2,Y2)を出力する。さらには、所定時間内に検出した複数の座標(X1,Y1)、(X2,Y2)の変化を表すベクトルを出力する。
 出力機器選択部111は、ジェスチャ検知部109により検知されたジェスチャを表す第1のジェスチャ情報に基づいて、選択オブジェクトに対応するコンテンツデータを出力する出力機器200を選択する。すなわち、出力機器選択部111には、ジェスチャ検知部109から、第1の操作体170により特定のオブジェクトが選択されている状態で検知されたジェスチャを表す第1のジェスチャ情報が入力される。さらに、出力機器選択部111は、記憶部119から、情報処理装置100と互いにアクセス可能な登録機器に関する情報(登録機器情報)を取得する。そして、出力機器選択部111は、第1のジェスチャ情報に基づいて、機器登録がされている出力機器200(例えば、テレビジョン受像機210及びオーディオ機器220)の中から、一の出力機器200(例えば、テレビジョン受像機210)を選択する。
 例えば、ジェスチャ検知部109が、所定時間内にタッチパッド160に対してタップ操作が行われた回数を検知するようにしておく。そして、例えば、出力機器選択部111に、タッチパッド160に1回タップ操作が行われたことを示すジェスチャ情報が入力された場合には、出力機器選択部111は、テレビジョン受像機210を出力機器200として選択するようにする。また、出力機器選択部111に、タッチパッド160に2回タップ操作が行われたことを示すジェスチャ情報が入力された場合には、出力機器選択部111は、オーディオ機器220を出力機器200として選択するようにする。ただし、出力機器選択部111が出力機器200を選択するための判断基準としては、タッチパッド160のタップ回数により出力機器200を選択する手法に限られない。
 すなわち、例えば、表示制御部105が機器登録済みの外部機器の名称等を表示画面に表示させておき、この中から、タッチパッド160に対するドラッグ操作に応じて、出力機器選択部111が出力機器200を選択するようにしてもよい。あるいは、例えば、タッチパッド160に同時に接触しているユーザの指の本数等に応じて出力機器200を選択(1本ならテレビジョン受像機210を選択、2本ならオーディオ機器220を選択)するようにしてもよい。なお、タップ回数により出力機器200を選択する場合であると、例えば、テレビジョン受像機210を選択したいのに誤って2回タップしてしまった場合などにユーザの操作性が良くない場合もある。このようなユーザの操作性の観点からは、ドラッグ操作や指の本数等により出力機器200を選択する方が、誤操作をした場合でも、直ちに所望の出力機器200を選択し直すことができるため好ましい。
 上述した処理により、出力機器選択部111は、選択された出力機器200の名称やIPアドレス等に関する情報を、コンテンツデータ管理部113及び信号生成部115に伝送する。
 コンテンツデータ管理部113は、WEBサーバ300からのコンテンツデータ等の取得、出力機器選択部111により選択された出力機器200へのコンテンツデータの所在情報の転送などを行う。ここで、図9を参照しながら、コンテンツデータ管理部113の詳細な構成について説明する。図9は、本実施形態に係るコンテンツデータ管理部113の構成を示すブロック図である。
 図9に示すように、コンテンツデータ管理部113は、コンテンツデータ取得部131と、選択コンテンツ特定部132と、所在情報抽出部133と、出力機器特定部134と、所在情報転送部135と、を主に有する。また、コンテンツデータ管理部113は、必要に応じて、入力領域検出部136と、判定部137とを有していてもよい。
 コンテンツデータ取得部131は、通信部121を介して、WEBサーバ300から、所定のコンテンツデータ、その所在情報(当該コンテンツデータの格納先のURL等)及び当該コンテンツデータに関連付けられたアプリケーションに関する情報等を取得する。コンテンツデータ取得部131は、取得したコンテンツデータ等の情報を記憶部119に記録してもよい。また、コンテンツデータ取得部131は、取得したコンテンツデータを表示制御部105に伝送し、当該コンテンツデータを情報処理装置100の表示画面にテキストやイメージ等として表示させてもよい。
 選択コンテンツ特定部132には、オブジェクト特定部107から、第1の操作体170により選択されたオブジェクト等に関する情報が入力される。選択コンテンツ特定部113は、入力された選択オブジェクトに関する情報から、当該オブジェクトに対応するコンテンツデータを特定する。そして、選択コンテンツ特定部132は、特定したコンテンツデータに関する情報を所在情報抽出部133に伝送する。
 所在情報抽出部133は、選択コンテンツ特定部132から入力された選択コンテンツデータに関する情報から、当該コンテンツデータの所在情報を抽出する。この抽出される選択コンテンツデータの所在情報は、コンテンツデータ管理部113が保持しているものでもよいし、記憶部119に記憶されているものでもよい。更に、所在情報抽出部133は、抽出した選択コンテンツデータの所在情報を所在情報転送部135に伝送する。
 また、出力機器特定部134には、出力機器選択部111から、第1の操作体170により選択されたオブジェクトに対応するコンテンツデータ(以下、選択コンテンツデータ)を出力する出力機器200として選択された機器に関する情報が入力される。出力機器特定部134は、入力された出力機器200に関する情報に基づいて、出力機器200により選択された出力機器200を特定する。さらに、出力機器特定部134は、特定した出力機器200に関する情報(当該出力機器200の名称やIPアドレス等)を所在情報転送部135に伝送する。
 所在情報転送部135は、所在情報抽出部133から入力された選択コンテンツデータの所在情報を、通信部121を介して、出力機器特定部134により特定された出力機器200に対して転送する。
 入力領域検出部136には、入力位置検出部103から、タッチパネル150上における第1の操作体170の接触位置を表す入力位置情報が入力される。また、入力領域検出部136には、ジェスチャ検知部109から、タッチパッド160上における第2の操作体180の接触位置を表す入力位置情報が入力される。そして、入力領域検出部136は、タッチパネル150上の領域を複数の分割領域に分割し、入力位置検出部103から入力された入力位置情報に基づいて、第1の操作体170が位置する分割領域を検出する。また、入力領域検出部136は、タッチパッド160上の領域を複数の分割領域に分割し、ジェスチャ検知部109から入力された入力位置情報に基づいて、第2の操作体180が位置する分割領域を検出する。さらに、接触位置検出部136は、検出した第1の操作体170が位置する分割領域を表す第1分割領域情報、及び、第2の操作体180が位置する分割領域を表す第2分割領域情報を、判定部137に伝送する。
 判定部137は、入力領域検出部136から入力された第1分割領域情報及び第2分割領域情報に基づいて、第1の操作体170が位置する分割領域と、第2の操作体180が位置する分割領域とが対応する位置関係にあるか否かを判定する。ここで、「対応する位置関係」とは、例えば、タッチパネル150における第1の操作体170が位置する分割領域と、タッチパッド160における第2の操作体180が位置する分割領域とが、互いに対向する位置する関係のことをいう。言い換えれば、第1の操作体170が位置する分割領域と、第2の操作体180が位置する分割領域とが、XY座標平面において同一の座標を有する領域である関係のことをいう。さらに、判定部137は、上記判定の結果を所在情報転送部135に伝送する。
 所在情報転送部135は、判定部137から判定結果が入力された場合には、選択コンテンツの所在情報を転送するか否かを決定する。すなわち、所在情報転送部135は、第1の操作体170が位置する分割領域と、第2の操作体180が位置する分割領域とが対応する位置関係にあるとの判定結果が入力された場合には、選択コンテンツの所在情報を出力機器200に転送する。一方、所在情報転送部135は、第1の操作体170が位置する分割領域と、第2の操作体180が位置する分割領域とが対応する位置関係にないとの判定結果が入力された場合には、選択コンテンツの所在情報を出力機器200に転送しない。この場合、第2の操作体180によるタッチパッド160への操作入力が誤操作であると判断されることとなる。
 このように、情報処理装置100が、入力領域検出部136及び判定部137を有することで、ユーザの誤操作で第2の操作体180が誤ってタッチパッド160に接触した場合に、選択コンテンツの所在情報を出力機器200に転送することを防止できる。
 以上、コンテンツデータ管理部113の構成について詳述したが、以下、再び、図8を参照しながら、情報処理装置100の機能構成についての説明を続ける。
 信号生成部115は、コンテンツデータの所在情報を出力機器200に送信した後にジェスチャ検知部109により検知されたジェスチャを表す第2のジェスチャ情報に基づいて、選択された出力機器200に所定の処理を実行させるための制御信号を生成する。その処理の詳細は、以下の通りである。
 すなわち、信号生成部115には、コンテンツデータ管理部113から、出力機器200に所在情報を転送した選択コンテンツデータや関連付けられたアプリケーション等に関する情報などが入力される。また、信号生成部115には、出力機器選択部111から、選択された出力機器200に関する情報が入力される。さらに、信号生成部115には、ジェスチャ検知部109から、タッチパッド160に入力されたジェスチャを表すジェスチャ情報が入力される。
 信号生成部115は、出力機器200への選択コンテンツデータの所在情報の転送後にジェスチャ検知部109からジェスチャ情報が入力された場合に、当該ジェスチャ情報に対応するジェスチャの内容を認識する。例えば、ジェスチャ情報が、所定時間内にタッチパッド160に接触した第2の操作体180の接触位置が1箇所(例えば、座標(X1,Y1))であることを示す情報であった場合には、タッチパッド160に対するタップ操作が1回行われたと認識される。また、例えば、ジェスチャ情報が、所定時間内にタッチパッド160に接触した第2の操作体180の接触位置が座標(X1,Y1)から座標(X2,Y2)に移動したことを示す情報であった場合は、タッチパッド160にドラッグ操作が行われたと認識される。
 次に、信号生成部115は、ジェスチャ検知部109から入力されたジェスチャ情報(認識したジェスチャの内容)に基づいて、当該ジェスチャに割り当てられた処理を出力機器200に実行させるための制御信号を生成する。例えば、選択コンテンツデータの所在情報の送信後における1回のタップ操作にはコンテンツの再生処理、ドラッグ操作には音量調整処理が割り当てられていたとする。この場合、信号生成部115は、選択コンテンツデータの所在情報の転送後にジェスチャ検知部109から入力されたジェスチャ情報が1回のタップ操作に関するものであれば、出力機器200に選択コンテンツデータの再生処理を実行させる制御信号を生成する。さらにその後、信号生成部115は、ジェスチャ検知部109から入力されたジェスチャ情報がドラッグ操作に関するものであれば、出力機器200に選択コンテンツの再生音量の調整処理を実行させるための制御信号を生成する。なお、各ジェスチャに割り当てられた処理の内容は、例えば、記憶部119に、ジェスチャの内容と処理の内容とが対応付けられて記憶されていてもよい。
 レイアウト調整部117は、ジェスチャ検知部109により検知されたジェスチャに基づいて、出力機器200において選択コンテンツを表示させる際のレイアウトを調整する。具体的には、レイアウト調整部117は、出力機器200から、当該出力機器200の表示画面のサイズ、解像度等の出力機器200における表示制御のための情報である表示制御情報を取得する。そして、レイアウト調整部117は、取得した表示制御情報を保持しておくか、あるいは、記憶部119に記録する。また、レイアウト調整部117は、表示制御情報とジェスチャ情報とに基づいて、出力機器200に表示されているコンテンツデータの表示画面上におけるレイアウトを調整するためのスクロールやズーム等の指令信号を生成し、出力機器200に送信する。
 例えば、WEBコンテンツではレイアウトが自由にできるようになっている。そのため、出力機器200が、転送されたURL等のコンテンツの所在情報に基づいて、選択コンテンツをそのまま再生しても、当該コンテンツが、表示画面の中心に最適なズーム率で表示されるとは限られない。従って、上記のようなレイアウト調整が必要となる。
 ここで、出力機器200に選択コンテンツデータが表示されている状態であるとする。この場合に、ジェスチャ検知部109からレイアウト調整部117に、タッチパッド160にドラッグ、ピンチイン、ピンチアウト等のジェスチャが入力されたことを検知した内容を表すジェスチャ情報が入力されたとする。すると、レイアウト調整部117は、例えば、ドラッグ操作の入力があれば、そのドラッグした距離及び方向と、表示制御情報(表示画面サイズ等)に基づいて、出力機器200の表示画面におけるスクロールの指令信号を生成し、出力機器200に送信する。また、レイアウト調整部117は、例えば、ピンチアウト操作の入力があれば、そのピンチアウトした距離と、表示制御情報(表示画面サイズ等)に基づいて、出力機器200の表示画面におけるズームアウトの指令信号を生成し、出力機器200に送信する。なお、レイアウト調整部117は、レイアウト調整後のコンテンツデータの表示に関するプリセット位置やズーム率等に関するレイアウト情報を記憶部119に記録してもよい。
 また、レイアウト情報は同一のWEBコンテンツ内では共通化されていることが多い。そこで、出力機器200が、レイアウト調整後のレイアウト情報を、WEBサイトやドメイン等ごとに記録しておくことで、後に同一のWEBコンテンツを出力機器200が再生する際に、自動的に最適なコンテンツレイアウトでの再生が可能になる。すなわち、レイアウト調整が行われた場合には、レイアウト情報は、出力機器200において、例えば、コンテンツの所在情報(例えば、コンテンツの格納先のWEBサイトのメインページのURL、コンテンツの格納先のドメイン等)と対応付けて記録される。そして、出力機器200は、同一のWEBサイト内のコンテンツや、同一のドメインを有するコンテンツを再び表示する際には、記憶されているレイアウト情報を用いることで、自動的に最適なコンテンツレイアウトで再生することができる。
 この場合、レイアウト調整部117は、出力機器200が選択コンテンツを再生する際に、ジェスチャ検知部109から入力されたジェスチャ情報に応じて、出力機器200に記憶されているレイアウト情報の適用条件を選択してもよい。適用条件としては、例えば、「(1)記憶されているレイアウト情報を適用しない」、「(2)同一のWEBサイトのコンテンツの場合に適用する」、「(3)同一ドメインのコンテンツの場合に適用する」等がある。ここで、上記適用条件に対しては、それぞれ、別のジェスチャが割り当てられている。例えば、タッチパッド160に接触している第2の操作体180の数(ユーザの指の本数等)が1つの場合は、(1)の適用条件、2つの場合は(2)の適用条件、3つの場合は(3)の適用条件というように、適用条件ごとにジェスチャが割り当てられている。そして、レイアウト調整部117は、ジェスチャ検知部109から入力されたジェスチャ情報に応じて選択した適用条件を表す適用条件情報を出力機器200に送信する。
 レイアウト調整部117がレイアウト情報の適用条件を選択するトリガとしては、例えば、以下のようなものがある。すなわち、出力機器200が選択コンテンツデータの所在情報を受信した際に、出力機器200の表示画面に、当該出力機器200に記憶されているレイアウト情報を適用するか否かを問う表示をすること等が考えられる。そして、この表示を見たユーザが、第2の操作体180によりタッチパッド160に所定のジェスチャを入力し、このジェスチャに基づいて、レイアウト調整部117が、レイアウト情報の適用条件を選択する。
 記憶部119は、タッチパネル150に表示されるオブジェクトデータが格納されている。ここで言うオブジェクトデータには、例えば、アイコン、ボタン、サムネイル等のグラフィカルユーザインターフェース(以下、GUI)を構成する任意のパーツ類が含まれる。また、記憶部119には、情報処理装置100で再生可能なコンテンツのオブジェクトデータが格納されていてもよい。また、記憶部119には、個々のオブジェクトデータに対し、属性情報が対応付けて格納されている。属性情報としては、例えば、オブジェクトデータまたは実体データの作成日時、更新日時、作成者名、更新者名、実体データの種別、実体データのサイズ、重要度、優先度等がある。
 また、記憶部119には、オブジェクトデータに対応する実体データも相互に対応付けて格納されている。ここで言う実体データは、タッチパネル150に表示されたオブジェクトが操作された際に実行される所定の処理に対応するデータである。例えば、動画コンテンツに対応するオブジェクトデータには、その動画コンテンツのコンテンツデータが実体データとして対応付けられている。また、記憶部119には、格納されているコンテンツを再生するためのアプリケーションもオブジェクトデータ、コンテンツデータ、または属性情報に対応付けて格納されている。
 記憶部119に格納されているオブジェクトデータは、表示制御部105により読み出されてタッチパネル150に表示される。また、記憶部119には、機器登録部101により機器登録がされた登録機器に関する登録機器情報も登録されている。さらに、記憶部119には、選択コンテンツの出力機器200への表示の際のプリセット位置やズーム率等に関するレイアウト情報が記憶されていてもよい。
 また、記憶部119は、これらのデータ以外にも、情報処理装置100が、何らかの処理を行う際に保存する必要が生じた様々なパラメータや処理の途中経過等、または、各種のデータベース等を、適宜記憶することが可能である。この記憶部119は、機器登録部101、入力位置検出部103、表示制御部105、オブジェクト特定部107、ジェスチャ検知部109、出力機器選択部111、コンテンツデータ管理部113、信号生成部115、レイアウト調整部117等が、自由に読み書きを行うことが可能である。
 通信部121は、インターネット400や出力機器200との間のホームネットワーク等に接続して、情報処理装置100における外部機器(本実施形態では、出力機器200及びWEBサーバ300)とデータの送受信を行う。
 以上、本実施形態に係る情報処理装置100の機能の一例を示した。上記の各構成要素は、汎用的な部材や回路を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。また、各構成要素の機能を、CPU等が全て行ってもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用する構成を変更することが可能である。
 また、上述のような本発明の各実施形態に係る情報処理装置100の各機能を実現するためのコンピュータプログラムを作製し、パーソナルコンピュータ等に実装することが可能である。
[3-5.情報処理方法]
 次に、図10~図16を参照しながら、上述した構成を有する情報処理装置100を用いた本実施形態に係る情報処理方法の処理の流れについて詳細に説明する。図10及び図11は、本実施形態に係る情報処理方法の処理の流れを示すフローチャートである。図12は、本実施形態に係る情報処理方法を適用した第1の例を示す説明図である。図13は、本実施形態に係る情報処理方法を適用した第2の例を示す説明図である。図14は、本実施形態に係る情報処理方法を適用した第3の例を示す説明図である。図15は、本実施形態に係る情報処理方法の変形例を示す説明図である。図16は、本実施形態に係る情報処理方法の変形例を示す説明図である。
 本実施形態に係る情報処理方法は、以下の各ステップを主に含むものである。
(1) 所定のオブジェクトが表示される表示装置151(タッチパネル150)の表示画面上における第1の操作体170の入力位置を検出する入力位置検出ステップ
(2) 第1の操作体170の入力位置を表す入力位置情報とオブジェクトの表示位置を表す表示位置情報とに基づいて、第1の操作体170により選択されたオブジェクトである選択オブジェクトを特定するオブジェクト特定ステップ
(3) 選択オブジェクトが第1の操作体170により選択されている状態で第2の操作体180により入力された所定のジェスチャを検知するジェスチャ検知ステップ
(4) (3)のジェスチャ検知ステップにより検知されたジェスチャを表す第1のジェスチャ情報に基づいて、選択オブジェクトに対応するコンテンツデータを出力する外部機器である出力機器200を選択する出力機器選択ステップ
(5) 選択オブジェクトに対応するコンテンツデータ(選択コンテンツデータ)の所在情報を出力機器200に送信する所在情報送信ステップ
(6) 選択コンテンツデータの所在情報を出力機器200に送信した後に検知されたジェスチャを表す第2のジェスチャ情報に基づいて、選択された出力機器200に所定の処理を実行させるための制御信号を生成する信号生成ステップ
 以下、上記(1)~(6)の各ステップを含む本実施形態に係る情報処理方法の詳細について説明する。
 図10に示すように、まず、情報処理装置100と所望の外部機器(例えば、テレビジョン受像機210及びオーディオ機器220)とを、例えば、WPSなどの簡易登録手法により機器登録する(S101)。これにより、情報処理装置100と機器登録された外部機器(例えば、テレビジョン受像機210及びオーディオ機器220)とが、共通のプロトコルによりネットワークを介して互いにアクセスできるようになる。
 次に、情報処理装置100は、インターネット等のネットワーク400を介して、WEBサーバ300にアクセスし、任意のコンテンツデータを取得し、タッチパネル150にWEBコンテンツを表示する。さらに、第1の操作体170(例えば、ユーザの親指)により、機器登録されている外部機器に出力したい任意のコンテンツがタップされる。
 例えば、図12に示すように、外部機器に出力したいコンテンツが、WEBサーバ300上の写真共有サービスにおける写真コンテンツである場合には、情報処理装置100のタッチパネル150上には、複数のオブジェクト(サムネイル画像)が表示されている。この中から、第1の操作体170(例えば、ユーザの親指)により、一のオブジェクト150aがタップされる(S202)。また、図13に示すように、外部機器に出力したいコンテンツが、WEBサーバ300上の動画配信サービスにおける動画コンテンツである場合には、情報処理装置100のタッチパネル150上には、当該サービスにおけるWEBページが表示されている。この中から、第1の操作体170により、動画コンテンツに対応するオブジェクト150bがタップされる(S302)。また、図14に示すように、外部機器に出力したいコンテンツが、WEBサーバ300上の音楽配信サービスにおける音楽コンテンツである場合には、情報処理装置100のタッチパネル150上には、当該サービスにおけるWEBページが表示されている。この中から、第1の操作体170により、音楽コンテンツに対応するオブジェクト150bがタップされる(S402)。
 すると、入力位置検出部103が、第1の操作体170によりタップされた位置(入力位置)を検出する(S103)。さらに、オブジェクト特定部107は、ステップS103で検出された入力位置と、表示制御部105から取得した表示位置情報とに基づいて、第1の操作体170により選択されたオブジェクト(選択オブジェクト)を特定する(S105)。例えば、オブジェクト特定部107は、図12の例の場合には、オブジェクト150aを、図13の例の場合には、オブジェクト150bを、図14の例の場合には、オブジェクト150cを、それぞれ、選択オブジェクトとして特定する。
 次に、ジェスチャ検知部109が、第1の操作体170が選択オブジェクトをタップし続けたまま、すなわち、タッチパネル150上の所定のオブジェクトが選択されている状態で、タッチパッド160にタップ入力が検出されるか否かを判定する(S107)。例えば、ジェスチャ検知部109は、図12の例では、オブジェクト150aが選択されている状態で、タッチパッド160に第2の操作体180(例えば、ユーザの人差指)によりタッチパッド160にタップ入力が検出されるか否かを判定する。
 ここで、例えば、外部機器として複数の機器(例えば、テレビジョン受像機210及びオーディオ機器220)が機器登録されていた場合、タッチパッド160をタップした回数等により、選択コンテンツを出力する対象(選択する出力機器200)を切り替える。例えば、タッチパッド160へのタップ回数が1回である場合には、出力対象をテレビジョン受像機210、タップ回数が2回である場合には、出力対象をオーディオ機器220といった形になる。なお、ここまでの段階では、図12~図14のいずれの例においても、テレビジョン受像機210の表示画面211やオーディオ機器220の表示画面223には何も表示されていないものとする(図12~図14のS201、S301、S401)。
 ステップS107における判定の結果、ジェスチャ検知部109がタッチパッド160にタップ入力を検出しなかった場合には、情報処理装置100は、再びステップS103に戻って、第1の操作体170による入力位置の検出があるまで待機する。一方、ステップS107における判定の結果、ジェスチャ検知部109がタッチパッド160にタップ入力を検出した場合には、出力機器選択部111は、例えば、当該タップ入力のタップ回数等に応じて、選択コンテンツを出力する出力機器200を選択する(S109)。
 次に、コンテンツデータ管理部113は、ステップS109で選択された出力機器200に対し、第1の操作体170にタップされているオブジェクトに対応する選択コンテンツデータの所在情報(URL)をネットワークを介して転送する(S111)。なお、ここでのネットワークは、ステップS101において機器登録された外部機器との間の共通のプロトコルによるネットワーク(例えば、ホームネットワーク)であり、WEBサーバ300等との通信を行うネットワーク(例えば、インターネット)とは異なる。
 ここで、図15を参照しながら、本実施形態の変形例について説明する。本変形例では、所在情報転送部135は、タッチパネル150上の第1の操作体170の位置と、タッチパッド160上の第2の操作体180の位置とが対応する位置関係にある場合にのみ、選択コンテンツデータのURLを出力機器200に転送する。すなわち、図15に示すように、入力領域検出部136が、タッチパネル150上の領域を複数の分割領域(図15の例では、4つの分割領域150A、150B、150C、150D)に分割する。また、入力領域検出部136は、タッチパッド160上の領域も複数の分割領域(図15の例では、4つの分割領域160A、160B、160C、160D)に分割する。ここで、例えば、タッチパネル150上の分割領域150Aと、タッチパッド160上の分割領域160Aとは、対応する位置関係にある。なお、ここでいう「対応する位置関係」とは、例えば、タッチパネル150における第1の操作体170が位置する分割領域と、タッチパッド160における第2の操作体180が位置する分割領域とが、互いに対向する位置する関係のことをいう。言い換えれば、第1の操作体170が位置する分割領域と、第2の操作体180が位置する分割領域とが、XY座標平面において同一の座標を有する領域である関係のことをいう。
 次に、入力領域検出部136が、入力位置検出部103から入力された入力位置情報に基づいて、第1の操作体170が位置する分割領域を検出する。図15の例では、第1の操作体170は分割領域150D上に位置しているので、入力領域検出部136は、第1の操作体170が位置するのが分割領域150Dであることを検出する。また、入力位置検出部136は、ジェスチャ検知部109から入力された入力位置情報に基づいて、第2の操作体180が位置する分割領域を検出する。図15の例では、第2の操作体180は分割領域160D上に位置しているので、入力領域検出部136は、第2の操作体180が位置するのが分割領域160Dであることを検出する。
 次に、判定部137が、入力領域検出部136から入力された検出結果に基づいて、第1の操作体170が位置する分割領域と、第2の操作体180が位置する分割領域とが対応する位置関係にあるか否かを判定する。図15の例では、第1の操作体170が分割領域150Dに、第2の操作体180が分割領域160Dに位置していることから、判定部137は、第1の操作体170と第2の操作体180とが位置する分割領域は、対応する位置関係にあると判定する。
 さらに、所在情報転送部135が、判定部137から判定結果が入力された場合には、選択コンテンツの所在情報を転送するか否かを決定する。すなわち、所在情報転送部135は、第1の操作体170が位置する分割領域と、第2の操作体180が位置する分割領域とが対応する位置関係にあるとの判定結果が入力された場合には、選択コンテンツの所在情報を出力機器200に転送する。一方、所在情報転送部135は、第1の操作体170が位置する分割領域と、第2の操作体180が位置する分割領域とが対応する位置関係にないとの判定結果が入力された場合には、選択コンテンツの所在情報を出力機器200に転送しない。この場合、第2の操作体180によるタッチパッド160への操作入力が誤操作であると判断されることとなる。図15の例では、第1の操作体170と第2の操作体180とが位置する分割領域は、対応する位置関係にあると判定されていることから、所在情報転送部135は、選択コンテンツの所在情報を出力機器200に転送する。
 このように、情報処理装置100が、入力領域検出部136及び判定部137を有することで、ユーザの誤操作で第2の操作体180が誤ってタッチパッド160に接触した場合に、選択コンテンツの所在情報を出力機器200に転送することを防止できる。
 再び、本実施形態に係る情報処理方法の説明を続ける。選択コンテンツデータのURLを受信した出力機器200は、受信したURLに基づき、当該URLを有するWEBサーバ300上のWEBサイトにアクセスし、選択コンテンツデータを取得する(S113)。このとき、出力機器200では、例えば、自身に転送されるコンテンツデータのURLのドメインごとに、表示画面に表示されるオブジェクトのプリセット位置やズーム率等のレイアウト情報が記憶されている。そして、出力機器200は、WEBサーバ300に接続を開始した段階で、記憶されているレイアウト情報を適用する(S115)。
 ステップS115のような処理が行われるのは、以下のような理由である。すなわち、WEBコンテンツではレイアウトが自由にできるようになっている。そのため、出力機器200が、転送されたURL等のコンテンツの所在情報に基づいて、選択コンテンツをそのまま再生しても、当該コンテンツが、表示画面の中心に最適なズーム率で表示されるとは限られない。一方、コンテンツの表示レイアウトは同一のWEBコンテンツ内では共通化されていることが多い。従って、レイアウトを情報処理装置100側で調整した際のレイアウト情報を出力機器200側で記憶しておくことで、次回から、最適なレイアウトでコンテンツの再生が可能となる。この点について、図12の例を用いて具体的に説明する。
 図12は、WEBサーバ300における写真共有サービスを情報処理装置100のタッチパネル150上で表示し、表示されているオブジェクトの中から選択されたオブジェクトに対応するコンテンツデータ(写真画像データ)を出力機器200に出力する例である。
 図12に示すように、ステップS111で情報処理装置100から出力機器200へ選択コンテンツデータのURLの転送処理が行われると、ステップS113及びS115における処理で、出力機器200では、受信したURLに基づくリンク先の高解像度写真画像が表示される(S203)。しかし、この段階(S203)では、選択オブジェクトに対応する写真画像211aと同時に、写真共有サービスのサイトにおけるタイトルバーやその他の関連情報なども表示画面211に表示されてしまう。このとき、第2の操作体180によりタッチパッド160にジェスチャが入力、例えば、タッチパッド160にドラッグなどのジェスチャが入力されると(S204)、このジェスチャ入力に応じて、写真画像211aのフォーカス位置が移動する(S205)。さらに、例えば、第2の操作体180によりタッチパッド160にピンチアウトやピンチインなどのジェスチャが入力されると(S206)、このジェスチャ入力に応じて、写真画像211aのズームが行われる(S207)。以上のような処理が行われることで、写真画像211aを最適な表示位置及びズーム率に調整することができる。例えば、同一の写真共有サイト内のコンテンツであれば、高解像度写真のレイアウトは共通である。そのため、出力機器200が、上記レイアウト調整後のレイアウト情報を記憶しておき、その後、他の写真画像に対して出力機器200への出力を行った場合に記憶されているレイアウト情報を適用することで、最適なレイアウトで表示画面211に表示できる。
 なお、選択されたコンテンツ(例えば、写真画像)を中心に、もっともらしい矩形(例えば、表示画面211のサイズと同一サイズの矩形)を自動的に検出し、検出した矩形に併せて、コンテンツの表示位置やズーム率を自動的に調整してもよい。
 また、この場合、情報処理装置100のレイアウト調整部117は、出力機器200が選択コンテンツを再生する際に、ジェスチャ検知部109から入力されたジェスチャ情報に応じて、出力機器200に記憶されているレイアウト情報の適用条件を選択してもよい。適用条件としては、例えば、「(1)記憶されているレイアウト情報を適用しない」、「(2)同一のWEBサイトのコンテンツの場合に適用する」、「(3)同一ドメインのコンテンツの場合に適用する」等がある。ここで、上記適用条件に対しては、それぞれ、別のジェスチャが割り当てられている。例えば、図16(a)に示すように、レイアウト調整部117は、タッチパッド160に接触している第2の操作体180が操作体181のみ(ユーザの人差し指のみ)の場合は、(1)の適用条件を適用する。また、例えば、図16(b)に示すように、レイアウト調整部117は、タッチパッド160に接触している第2の操作体180が操作体181と操作体182の2つ(ユーザの人差し指と中指)の場合は、(2)の適用条件を適用する。さらに、例えば、図16(c)に示すように、レイアウト調整部117は、タッチパッド160に接触している第2の操作体180が操作体181、操作体182及び操作体183の3つ(ユーザの人差し指、中指、薬指)の場合は、(3)の適用条件を適用する。そして、レイアウト調整部117は、ジェスチャ検知部109から入力されたジェスチャ情報に応じて選択した適用条件を表す適用条件情報を出力機器200に送信する。
 レイアウト調整部117がレイアウト情報の適用条件を選択するトリガとしては、例えば、以下のようなものがある。すなわち、出力機器200が選択コンテンツデータの所在情報を受信した際に、出力機器200の表示画面に、当該出力機器200に記憶されているレイアウト情報を適用するか否かを問う表示をすること等が考えられる。そして、この表示を見たユーザが、第2の操作体180によりタッチパッド160に所定のジェスチャを入力し、このジェスチャに基づいて、レイアウト調整部117が、レイアウト情報の適用条件を選択する。
 再び、図11を参照しながら、本実施形態に係る情報処理方法の説明を続ける。出力機器200は、ステップS113で取得した選択コンテンツデータを関連付けられたアプリケーション(通常は、WEBブラウザ等)を起動し、選択コンテンツを再生する(S117)。関連付けられたアプリケーションの種類の判断は、例えば、再生するコンテンツデータのファイル名(特に、「wma」、「mpg」等の拡張子)に基づいて行われる。
 さらにその後、ジェスチャ検知部109は、第2の操作体180によりタッチパッド160にジェスチャ入力が検出されるか否かを判定する(S119)。この判定は、例えば、所定の時間を設定し、この時間内において行われてもよいし、例えば、第2の操作体180によるジェスチャ入力に応じて、この判定を終了させてもよい。ステップS119の判定の結果、第2の操作体180によるジェスチャ入力が検出されなかった場合には、後述するステップS127の処理に進む。一方、ステップS119の判定の結果、第2の操作体180によるジェスチャ入力が検出された場合には、信号生成部115が、入力されたジェスチャに対応する処理を出力機器200に実行させるための制御信号を生成する(S121)。そして、信号生成部115は、生成した制御信号を出力機器200に送信し(S123)、この信号を受信した出力機器200では、受信した制御信号に該当する処理が実行される(S125)。
 例えば、図12の例のように、テレビジョン受像機210に表示させるコンテンツが、写真共有サービスにおける写真画像等のWEBコンテンツであれば、タッチパッド160におけるジェスチャは、相対的な指の移動のみで実現可能な操作となる。具体的には、例えば、タッチパッド160に上下左右方向のドラッグ操作が入力された場合には、ジェスチャ検知部109が、当該ドラッグ操作が入力されたことを検知する。そして、信号生成部115が、この検知結果に基づき、表示画面211に表示されているWEBページ上におけるスクロールを行うように指示する制御信号を生成する。
 また、図13の例のように、テレビジョン受像機210に表示させるコンテンツが、動画配信サービスにおける動画コンテンツであれば、テレビジョン受像機210で再生している動画コンテンツに関する操作は、タッチパッド160へのジェスチャ入力により行われる。具体的には、例えば、タッチパッド160に上下左右方向のドラッグ操作、左右方向のドラッグ操作、単純なタップ操作等が入力された場合には、ジェスチャ検知部109が、当該ジェスチャ操作が入力されたことを検知する。そして、信号生成部115が、この検知結果に基づき、表示画面211に表示されている動画コンテンツに関する操作を指示する制御信号を生成する。この操作としては、例えば、上下左右方向のドラッグ操作があった場合には、再生音量の変更、左右方向のドラッグ操作があった場合には、早送り・巻戻し、単純なタップ操作があった場合には、一時停止・再生といったものが考えられる。このように、タッチパッド160の操作は、本実施形態では、対象コンテンツ(出力機器200に出力されたコンテンツ)で完結する操作が主なものとなる。
 また、図14の例のように、オーディオ機器220に再生させるコンテンツが、音楽配信サービスにおける音楽コンテンツであれば、オーディオ機器220で再生している音楽コンテンツに関する操作は、タッチパッド160へのジェスチャ入力により行われる。オーディオ機器220へ音楽コンテンツや動画コンテンツ(音声のみ)を出力した場合、情報処理装置100の操作と独立して、オーディオ機器220で再生している音楽を制御(再生等)することができる。例えば、Bluetooth(登録商標)などの技術により、オーディオ機器をモバイル機器の外部スピーカとして使用することは既に広く普及している。しかし、この場合、オーディオ機器とモバイル機器の音声が同期してしまうため、オーディオ機器のスピーカで音楽を流しながら、ブラウザで別の音楽を視聴するといったことができない。一方、本実施形態では、WEBサーバ300への接続や、取得したコンテンツの再生(スピーカ221からの音声出力)はオーディオ機器200等の出力機器200側で独立して行い、情報処理装置100は、当該コンテンツのURLや制御信号を送信するだけである。従って、別途装置を設けたり、処理コストをかけたりせずに、オーディオ機器とモバイル機器とで別々の音楽を再生することが可能となる。
 オーディオ機器側でWEBページ上の操作を可能として(例えば、LCDなどの画面表示機構をもつなど)、当該オーディオ機器でWEBコンテンツを再生するという方法もある。しかし、WEBコンテンツ上におけるナビゲーションをオーディオ機器で行うのは現実的には困難であり、部品コストの負担もある。従って、WEBコンテンツのナビゲーションを情報処理装置100側で行い、音楽等のコンテンツの再生をオーディオ機器220等の出力機器200側で行うという分業処理は、部品コストの面でも装置の単純化の面でも有効である。
 最後に、出力機器200が現在再生しているコンテンツに対しレイアウト調整が行われたか否かを判定し(S127)、レイアウト調整が行われていないと判定した場合には、コンテンツの再生終了後処理を終了する。一方、ステップS127の判定の結果、レイアウト調整が行われたと判定した場合には、直近のレイアウト調整後のプリセットの位置やズーム率等のレイアウト情報をURLのドメイン等と対応付けて記録し(S129)、処理を終了する。この記録されたレイアウト情報は、出力機器200における他のコンテンツの再生時に必要に応じて適用される。
 以上のように、本実施形態に係る情報処理方法では、それぞれの装置が持つ特徴を生かした分業操作を起こっている。具体的には、複雑な操作を必要とする処理、例えば、WEBコンテンツ間のナビゲーション等は、情報処理装置100側で行っている。一方、簡易な操作で済むが大画面でじっくり見たいコンテンツ、例えば、WEB動画やニュース記事等の視聴は、出力機器200側で行っている。
<4.まとめ>
 以上のように、本実施形態に係る情報処理装置100は、一方の面(例えば、表面)にタッチパネル150、他方の面(例えば、裏面)にタッチパッド160を搭載したモバイル機器である。そして、情報処理装置100は、タッチパネル150で情報処理装置100の画面上における操作を行い、タッチパッド160で、情報処理装置100とホームネットワーク等により接続可能な出力機器200の画面上における操作を行う。これにより、1台の装置(情報処理装置100)で、2つの装置(情報処理装置100及び出力機器200)の表示画面上における操作を同時に行うことが可能となる。また、本実施形態によれば、例えば、WEBコンテンツのナビゲーションのような複雑な操作は、タッチ操作がしやすい情報処理装置100で行い、コンテンツの出力は出力機器200で行い、これらをシームレスに連携させることを可能となる。
 このような本実施形態に係る情報処理装置100、情報処理方法及びプログラムによれば、以下の(1)~(3)のような効果を主に得ることができる。
(1)WEBコンテンツで複雑な操作を必要とするナビゲーションと、簡易な操作で実現できるが大画面や良好な音質等を必要とするコンテンツ再生を、それぞれを得意とする別々の装置(情報処理装置100及び出力機器200)で行い、同時に制御することが可能となる。
(2)本実施形態では、情報処理装置100のタッチパネル150とタッチパッド160との連携したジェスチャ操作によるコンテンツのURL転送、タッチパネル150上における情報処理装置100の操作、タッチパッド160上における出力機器200の操作、とハードウェアレベルで操作が分離している。そのため、ユーザに対して、比較的単純で直感的な操作を提供し、ユーザの利便性を向上させることができる。
(3)ブラウザとWPSなどの一般的な技術や、ドメイン別にスクロール・ズーム位置を保存するといったシンプルで、他方、共通レイアウトをもちいるWEBコンテンツにおいては大変有用な仕組みを用いることで、本実施形態を実現できる。そのため、従来のシステムに新たに独自のシステムをインストールするコストがかからない。
 以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

Claims (8)

  1.  所定のオブジェクトが表示される表示装置と、
     前記表示装置の表示画面側に設けられ、第1の操作体による前記表示画面上における入力位置を検出する入力位置検出部と、
     前記入力位置を表す入力位置情報と前記オブジェクトの表示位置を表す表示位置情報とに基づいて、前記第1の操作体により選択された前記オブジェクトである選択オブジェクトを特定するオブジェクト特定部と、
     前記表示装置の表示画面の裏面側に設けられ、第2の操作体により所定のジェスチャが入力された場合に、当該ジェスチャを検知するジェスチャ検知部と、
     前記ジェスチャ検知部により検知されたジェスチャを表す第1のジェスチャ情報に基づいて、前記選択オブジェクトに対応するコンテンツデータを出力する外部機器である出力機器を選択する出力機器選択部と、
     前記コンテンツデータの所在情報を前記出力機器に送信した後に検知されたジェスチャを表す第2のジェスチャ情報に基づいて、前記選択された出力機器に所定の処理を実行させるための制御信号を生成する信号生成部と、
    を備える、情報処理装置。
  2.  前記選択オブジェクトに対応するコンテンツデータの所在情報を、前記出力機器選択部により選択された前記出力機器に対して転送する、所在情報転送部をさらに備える、請求項1に記載の情報処理装置。
  3.  前記ジェスチャ検知部は、前記第2の操作体による前記表示画面の裏面上における入力位置を検出することが可能であり、
     前記情報処理装置は、
     前記表示画面上の領域及び前記表示画面の裏面上の領域を、それぞれ複数の分割領域に分割するとともに、前記入力位置検出部から入力された前記第1の操作体の入力位置を表す第1入力位置情報と、前記ジェスチャ検知部から入力された前記第2の操作体の入力位置を表す第2入力位置情報とに基づいて、前記第1の操作体が位置する前記表示画面上の前記分割領域と、前記第2の操作体が位置する前記表示画面の裏面上の前記分割領域とを検出する入力領域検出部と、
     前記第1の操作体が位置する前記分割領域を表す第1分割領域情報と、前記第2の操作体が位置する前記分割領域を表す第2分割領域情報とに基づいて、前記第1の操作体が位置する前記分割領域と、前記第2の操作体が位置する前記分割領域とが対応する位置関係にあるか否かを判定する判定部と、
    をさらに備え、
     前記所在情報転送部は、前記判定部により、前記第1の操作体が位置する前記分割領域と前記第2の操作体が位置する前記分割領域とが対応する位置関係にあると判定された場合にのみ、前記所在情報を転送する、請求項2に記載の情報処理装置。
  4.  前記選択オブジェクトに対応するコンテンツデータの前記出力機器への表示制御のための情報である表示制御情報を前記出力機器から取得し、さらに、取得した当該表示制御情報と、前記コンテンツデータが前記出力機器に表示された後に前記ジェスチャ検知部により検知されたジェスチャを表す第3のジェスチャ情報とに基づいて、前記コンテンツデータの前記出力機器の表示画面におけるレイアウトを調整するための指令信号を生成する、レイアウト調整部をさらに備える、請求項1に記載の情報処理装置。
  5.  前記出力機器は、一のコンテンツデータを表示する際にレイアウト調整が行われた場合に、当該レイアウト調整後の前記一のコンテンツデータのレイアウトに関するレイアウト情報を、当該コンテンツデータの所在情報と対応付けて記憶しており、
     前記レイアウト調整部は、前記ジェスチャ検知部から入力されたジェスチャ情報に応じて、前記出力機器が他のコンテンツデータを表示する際において、前記出力機器に記憶されている前記一のコンテンツデータの所在情報に対応付けられた前記レイアウト情報の適用条件を表す適用条件情報を、前記出力機器に送信する、請求項4に記載の情報処理装置。
  6.  外部機器に対し、前記情報処理装置と共通のプロトコルによりネットワークを介して互いにアクセス可能な状態とする機器登録処理を行う機器登録部をさらに備え、
     前記出力機器選択部は、前記機器登録処理が行われた前記外部機器の中から前記出力機器を選択する、請求項1に記載の情報処理装置。
  7.  所定のオブジェクトが表示される表示装置の表示画面上における第1の操作体の入力位置を検出する入力位置検出ステップと、
     前記入力位置を表す入力位置情報と前記オブジェクトの表示位置を表す表示位置情報とに基づいて、前記第1の操作体により選択された前記オブジェクトである選択オブジェクトを特定するオブジェクト特定ステップと、
     前記選択オブジェクトが前記第1の操作体により選択されている状態で第2の操作体により入力された所定のジェスチャを検知するジェスチャ検知ステップと、
     前記ジェスチャ検知ステップにより検知されたジェスチャを表す第1のジェスチャ情報に基づいて、前記選択オブジェクトに対応するコンテンツデータを出力する外部機器である出力機器を選択する出力機器選択ステップと、
     前記コンテンツデータの所在情報を前記出力機器に送信する所在情報送信ステップと、
     前記所在情報を前記出力機器に送信した後に検知されたジェスチャを表す第2のジェスチャ情報に基づいて、前記選択された出力機器に所定の処理を実行させるための制御信号を生成する信号生成ステップと、
    を含む、情報処理方法。
  8.  コンピュータを、
     所定のオブジェクトが表示される表示装置の表示画面側に設けられ、第1の操作体による前記表示画面上における入力位置を検出する入力位置検出部と、
     前記入力位置を表す入力位置情報と前記オブジェクトの表示位置を表す表示位置情報とに基づいて、前記第1の操作体により選択された前記オブジェクトである選択オブジェクトを特定するオブジェクト特定部と、
     前記表示装置の表示画面の裏面側に設けられ、第2の操作体により所定のジェスチャが入力された場合に、当該ジェスチャを検知するジェスチャ検知部と、
     前記ジェスチャ検知部により検知されたジェスチャを表す第1のジェスチャ情報に基づいて、前記選択オブジェクトに対応するコンテンツデータを出力する外部機器である出力機器を選択する出力機器選択部と、
     前記コンテンツデータの所在情報を前記出力機器に送信した後に検知されたジェスチャを表す第2のジェスチャ情報に基づいて、前記選択された出力機器に所定の処理を実行させるための制御信号を生成する信号生成部と、
    を備える、情報処理装置として機能させるためのプログラム。
     
     
     
PCT/JP2010/051020 2009-02-04 2010-01-27 情報処理装置、情報処理方法およびプログラム WO2010090106A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
BRPI1006971A BRPI1006971A2 (pt) 2009-02-04 2010-01-27 "dispositivo e método de processamento de informação, e, programa."
CN201080005901.XA CN102301317B (zh) 2009-02-04 2010-01-27 信息处理装置和信息处理方法
US13/146,888 US20110285658A1 (en) 2009-02-04 2010-01-27 Information processing device, information processing method, and program
RU2011131785/08A RU2541125C2 (ru) 2009-02-04 2010-01-27 Устройство обработки информации, способ обработки информации и программа
EP10738441.4A EP2395416A4 (en) 2009-02-04 2010-01-27 COMPUTER DEVICE, METHOD, AND PROGRAM

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009-024237 2009-02-04
JP2009024237A JP5233708B2 (ja) 2009-02-04 2009-02-04 情報処理装置、情報処理方法およびプログラム

Publications (1)

Publication Number Publication Date
WO2010090106A1 true WO2010090106A1 (ja) 2010-08-12

Family

ID=42542006

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/051020 WO2010090106A1 (ja) 2009-02-04 2010-01-27 情報処理装置、情報処理方法およびプログラム

Country Status (7)

Country Link
US (1) US20110285658A1 (ja)
EP (1) EP2395416A4 (ja)
JP (1) JP5233708B2 (ja)
CN (1) CN102301317B (ja)
BR (1) BRPI1006971A2 (ja)
RU (1) RU2541125C2 (ja)
WO (1) WO2010090106A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014020765A1 (ja) * 2012-08-03 2014-02-06 Necカシオモバイルコミュニケーションズ株式会社 タッチパネル装置、処理決定方法、プログラムおよびタッチパネルシステム

Families Citing this family (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102439575B (zh) * 2010-03-23 2014-10-08 松下电器产业株式会社 控制用户界面显示的服务器装置、方法、程序及集成电路
KR101333879B1 (ko) * 2010-08-24 2013-11-27 주식회사 팬택 이동 단말기 및 이동 단말기를 이용한 제어 방법
JP5593980B2 (ja) 2010-09-02 2014-09-24 株式会社ニコン 電子機器及びデータ送信方法
CN101951460A (zh) * 2010-09-03 2011-01-19 深圳市同洲电子股份有限公司 预览照片的方法、系统、移动终端和机顶盒
JP6049990B2 (ja) * 2010-09-15 2016-12-21 京セラ株式会社 携帯電子機器、画面制御方法および画面制御プログラム
US20120081615A1 (en) * 2010-09-30 2012-04-05 Starr Ephraim D Remote control
JP5598232B2 (ja) 2010-10-04 2014-10-01 ソニー株式会社 情報処理装置、情報処理システムおよび情報処理方法
US8619116B2 (en) * 2010-10-22 2013-12-31 Litl Llc Video integration
US11265510B2 (en) 2010-10-22 2022-03-01 Litl Llc Video integration
US9092135B2 (en) * 2010-11-01 2015-07-28 Sony Computer Entertainment Inc. Control of virtual object using device touch interface functionality
US8875180B2 (en) * 2010-12-10 2014-10-28 Rogers Communications Inc. Method and device for controlling a video receiver
US9430128B2 (en) 2011-01-06 2016-08-30 Tivo, Inc. Method and apparatus for controls based on concurrent gestures
CN103329075B (zh) * 2011-01-06 2017-12-26 TiVo解决方案有限公司 用于基于手势控制的方法和装置
US9065876B2 (en) * 2011-01-21 2015-06-23 Qualcomm Incorporated User input back channel from a wireless sink device to a wireless source device for multi-touch gesture wireless displays
JP5709206B2 (ja) * 2011-02-17 2015-04-30 Necカシオモバイルコミュニケーションズ株式会社 タッチパネル装置、処理決定方法、プログラムおよびタッチパネルシステム
JP5816834B2 (ja) 2011-03-22 2015-11-18 パナソニックIpマネジメント株式会社 入力装置、および入力方法
JP2012247840A (ja) * 2011-05-25 2012-12-13 Sony Corp 近隣人物特定装置、近隣人物特定方法、近隣人物特定プログラム及び近隣人物特定システム
JP5890126B2 (ja) * 2011-08-24 2016-03-22 シャープ株式会社 携帯型電子機器、携帯型電子機器の制御方法、制御プログラム、およびコンピュータ読み取り可能な記録媒体
EP2757450A4 (en) * 2011-09-15 2015-08-26 Nec Corp DEVICE AND METHOD FOR PROCESSING MEMORY INFORMATION OF ELECTRONIC SHORT NOTES
KR101972924B1 (ko) 2011-11-11 2019-08-23 삼성전자주식회사 휴대용 기기에서 부분 영역의 터치를 이용한 전체 영역 지정을 위한 방법 및 장치
JP5870661B2 (ja) 2011-12-06 2016-03-01 株式会社リコー 携帯端末、出力制御システム、出力制御プログラム、出力制御方法
CN103186333B (zh) * 2011-12-28 2018-05-22 深圳富泰宏精密工业有限公司 电子设备解锁系统及方法
EP2613227B1 (en) * 2012-01-06 2020-04-29 Samsung Electronics Co., Ltd Input apparatus and control method thereof
EP2808773A4 (en) * 2012-01-26 2015-12-16 Panasonic Corp MOBILE TERMINAL, TELEPHONE RECEIVER AND DEVICE CONNECTING METHOD
US9081491B2 (en) * 2012-03-30 2015-07-14 Corel Corporation Controlling and editing media files with touch gestures over a media viewing area using a touch sensitive device
FR2989483B1 (fr) 2012-04-11 2014-05-09 Commissariat Energie Atomique Dispositif d'interface utilisateur a electrodes transparentes
KR102027357B1 (ko) * 2012-04-24 2019-10-01 삼성전자주식회사 외부 기기의 스크린 상에 디스플레이된 정보를 탐색하는 터치 스크린을 가지는 휴대용 기기 및 그의 정보 탐색 방법
KR101341737B1 (ko) * 2012-06-21 2013-12-16 주식회사 팬택 후면 터치를 이용한 단말 제어 장치 및 방법
CN104335151B (zh) 2012-06-29 2018-10-26 日本电气株式会社 终端设备、显示控制方法和程序
EP2685329B1 (en) * 2012-07-11 2015-09-23 ABB Research Ltd. Presenting process data of a process control object on a mobile terminal
FR2995419B1 (fr) 2012-09-12 2015-12-11 Commissariat Energie Atomique Systeme d'interface utilisateur sans contact
CN102866777A (zh) * 2012-09-12 2013-01-09 中兴通讯股份有限公司 一种数字媒体内容播放转移的方法及播放设备及系统
US9323310B2 (en) * 2012-09-19 2016-04-26 Sony Corporation Mobile client device, operation method, and recording medium
FR2996933B1 (fr) * 2012-10-15 2016-01-01 Isorg Appareil portable a ecran d'affichage et dispositif d'interface utilisateur
JP6140980B2 (ja) * 2012-11-13 2017-06-07 キヤノン株式会社 表示装置、画像表示システム、画像表示方法、及びコンピュータプログラム
US9513795B2 (en) * 2012-11-29 2016-12-06 Blackberry Limited System and method for graphic object management in a large-display area computing device
CN103036962A (zh) * 2012-12-06 2013-04-10 惠州Tcl移动通信有限公司 一种文件的共享方法及手持设备
AU2014205344A1 (en) * 2013-01-10 2015-07-02 Fox Sports Productions, LLC. System, method and interface for viewer interaction relative to a 3D representation of a vehicle
US20140267049A1 (en) * 2013-03-15 2014-09-18 Lenitra M. Durham Layered and split keyboard for full 3d interaction on mobile devices
JP2014204150A (ja) * 2013-04-01 2014-10-27 株式会社東芝 リモコン
KR102173727B1 (ko) * 2014-03-31 2020-11-03 삼성전자주식회사 음향 신호 기반 정보 공유 방법 및 그 장치
CN104090706B (zh) * 2014-07-31 2018-06-05 北京智谷睿拓技术服务有限公司 内容获取方法、内容分享方法、及其装置
CN105302445B (zh) * 2015-11-12 2019-07-23 小米科技有限责任公司 图形用户界面绘制方法及装置
CN106168879A (zh) * 2016-06-30 2016-11-30 努比亚技术有限公司 一种双面屏交互的方法及终端
CN106502805B (zh) * 2016-10-31 2020-02-21 宇龙计算机通信科技(深圳)有限公司 一种终端应用分享方法、系统以及设备终端
CN106873870A (zh) * 2017-01-06 2017-06-20 珠海格力电器股份有限公司 一种终端交互方法及其装置、终端及电子设备
KR101971982B1 (ko) * 2017-04-20 2019-04-24 주식회사 하이딥 터치 감지 및 터치압력 감지가 가능한 장치 및 제어방법
DE112018002980T5 (de) 2017-06-12 2020-02-20 Sony Corporation Informationsverarbeitungssystem, informationsverarbeitungsverfahren und programm

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000029837A (ja) * 1998-07-08 2000-01-28 Toshiba Corp 個人認証方法、ユーザ認証装置、及び記録媒体
JP2003309884A (ja) * 2002-04-18 2003-10-31 Matsushita Electric Ind Co Ltd リモートコントロール装置および記録媒体
JP2003330611A (ja) * 2002-05-16 2003-11-21 Sony Corp 入力方法及び入力装置
JP2004336597A (ja) 2003-05-12 2004-11-25 Sony Corp 操作入力受付装置、操作入力受付方法および遠隔操作システム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7800592B2 (en) * 2005-03-04 2010-09-21 Apple Inc. Hand held electronic device with multiple touch sensing devices
KR100474724B1 (ko) * 2001-08-04 2005-03-08 삼성전자주식회사 터치스크린을 가지는 장치 및 그 장치에 외부디스플레이기기를 연결하여 사용하는 방법
BRPI0212375B1 (pt) * 2001-09-07 2016-05-24 Intergraph Hardware Tech Co método para estabilizar uma imagem
US8176432B2 (en) * 2001-11-20 2012-05-08 UEI Electronics Inc. Hand held remote control device having an improved user interface
JP3925297B2 (ja) * 2002-05-13 2007-06-06 ソニー株式会社 映像表示システム及び映像表示制御装置
US7456823B2 (en) * 2002-06-14 2008-11-25 Sony Corporation User interface apparatus and portable information apparatus
US7218313B2 (en) * 2003-10-31 2007-05-15 Zeetoo, Inc. Human interface system
JP4645179B2 (ja) * 2004-12-02 2011-03-09 株式会社デンソー 車両用ナビゲーション装置
JP4715535B2 (ja) * 2005-05-23 2011-07-06 ソニー株式会社 コンテンツ表示再生システム、コンテンツ表示再生方法、コンテンツ表示再生プログラムを記録した記録媒体及び操作制御装置
WO2007124453A2 (en) * 2006-04-20 2007-11-01 Exceptional Innovation Llc Touch screen for convergence and automation system
US8564544B2 (en) * 2006-09-06 2013-10-22 Apple Inc. Touch screen device, method, and graphical user interface for customizing display of content category icons
US8122475B2 (en) * 2007-02-13 2012-02-21 Osann Jr Robert Remote control for video media servers

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000029837A (ja) * 1998-07-08 2000-01-28 Toshiba Corp 個人認証方法、ユーザ認証装置、及び記録媒体
JP2003309884A (ja) * 2002-04-18 2003-10-31 Matsushita Electric Ind Co Ltd リモートコントロール装置および記録媒体
JP2003330611A (ja) * 2002-05-16 2003-11-21 Sony Corp 入力方法及び入力装置
JP2004336597A (ja) 2003-05-12 2004-11-25 Sony Corp 操作入力受付装置、操作入力受付方法および遠隔操作システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2395416A4

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014020765A1 (ja) * 2012-08-03 2014-02-06 Necカシオモバイルコミュニケーションズ株式会社 タッチパネル装置、処理決定方法、プログラムおよびタッチパネルシステム
US9817567B2 (en) 2012-08-03 2017-11-14 Nec Corporation Touch panel device, process determination method, program, and touch panel system

Also Published As

Publication number Publication date
BRPI1006971A2 (pt) 2016-04-12
JP5233708B2 (ja) 2013-07-10
US20110285658A1 (en) 2011-11-24
RU2541125C2 (ru) 2015-02-10
CN102301317B (zh) 2014-11-19
CN102301317A (zh) 2011-12-28
EP2395416A1 (en) 2011-12-14
EP2395416A4 (en) 2015-04-29
RU2011131785A (ru) 2013-02-10
JP2010182046A (ja) 2010-08-19

Similar Documents

Publication Publication Date Title
JP5233708B2 (ja) 情報処理装置、情報処理方法およびプログラム
US10175847B2 (en) Method and system for controlling display device and computer-readable recording medium
JP5705131B2 (ja) 異種のタッチ領域を利用した電子機器の動作制御方法及び装置
CN108052265B (zh) 用于使用图形对象控制内容的方法和设备
TWI516962B (zh) 巡覽一瀏覽器中之複數個內容項目的方法、電腦系統及電腦程式產品
JP5363259B2 (ja) 画像表示装置、画像表示方法およびプログラム
KR101276846B1 (ko) 미디어 데이터의 스트리밍 제어방법 및 제어장치
US10275132B2 (en) Display apparatus, method of controlling display apparatus, and recordable medium storing program for performing method of controlling display apparatus
US20150082241A1 (en) Method for screen mirroring and source device thereof
US20150193036A1 (en) User terminal apparatus and control method thereof
US20100101872A1 (en) Information processing apparatus, information processing method, and program
US20100214249A1 (en) Information processing apparatus, display control method, and program
CA2826933C (en) Method and apparatus for providing graphic user interface in mobile terminal
WO2007102110A2 (en) Method of transferring data
KR102037415B1 (ko) 디스플레이 디바이스 제어 방법 및 시스템과 기록 매체
KR20140034100A (ko) 휴대단말과 외부 표시장치 연결 운용 방법 및 이를 지원하는 장치
KR20150144641A (ko) 사용자 단말 장치 및 그 제어 방법
KR20130119708A (ko) 외부 기기의 스크린 상에 디스플레이된 정보를 탐색하는 터치 스크린을 가지는 휴대용 기기 및 그의 정보 탐색 방법
KR20140133354A (ko) 디스플레이 장치 및 이의 ui 제공 방법
KR20130034892A (ko) 이동 단말기 및 그를 통한 차량 제어방법
JP2017117108A (ja) 電子機器及びその制御方法
WO2021219002A1 (zh) 显示设备
KR20130116976A (ko) 이동 단말기 및 그 제어방법
KR20160020724A (ko) 디스플레이 장치 및 그 제어 방법
KR102065404B1 (ko) 이동 단말기 및 그 제어방법

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201080005901.X

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10738441

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2010738441

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2011131785

Country of ref document: RU

Ref document number: 13146888

Country of ref document: US

Ref document number: 5780/DELNP/2011

Country of ref document: IN

NENP Non-entry into the national phase

Ref country code: DE

REG Reference to national code

Ref country code: BR

Ref legal event code: B01A

Ref document number: PI1006971

Country of ref document: BR

ENP Entry into the national phase

Ref document number: PI1006971

Country of ref document: BR

Kind code of ref document: A2

Effective date: 20110728