WO2017056658A1 - 情報処理装置、情報処理方法及びプログラム - Google Patents

情報処理装置、情報処理方法及びプログラム Download PDF

Info

Publication number
WO2017056658A1
WO2017056658A1 PCT/JP2016/071754 JP2016071754W WO2017056658A1 WO 2017056658 A1 WO2017056658 A1 WO 2017056658A1 JP 2016071754 W JP2016071754 W JP 2016071754W WO 2017056658 A1 WO2017056658 A1 WO 2017056658A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
display
display content
information processing
terminal device
Prior art date
Application number
PCT/JP2016/071754
Other languages
English (en)
French (fr)
Inventor
真生 近藤
宏崇 田幸
賢一 山浦
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Publication of WO2017056658A1 publication Critical patent/WO2017056658A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures

Definitions

  • the present disclosure relates to an information processing apparatus, an information processing method, and a program.
  • Patent Document 1 a technique for projecting and displaying a related object of an object placed on a table is known.
  • Patent Document 1 does not assume any projection display according to the movement of a device such as a smartphone on the table.
  • a motion information acquisition unit that acquires information indicating the motion of an object associated with display content, and a processing unit that determines the arrangement of the display content based on the information acquired by the motion information acquisition unit An information processing apparatus is provided.
  • the processing unit may output display information for displaying the display content such that a plurality of the display content are arranged along the locus of the object.
  • the information may include information indicating the position and orientation of the object.
  • processing unit may determine the positions and orientations of the plurality of display contents in accordance with the history of the position and orientation of the object.
  • the object may include a storage medium capable of recording information, and the display content may be stored in the storage medium.
  • the processing unit displays a display for displaying the display content.
  • the display content may be hidden by changing information.
  • the processing unit may determine the arrangement of the display content based on a moving direction of the object, a moving speed of the object, or a moving acceleration of the object.
  • the processing unit displays the display content so that the display content moves according to a direction of movement of the information processing device, a speed of movement of the information processing device, or an acceleration of movement of the information processing device.
  • the display information may be output.
  • the processing unit may select the display content to be displayed based on the moving direction of the object, the moving speed of the object, or the moving acceleration of the information processing apparatus.
  • the processing unit changes display information for displaying the display content when the display content reaches the position of the other object. Then, the display content may be erased.
  • the processing unit may output display information for enlarging or reducing the display content according to the movement of the object.
  • the processing unit may output display information for increasing or decreasing the information amount of the display content according to the movement of the object.
  • information indicating the priority of the plurality of display contents may be acquired from the information processing apparatus, and the processing unit may sequentially display the plurality of display contents according to the priority.
  • the processing unit may change a display mode of the display content according to a moving direction of the object.
  • time information related to the display content may be acquired, and the processing unit may output display information for displaying a plurality of the display content in time series according to the movement of the object.
  • the processing unit outputs display information for displaying a plurality of the display content having the same attribute among the display content held by the object. May be.
  • the processing unit outputs display information for displaying the display content so that the display content changes according to the movement of the object, and the display content of the display unit of the information processing device is displayed as the display content.
  • a transmission unit that transmits information to be changed in conjunction with the change.
  • operation information indicating that a predetermined operation has been performed on the object is acquired, and the processing unit displays the display content in a different manner depending on whether the predetermined operation has been performed on the object. Display information may be output.
  • the display content is acquired according to the movement of the device that holds the display content, the information about the display content is acquired from the device, and the acquired movement of the device.
  • An information processing method comprising: outputting display information for display.
  • means for acquiring movement of a device that holds display content means for acquiring information related to the display content from the device, and displaying the display content according to the acquired movement of the device
  • a program for causing a computer to function as a means for outputting display information is provided.
  • display content can be displayed separately from the object according to the movement of the object associated with the display content.
  • the above effects are not necessarily limited, and any of the effects shown in the present specification, or other effects that can be grasped from the present specification, together with or in place of the above effects. May be played.
  • FIG. 3 is an explanatory diagram illustrating a functional configuration example of an information processing system according to an embodiment of the present disclosure. It is a block diagram which shows the structure of a terminal device. 4 is an explanatory diagram illustrating an example of an operation state of an information processing system according to an embodiment of the present disclosure.
  • FIG. 12 It is a schematic diagram which shows the example of the image displayed on a table. It is a schematic diagram which shows the example of the image displayed on a table. It is a schematic diagram which shows the other example of the image displayed on a table. It is a schematic diagram which shows the other example of the image displayed on a table. It is a schematic diagram which shows the example which performs the display which an application jumps out of a terminal device, if the operation
  • FIG. 12 it is a schematic diagram which shows the example which linked the image displayed on the display part of a terminal device, and the image which an information processing system displays on a table. It is a schematic diagram which shows the example which transfers the display content displayed from the 1st terminal device to a 2nd terminal device. It is a schematic diagram which shows the example in which a different command is performed according to the direction which moves a terminal device. It is a schematic diagram which shows the example in which a different command is performed according to the direction which moves a terminal device. It is a schematic diagram which shows the example in which a different command is performed according to the direction which moves a terminal device. It is a schematic diagram which shows the example which the information amount displayed on a table increases according to a motion of a terminal device.
  • FIG. 1 is an explanatory diagram illustrating a configuration example of an information processing system according to an embodiment of the present disclosure.
  • FIG. 1 is an explanatory diagram illustrating a configuration example of an information processing system according to an embodiment of the present disclosure.
  • FIG. 1 is an explanatory diagram illustrating a configuration example of an information processing system according to an embodiment of the present disclosure.
  • FIG. 1 is an explanatory diagram illustrating a configuration example of an information processing system according to an embodiment of the present disclosure.
  • FIG. 1 is an explanatory diagram illustrating a configuration example of an information processing system according to an embodiment of the present disclosure.
  • the information processing system 100a includes an input unit 110a and an output unit 130a.
  • the information processing system 100a according to the embodiment of the present disclosure illustrated in FIG. 1 displays information on the top surface of the table 140a, and operates the information displayed on the table 140a for a user who uses the information processing system 100a. It is a system to let you.
  • a method of displaying information on the top surface of the table 140a as shown in FIG. 1 is also referred to as a “projection type”.
  • the input unit 110a is a device for inputting the operation content of the user who uses the information processing system 100a and the shape and pattern of the object placed on the table 140a.
  • the input unit 110a is provided above the table 140a, for example, in a state suspended from the ceiling. That is, the input unit 110a is provided separately from the table 140a that is a target for displaying information.
  • a camera that images the table 140a with one lens, a stereo camera that can record the information in the depth direction by imaging the table 140a with two lenses, and the information processing system 100a are used.
  • a microphone or the like for collecting sound emitted by the user or environmental sound of the environment where the information processing system 100a is placed can be used.
  • the information processing system 100a can detect an object placed on the table 140a by analyzing an image captured by the camera. I can do it.
  • a stereo camera for example, a visible light camera or an infrared camera can be used as the stereo camera.
  • the input unit 110a can acquire depth information.
  • the information processing system 100a can detect, for example, a hand or an object placed on the table 140a.
  • the information processing system 100a can detect the contact and proximity of the user's hand to the table 140a and the removal of the hand from the table 140a by acquiring the depth information by the input unit 110a.
  • the user touches or brings an operating body such as a hand in contact with the information display surface is also simply referred to as “contact”.
  • a microphone array for collecting sound in a specific direction can be used as the microphone.
  • the information processing system 100a may adjust the sound collection direction of the microphone array to an arbitrary direction.
  • the user's operation may be detected by a touch panel that detects contact of the user's finger or the like.
  • Other user operations that can be acquired by the input unit 110a may include, for example, a stylus operation on the information display surface, a gesture operation on the camera, and the like.
  • the output unit 130a is a user operation using the information processing system 100a input by the input unit 110a, information output by the output unit 130a, and a shape or pattern of an object placed on the table 140a.
  • This is a device that displays information on the table 140a or outputs sound in accordance with such information.
  • a projector or a speaker is used as the output unit 130a.
  • the output unit 130a is provided above the table 140a, for example, in a state of being suspended from the ceiling.
  • the output unit 130a is configured with a projector
  • the output unit 130a projects information on the top surface of the table 140a.
  • the output unit 130a is configured by a speaker
  • the output unit 130a outputs sound based on the audio signal.
  • the number of speakers may be one or more.
  • the information processing system 100a may limit the speakers that output sound, or adjust the direction in which sound is output.
  • the output unit 130a may include a lighting device.
  • the information processing system 100a may control the lighting device to be turned on or off based on the content of information input by the input unit 110a.
  • the communication unit 140 performs wireless communication with a communication unit 240 of a terminal device (object) 200 described later.
  • the wireless communication method is not particularly limited, and for example, a method such as Bluetooth (registered trademark) communication can be used.
  • the user using the information processing system 100a can operate the information displayed on the table 140a by the output unit 130a by placing a finger or the like on the table 140a.
  • a user who uses the information processing system 100a can execute various operations related to the recognized object by placing the object on the table 140a and causing the input unit 110a to recognize the object.
  • an illumination device for illuminating the table 140a may be connected to the information processing system 100a. Since the lighting device for illuminating the table 140a is connected to the information processing system 100a, the information processing system 100a can control the lighting state of the lighting device according to the state of the information display surface.
  • the form of the information processing system is not limited to that shown in FIG. 2 to 4 are explanatory diagrams illustrating examples of still another form of the information processing system according to the embodiment of the present disclosure.
  • FIG. 2 is an explanatory diagram illustrating a configuration example of the information processing system 100b according to an embodiment of the present disclosure.
  • the surface of the table 140b is illustrated. Is configured to display information. That is, in the information processing system 100b shown in FIG. 2, the information display surface is the top surface of the table 140b.
  • the surface of the table 140b is formed of a transparent material such as a glass plate or a transparent plastic plate.
  • a method of displaying information on the top surface of the table 140b by irradiating the output unit 130a with information from below the table 140b as shown in FIG. 2 is also referred to as a “rear projection type”. In the example illustrated in FIG.
  • the input unit 110 b is provided on the surface of the table 140 b.
  • the input unit 110 b is located below the table 140 b. It may be provided apart from 140b.
  • FIG. 3 is an explanatory diagram illustrating a configuration example of the information processing system 100c according to an embodiment of the present disclosure.
  • FIG. 3 shows a state where a touch panel display is placed on the table.
  • the input unit 110c and the output unit 130c may be configured as a touch panel type display. That is, in the information processing system 100c shown in FIG. 3, the information display surface is a touch panel display.
  • a camera for detecting the position of the user may be provided above the touch panel type display, as in the information processing system 100a shown in FIG.
  • FIG. 4 is an explanatory diagram illustrating a configuration example of the information processing system 100d according to an embodiment of the present disclosure.
  • FIG. 4 shows a state in which a flat panel display is placed on a table. That is, in the information processing system 100d shown in FIG. 4, the information display surface is a flat panel display.
  • the input unit 110d and the output unit 130d can be configured as a flat panel display.
  • a touch panel may be provided on the flat panel display shown in FIG.
  • a configuration in which the output unit 130a is provided will be described as an example.
  • the information processing system 100a, the input unit 110a, and the output unit 130a will be described simply as the information processing system 100, the input unit 110, and the output unit 130.
  • FIG. 5 is an explanatory diagram illustrating a functional configuration example of the information processing system according to the embodiment of the present disclosure.
  • a functional configuration example of the information processing system according to the embodiment of the present disclosure will be described with reference to FIG.
  • the information processing system 100 includes an input unit 110, a control unit 120, an output unit 130, and a communication unit 140.
  • the input unit 110 is an operation of the user who uses the information processing system 100 with respect to the information processing system 100, and a position of an object placed on a surface (for example, the table 140a shown in FIG. 1) from which the output unit 130 outputs information. Enter the shape, pattern, etc.
  • the operation contents for the information processing system 100 of the user who uses the information processing system 100 include the operation contents for the GUI that the information processing system 100 outputs on the information display surface.
  • Information such as operation contents, object position, shape, and pattern input to the information processing system 100 input by the input unit 110 is sent to the control unit 120.
  • the input unit 110 may be configured with, for example, a camera configured with one lens, a stereo camera configured with two lenses, a microphone, and the like.
  • the control unit 120 executes control of each unit of the information processing system 100. For example, the control unit 120 generates information output from the output unit 130 using the information input by the input unit 110. As shown in FIG. 5, the control unit 120 includes a detection unit 121 and an output control unit (processing unit) 122. Based on the information input to the input unit 110, the detection unit 121 is operated by the user using the information processing system 100 with respect to the information processing system 100, the information output by the output unit 130, and the output unit. 130 executes processing for detecting the position, shape, pattern, etc. of an object placed on a surface for outputting information (for example, the table 140a shown in FIG. 1).
  • the detection unit 121 Based on the information input to the input unit 110, the detection unit 121 is operated by the user using the information processing system 100 with respect to the information processing system 100, the information output by the output unit 130, and the output unit. 130 executes processing for detecting the position, shape, pattern, etc. of an object placed on a surface for outputting information (for example,
  • the detection unit 121 analyzes image information captured by the camera and detects the position, shape, pattern, and the like of an object placed on the table 140a.
  • the content detected by the detection unit 121 is sent to the output control unit 122.
  • the output control unit 122 executes control for generating information output from the output unit 130 based on the content detected by the detection unit 121.
  • Information generated by the output control unit 122 is sent to the output unit 130.
  • the detection unit 121 can detect which part of the GUI the operating body such as the user's hand has touched.
  • the control unit 120 may include, for example, a CPU (Central Processing Unit) and a program for causing it to function.
  • a CPU Central Processing Unit
  • control unit 120 may have a function of controlling the operation of another device connected to the information processing system 100, such as a lighting device.
  • the output unit 130 is a user operation using the information processing system 100 input by the input unit 110, information content output by the output unit 130, and a surface on which the output unit 130 outputs information (for example, Information is output in accordance with information on the position, shape, pattern, etc. of the object placed on the table 140a) shown in FIG.
  • the output unit 130 outputs information based on the information generated by the output control unit 122.
  • the information output by the output unit 130 includes information displayed on the information display surface, sound output from a speaker (not shown), and the like.
  • FIG. 6 is a block diagram illustrating a configuration of the terminal device 200.
  • the terminal device 200 includes an operation input unit 210, a control unit 220, a display unit 230, a communication unit 240, an imaging unit 250, a storage unit 260, and a vibrator 270.
  • the operation input unit 210 is a UI for a user to perform an operation input such as a touch pad (touch sensor) or an input key.
  • the control unit 220 may be configured by, for example, a CPU (Central Processing Unit) and a program for causing the CPU to function.
  • CPU Central Processing Unit
  • the display unit 230 includes a display screen composed of a liquid crystal display or the like, and performs display on the screen based on an instruction from the control unit 220.
  • the communication unit 240 communicates with the communication unit 140 of the information processing system 100 wirelessly.
  • the imaging unit 250 includes an imaging element such as a CMOS sensor. A subject image is formed on the imaging surface of the imaging element by an imaging optical system (not shown).
  • FIG. 7 is an explanatory diagram illustrating an example of an operation state of the information processing system 100 according to an embodiment of the present disclosure.
  • the information processing system 100 allows one or a plurality of users to execute independent applications on the same screen displayed on the table 140a, for example. It is a system that can be configured.
  • the GUI (Graphical User Interface) of the application illustrated in FIG. 7 is generated by the output control unit 122 and output by the output unit 130.
  • the input unit 110 acquires the operation content of the user with respect to the GUI of the application output by the output unit 130 on the information display surface (table 140a).
  • the output unit 130 outputs an application or the like on the information display surface by causing the user to move the terminal device 200 on the display surface with respect to the display surface.
  • the information processing system 100 receives a GUI operation of the output application.
  • FIG. 8 and 9 are schematic diagrams illustrating examples of images displayed on the table 140a. As illustrated in FIG. 8, the shape, position, size, direction of movement, and the like of the terminal device 200 placed on the image display surface (table 140 a) by the operator are recognized by image analysis performed by the detection unit 112. Next, as shown in FIG. 8, the shape, position, size, direction of movement, and the like of the terminal device 200 placed on the image display surface (table 140 a) by the operator are recognized by image analysis performed by the detection unit 112. Next, as shown in FIG.
  • a trajectory for moving the terminal device 200 is recognized by image analysis of imaging by the detection unit 121, and in accordance with this trajectory, the terminal Displays 300, 310, 320, and 330 (icons, windows, etc., hereinafter simply referred to as applications 300, 310, 320, and 330) representing the applications held by the apparatus 200 are sequentially displayed on the table 140a.
  • the terminal Displays 300, 310, 320, and 330 icons, windows, etc., hereinafter simply referred to as applications 300, 310, 320, and 330
  • the history of the position and orientation of the terminal device 200 is recognized by the image analysis of the image captured by the detection unit 121, and the displays 300, 310, 320, which represent the applications held by the terminal device 200 according to the history of the position and orientation.
  • 330 are sequentially displayed on the table 140a.
  • a history of one of the position and orientation of the terminal device 200 is recognized by image analysis of imaging by the detection unit 121, and a display representing an application held by the terminal device 200 in accordance with the history of the recognized position or orientation.
  • 300, 310, 320, and 330 may be sequentially displayed on the table 140a.
  • the applications 300, 310, 320, and 330 are displayed in a straight line.
  • the applications 300, 310, 320, and 330 are displayed in a curved line.
  • the applications 300, 310, 320, and 330 are applications for SNS browsing, mail transmission / reception, Internet browsing, document creation, and the like.
  • content files are displayed in place of the displays (icons, windows, etc.) 300, 310, 320, 330 representing applications or together with the displays 300, 310, 320, 330 representing applications. Etc.) can also be displayed.
  • information regarding the applications 300, 310, 320, and 330 held by the terminal device 200 is sent from the communication unit 240 of the terminal device 200 to the communication unit 140 of the information processing system 100.
  • display information for the terminal device 200 to display the applications 300, 310, 320, and 330 on the display unit 230 is sent from the communication unit 240 of the terminal device 200 to the communication unit 140 of the information processing system 100.
  • these pieces of display information can be stored in the storage unit 260 of the terminal device 200.
  • the output control unit 122 executes control to generate information output from the output unit 130 based on the display information. As a result, display information is output from the output unit 130 and displayed on the table 140a in a desired size.
  • the display screens of the applications 300, 310, 320, and 330 are sequentially displayed in a curved line along the locus of the terminal device 200.
  • the display screens of the applications 300, 310, 320, and 330 are sequentially displayed in a straight line along the locus of the terminal device 200.
  • the order in which the display screens of the applications 300, 310, 320, and 330 are displayed is determined according to the frequency of use of each application by the user.
  • the usage frequency of the user is high in the order of the application 300, the application 310, the application 320, and the application 330. Therefore, the display screen of each application is sequentially displayed in this order.
  • Information on the usage frequency is acquired by the control unit 220 and stored in the storage unit 260.
  • Information on the usage frequency is sent from the communication unit 240 to the communication unit 140. Therefore, the information processing system 100 can sequentially display each application according to the usage frequency.
  • the order in which the display screens of the applications 300, 310, 320, and 330 are displayed may be determined according to the additional information (type, importance, and data amount) of the applications 300, 310, 320, and 330. .
  • the display screens of the applications 300, 310, 320, and 330 display user context information (behavior recognition result history, web browsing history, service use history, travel route history, set schedule information, profile information (preference, age).
  • the information processing system 100 can control the display on the table 140a in accordance with the movement of the terminal device 200. Therefore, after the applications 300, 310, 320, and 330 are displayed as shown in FIG. 9, when the terminal device 200 is moved in the direction of the arrow A2, the terminal device 200 is positioned at the position of each of the displayed applications 300, 310, 320, and 330.
  • the display of each application 300, 310, 320, 330 can also be turned off at the time when reaches. Therefore, the user can obtain a feeling that each application 300, 310, 320, 330 of the table 140a is sucked into the terminal device 200.
  • FIGS. 10 and 11 are schematic diagrams showing other examples of images displayed on the table 140a.
  • the image 400 held by the terminal device 200 is enlarged or reduced according to the movement of the terminal device 200.
  • the information of the image 400 is stored in the storage unit 260 of the terminal device 200, for example.
  • the shape, position, size, and direction of movement of the terminal device 200 placed on the image display surface by the operator are recognized by image analysis of imaging performed by the detection unit 121.
  • FIG. 11 when the operator moves the terminal device 200, a trajectory for moving the terminal device 200 is recognized by image analysis performed by the detection unit 121, and an image 400 is displayed on the table 140 a according to the trajectory. While being displayed above, the image 400 is enlarged according to the trajectory of moving the terminal device 200.
  • the upper left vertex of the image that is the display content 400 is fixed at the original position P1 of the terminal device 200, and when the terminal device 200 is moved in the arrow A3 direction, the lower right corner of the image that is the display content 400 is displayed.
  • the vertex P2 moves in the direction of arrow A3 and the image is enlarged.
  • the lower right vertex P2 of the image that is the display content 400 moves in the arrow A4 direction, and the image is reduced.
  • the display on the table 140a may be changed according to the types of the applications 300, 310, 320, and 330 stored in the terminal device 200. Further, the display on the table 140a may be changed depending on whether the displayed content is the application 300, 310, 320, 330 or an image.
  • FIGS. 8 to 11 are configured as a “terminal location information acquisition unit”, a “terminal holding information acquisition unit”, and a “display processing unit”. To do.
  • the “terminal position information acquisition unit” and the “terminal possession information acquisition unit” correspond to the detection unit 121, and the “display processing unit” corresponds to the output control unit 122.
  • the control unit 120 generates information to be output from the output unit 130 using the information input by the input unit 110.
  • the terminal possession information acquisition unit acquires predetermined information from the terminal device 200.
  • the information acquired by the terminal possession information acquisition unit is information on the display screen of each application 300, 310, 320, 330 possessed by the terminal device 200.
  • the information acquired by the terminal possession information acquisition unit is information for displaying the image 400 possessed by the terminal device 200.
  • the terminal possession information acquisition unit acquires information on the display screen of each application 300, 310, 320, 330 received by the communication unit 140 from the terminal device 200 or information on the image 400.
  • the position information acquisition unit performs an image analysis of imaging by the input unit 110, and acquires the shape, position, size, posture, and movement of the terminal device 200 placed on the table 140a by the operator.
  • the display processing unit 122 performs processing for displaying the information acquired by the terminal possession information acquisition unit from the output unit 130 based on the information acquired by the position information acquisition unit.
  • the display screen information of each application 300, 310, 320, 330 held by the terminal device 200 or the information of the image 400 can be displayed on the table 140a.
  • the user can manually operate the application displayed on the table 140a.
  • the user can operate the displayed application by a touch operation such as tap, long press, drag, and flick.
  • the detection unit 121 operates the information processing system 100 by the user who uses the information processing system 100, the content of information output by the output unit 130, and the surface on which the output unit 130 outputs information (for example, A process of detecting the shape or pattern of an object placed on the table 140a) shown in FIG. 1 is executed.
  • the content detected by the detection unit 121 is sent to the output control unit 122.
  • the output control unit 122 executes control for generating information output from the output unit 130 based on the content detected by the detection unit 121. Information generated by the output control unit 122 is sent to the output unit 130.
  • the detection unit 121 can detect which part of the GUI the operating body such as the user's hand has touched.
  • the information processing system 100 shown in FIG. 5 may be configured as a single device, or a part or all of the information processing system 100 may be configured as separate devices.
  • the control unit 120 may be provided in a device such as a server connected to the input unit 110 and the output unit 130 via a network or the like.
  • the control unit 120 When the control unit 120 is provided in a device such as a server, information from the input unit 110 is transmitted to the device such as the server through a network or the like, and the control unit 120 performs processing on the information from the input unit 110.
  • Information to be output by the output unit 130 is sent from the device such as the server to the output unit 130 via a network or the like.
  • the function of the control unit 120 of the information processing system 100 may be included in the control unit 220 of the terminal device 200.
  • the function of the control unit 120 is provided in the control unit 220 of the terminal device 200, information from the input unit 110 is transmitted to the terminal device 200 via the communication units 140 and 240, and the control unit 220 receives information from the input unit 110.
  • Information for processing is output, and information for output by the output unit 130 is sent to the information processing system 100 via the communication units 140 and 240 and sent to the output unit 130.
  • the terminal device 200 may be a card or the like whose ID such as a QR code (registered trademark) can be identified from the outside, in addition to a device including a storage unit such as a smartphone.
  • the input unit 110 of the information processing system 100 recognizes an ID of a card or the like by imaging, and the recognized ID is acquired by a device such as a server on a cloud connected via a network or the like. Since the server or the like has the function of the control unit 120, the control unit 120 outputs the output from the output unit 130 based on the analysis result of the detection unit 121. To generate information.
  • the output control unit 122 acquires the content associated with the ID based on the ID analysis result, and causes the output unit 130 to output the content. Accordingly, it is possible to perform the display as described with reference to FIG. 9 using the position information of the card or the like recognized by the imaging.
  • Information regarding the display screen of the application 300, 310, 320, 330 or the image 400 sent from the terminal device 200 to the information processing system 100 is synchronized between the terminal device 200 and the information processing system 100 via the communication units 140, 240. It is updated sequentially by taking.
  • the detection unit 121 detects the operation content of the user who uses the information processing system 100 with respect to the information processing system 100, and displays the display screen of the applications 300, 310, 320, 330 (or the image 400) according to the detected operation content. When the transition is made, information for transitioning the display screen is also acquired in the terminal device 200.
  • the input unit 110 of the information processing system 100 detects the position and movement of the terminal device 200 placed on the table 140a.
  • the terminal device 200 detects its own position and movement. Alternatively, it may be transmitted to the information processing system 100 side.
  • the position of the terminal device 200 can be detected by a sensor (GPS, acceleration sensor, gyro sensor, etc.) provided in the terminal device 200.
  • the imaging unit 250 can acquire a position of the terminal device 200 by capturing a grid provided on a ceiling or the like. Also, it is possible to recognize that the terminal device 200 is moving on the table 140a by using a beacon or collecting sound (sound when the terminal device 200 moves on the table 140a) with a microphone. is there.
  • the movement of the terminal device 200 is not limited to the surface of the table 140a, and can be performed on a vertical surface as in the example shown in FIG.
  • FIG. 12 is a schematic diagram illustrating an example in which the application 300, 310, 320, 330 performs display so as to jump out of the terminal device 200 when the terminal device 200 is swung in the arrow A5 direction.
  • This operation corresponds to, for example, an operation in which playing cards are stacked and a plurality of playing cards are spread on the table, and the user moves inertially with respect to the items (applications 300, 310, 320, and 330) arranged on the table 140a. Can be performed.
  • the display on the table 140a changes according to the acceleration, speed, and how to stop the terminal device 200.
  • the display content is selected by the output control unit 122 according to the direction in which the terminal device 200 is moved, the acceleration, the speed, and how to stop.
  • the display on the table 140a changes. The greater the acceleration and speed at which the user shakes the terminal device 200, the greater the number of applications displayed on the table 140a, and the application moves to a position farther from the terminal device 200.
  • FIG. 13 is a schematic diagram illustrating an example in which the display of the applications 300, 310, 320, and 330 is changed according to the movement of the terminal device 200 in the example illustrated in FIG.
  • the applications 300, 310, 320, and 330 are displayed in a straight line.
  • the applications 300, 310, 320, and 330 are displayed side by side along the arc.
  • the applications 300, 310, 320, and 330 may be displayed side by side in a straight line along the tangential direction of the arc at the position where the terminal device 200 is stopped.
  • FIG. 14 is a schematic diagram illustrating an example in which the image 400 displayed on the display unit 230 of the terminal device 200 and the image 400 displayed on the table 140a by the information processing system 100 are linked in the example illustrated in FIG.
  • the terminal device 200 is shaken in the direction of arrow A1 in a state where the image 400 is displayed on the display screen of the terminal device 200
  • the image 400 is displayed so as to pop out on the table 140a.
  • the image 400 displayed on 230 disappears. Thereby, the user can obtain a feeling that the image 400 has been moved from the display unit 230 of the terminal device 200 onto the table 140a.
  • the information processing system 100 pops out the image 400 from the terminal device 200 and displays it on the table 140a, information indicating that the image 400 on the display unit 230 is deleted is transmitted to the terminal device 200.
  • the control unit 220 of the terminal device 200 performs processing for deleting the image 400 from the display unit 230.
  • FIG. 15 is a schematic diagram illustrating an example in which the image 400 displayed from the first terminal device 200 is transferred to the second terminal device 202.
  • the image is displayed on the table 140a from the first terminal device 200.
  • 400 is displayed so as to pop out, and the image 400 displayed on the display unit 230 disappears.
  • the image 400 displayed on the table 140 a moves on the table 140 a in accordance with the direction and speed of shaking the first terminal device 200, and reaches the second terminal device 202 when it reaches the position of the second terminal device 202. It is captured.
  • information regarding the image 400 is transmitted from the communication unit 140 of the information processing system 100 to the communication unit 240 of the second terminal device 202.
  • the image 400 is displayed on the display unit 230 of the second terminal device 200 and stored in the storage unit 260.
  • the information processing system 100 receives unique identification information from each of the first and second terminal devices 200, and the second terminal device 202 can receive the transfer of the image 400 from the first terminal device 200. It is recognized whether or not.
  • the information processing system 100 proceeds from the first terminal device 200 to the second terminal device 202.
  • the image 400 moved on the table 140a is displayed so as to be flipped at the position of the second terminal device 202. In this case, information regarding the image 400 is not sent from the information processing system 100 to the second terminal device 202.
  • the image 400 that has moved on the table 140a may be taken into the second terminal device 202 only when a specific movement for receiving the image 400 is performed on the second terminal device 202 side.
  • the vibrator 270 of the terminal device 200 generates vibration every time the applications 300, 310, 320, and 330 (or the image 400) are sequentially displayed on the table 140a.
  • the user who moves the terminal device 200 can obtain a feeling that the applications 300, 310, 320, and 330 are discharged from the terminal device 200 onto the table 140a by receiving feedback by vibration.
  • the vibrator 270 when the image 400 is captured by the second terminal device 202, the vibrator 270 generates vibration. Therefore, the user of the second terminal device 202 can obtain a feeling that the terminal device 202 has captured the image 400.
  • the vibrator 270 when the terminal device 200 moves, the vibrator 270 generates vibration along with the movement, so that a “shearing feeling” when the terminal device 200 moves the table 140a can be given.
  • feedback to the user may be performed by a method other than the vibrator 270.
  • the terminal device 200 may perform feedback by generating sound, light, or a specific display.
  • the information processing system 100 may perform feedback by generating a specific display (projection).
  • 16A to 16C are schematic diagrams illustrating examples in which different commands are executed according to the direction in which the terminal device 200 is moved.
  • the terminal device 200 is slid obliquely.
  • an image of the display content 500 (an image of Mt. Fuji) displayed on the display unit 230 of the terminal device 200 is displayed in an enlarged manner.
  • the terminal device 200 is slid sideways.
  • the display content 500 (a plurality of images) possessed by the terminal device 200 is displayed in time series.
  • the oldest image 400 is displayed on the left side
  • the newest image 406 is displayed on the right side.
  • the information processing system 100 can display the images 400 to 406 in time series by acquiring information about the date and time when the images 400 to 406 were taken together with the image information of the images 400 to 406 from the terminal device 200.
  • the terminal device 200 is slid vertically.
  • related images 400 to 406 are sequentially displayed as the terminal device 200 moves.
  • images 400 to 406 related to Mt. Fuji are sequentially displayed.
  • the information processing system 100 can display related images 400 to 406 by acquiring information indicating the degree of association (attribute) of the images 400 to 406 from the terminal device 200 together with the image information of the images 400 to 406.
  • FIG. 17A to 17C are schematic diagrams illustrating an example in which the amount of information displayed on the table 140a increases according to the movement of the terminal device 200.
  • FIG. 17A when the terminal device 200 is slid obliquely, the display content 500 displayed on the display unit 230 of the terminal device 200 is enlarged, and the amount of information displayed by the display content 500 is increased.
  • the user profiles are sequentially displayed as the display content 500.
  • the display content 500 is initially displayed on the display unit 230 of the terminal device 200, the position of the display content 500 does not change even when the terminal device 200 moves, and the display content 500 is displayed on the table 140a as the terminal device 200 moves. Is displayed.
  • the display content 500 when the terminal device 200 is slid vertically, the display content 500 extends in the vertical direction, and the amount of information by the display content 500 increases.
  • FIGS. 18A to 18C are schematic diagrams showing an example in which a map is displayed as the display content 500.
  • FIG. FIG. 18A shows an example in which the display range of the map displayed on the display unit 230 of the terminal device 200 is expanded when the terminal device 200 is slid obliquely.
  • a map 510 displayed on the table 140a and a map 520 displayed on the display unit 230 are displayed in conjunction with each other.
  • information indicating the display range of the map on the table 140 by the information processing system 100 is sent from the communication unit 140 of the information processing system 400 to the communication unit 240 of the terminal device 200.
  • the control unit 220 of the terminal device 200 generates screen information to be displayed on the display unit 230 based on the information indicating the display range of the map on the table 140.
  • FIG. 18B shows an example in which the terminal device 200 is slid vertically or horizontally.
  • the display range of the map 500 is expanded in the east-west direction.
  • the display range of the map 500 expands in the north-south direction.
  • the display range on the display unit 230 of the terminal device 200 changes according to the change in the display range on the table 140a.
  • FIG. 18C shows an example in which the terminal device 200 is slid vertically or horizontally while touching the touch sensor (operation input unit 210) on the display unit 230.
  • the display range of the map 500 expands in the east-west direction, but the display range of the map 500 on the display unit 230 changes. Absent.
  • the display range of the map 500 expands in the north-south direction, but the display range of the map 500 on the display unit 230 does not change.
  • different displays can be performed when the operation input unit 210 is operated and slid and when the operation input unit 210 is slid without being operated.
  • FIG. 19 shows an example in which the terminal device 200 is rotated after the terminal device 200 is slid obliquely to enlarge the display content 500, as in FIG. 16A.
  • the display content 500 displayed on the table 140a also rotates as the terminal device 200 rotates.
  • the display content 500 on the table 140a and the display content 500 on the display unit 230 are linked and integrated.
  • FIG. 6 is a schematic diagram showing a case where all images 400 to 404 are displayed on a table 140a.
  • FIG. 20A shows an example in which when the terminal device 200 is slid and all the images 400 to 404 are exhausted, the images 400 to 404 displayed on the table 140a are left as they are.
  • 20B shows an example in which when the terminal device 200 is slid and all the images 400 to 404 are exhausted, the images 400 to 404 displayed on the table 140a move as the terminal device 200 moves. Yes.
  • FIG. 21A and FIG. 21B are schematic diagrams illustrating an example of enlarging an image by sliding the terminal device 200 obliquely as in FIG. 16A.
  • the image 400 displayed on the display unit 230 of the terminal device 200 does not change even when the image 400 on the table 140a is enlarged.
  • FIG. 21B illustrates an example in which the image 400 displayed on the display unit 230 of the terminal device 200 changes when the image on the table 140a is enlarged.
  • the image 400 displayed on the display unit 230 constitutes a part of the image 400 on the table 140, and the image displayed on the display unit 230 as the image 400 on the table 140a is enlarged. 400 changes. That is, as in FIG. 18A, the display content 500 on the table 140a and the display content 500 on the display unit 230 are linked and integrated.
  • the user can manually operate the application displayed on the table 140a.
  • the display content 500 stored in the terminal device 200 can be displayed in a desired state according to the movement of the terminal device 200.
  • a motion information acquisition unit that acquires information indicating the motion of an object associated with display content
  • a processing unit that determines an arrangement of the display content based on the information acquired by the motion information acquisition unit
  • An information processing apparatus comprising: (2) The information processing apparatus according to (1), wherein the processing unit outputs display information for displaying the display content so that a plurality of the display contents are arranged along a trajectory of the object. (3) The information processing apparatus according to (2), wherein the information includes information indicating a position and a posture of the object. (4) The information processing apparatus according to (3), wherein the processing unit determines the positions and orientations of the plurality of display contents according to a history of the positions and orientations of the objects.
  • the object includes a storage medium capable of recording information, The information processing apparatus according to (2), wherein the display content is stored in the storage medium.
  • the processing unit displays the display content.
  • the information processing apparatus according to (1) wherein display information is changed to hide the display content.
  • the processing unit determines the arrangement of the display content based on a direction of movement of the object, a movement speed of the object, or a movement acceleration of the object.
  • the processing unit moves the display content according to a direction of movement of the information processing device, a speed of movement of the information processing device, or an acceleration of movement of the information processing device.
  • the information processing apparatus wherein display information for display is output.
  • the processing unit selects the display content to be displayed based on a moving direction of the object, a moving speed of the object, or a moving acceleration of the information processing device. Processing equipment.
  • the processing unit displays display information for displaying the display content when the display content reaches the position of the other object.
  • the information processing apparatus wherein the display content is erased by being changed.
  • the processing unit outputs display information for enlarging or reducing the display content according to the movement of the object.
  • the information processing apparatus (12) The information processing apparatus according to (1), wherein the processing unit outputs display information for increasing or decreasing an amount of information of the display content according to a movement of the object. (13) Obtaining information indicating the priority of the plurality of display contents from the information processing apparatus, The information processing apparatus according to (2), wherein the processing unit sequentially displays a plurality of the display contents according to the priority. (14) The information processing apparatus according to (1), wherein the processing unit changes a display mode of the display content according to a moving direction of the object. (15) obtaining time information related to the display content; The information processing apparatus according to (1), wherein the processing unit outputs display information for displaying the plurality of display contents in time series according to the movement of the object.
  • the information processing apparatus obtains information regarding the attribute of the display content, The information processing apparatus according to (1), wherein the processing unit outputs display information for displaying a plurality of the display contents having common attributes among the display contents held by the object.
  • the processing unit outputs display information for displaying the display content so that the display content changes according to the movement of the object, The information processing apparatus according to (1), further including a transmission unit that transmits information for changing display content of the display unit of the information processing apparatus in conjunction with a change in the display content.
  • Acquire operation information indicating that a predetermined operation has been performed on the object;
  • the information processing apparatus outputs display information for displaying the display content in a different manner depending on whether or not a predetermined operation has been performed on the object.
  • the output control unit displays the display information for displaying the display content in a tangential direction of the curve at a position where the information processing apparatus stops.
  • Outputting the information processing device (24) according to (1) acquiring the movement of the device holding the display content; Obtaining information about the display content from the device; Outputting display information for displaying the display content according to the acquired movement of the device;
  • An information processing method comprising: (25) means for acquiring the movement of the device holding the display content; Means for obtaining information about the display content from the device; Means for outputting display information for displaying the display content in accordance with the acquired movement of the device; As a program to make the computer function as.

Abstract

【課題】表示コンテンツと関連付けられる物体の動きに応じて、当該物体とは別に表示コンテンツを表示する。 【解決手段】本開示に係る情報処理装置は、表示コンテンツと関連付けられる物体の動きを示す情報を取得する動き情報取得部と、前記動き情報取得部が取得する前記情報に基づいて、前記表示コンテンツの配置を決定する処理部と、を備える。この構成により、表示コンテンツと関連付けられる物体の動きに応じて、当該物体とは別に表示コンテンツを表示することが可能となり、ユーザによるコンテンツ利用の利便性を大幅に高めることが可能となる。

Description

情報処理装置、情報処理方法及びプログラム
　本開示は、情報処理装置、情報処理方法及びプログラムに関する。
　従来、例えば下記の特許文献１に記載されているように、テーブル上に置かれた物体の関連オブジェクトをプロジェクション表示させる技術が知られている。
特開２０１５－９０５２４号公報
　上記特許文献１に記載されているようなテーブル上にプロジェクション表示を行う場合に、テーブル上にスマートフォンなどの装置を置くことが想定される。この場合、スマートフォンはテーブル上で自由に動かすことができるが、スマートフォンに格納されているアプリケーション画面などの情報と、プロジェクション表示させる情報を対応付けることでユーザの利便性が大幅に高まることが想定できる。
　しかしながら、上記特許文献１に記載されている技術は、テーブル上のスマートフォンなどの装置の動きに応じてプロジェクション表示をすることは何ら想定していなかった。
　そこで、表示コンテンツと関連付けられる物体の動きに応じて、当該物体とは別に表示コンテンツを表示することが求められていた。
　本開示によれば、表示コンテンツと関連付けられる物体の動きを示す情報を取得する動き情報取得部と、　前記動き情報取得部が取得する前記情報に基づいて、前記表示コンテンツの配置を決定する処理部と、を備える、情報処理装置が提供される。
　前記処理部は、前記物体の軌跡に沿って複数の前記表示コンテンツが並ぶよう前記表示コンテンツを表示するための表示情報を出力するものであっても良い。
　また、前記情報は、前記物体の位置及び姿勢を示す情報を含むものであっても良い。
　また、前記処理部は、前記物体の位置および姿勢の履歴に応じて、複数の前記表示コンテンツの位置および姿勢を決定するものであっても良い。
　また、前記物体は情報を記録可能な記憶媒体を備え、前記表示コンテンツは、前記記憶媒体に記憶されるものであっても良い。
　また、前記処理部によって既に表示されている前記表示コンテンツの位置に前記情報処理装置が動いたことが前記動き情報取得部によって取得されると、前記処理部は前記表示コンテンツを表示するための表示情報を変化させて前記表示コンテンツを非表示にするものであっても良い。
　また、前記処理部は、前記物体の移動の方向、前記物体の移動速度、又は前記物体の移動加速度に基づいて、前記表示コンテンツの配置を決定するものであっても良い。
　また、前記処理部は、前記表示コンテンツが前記情報処理装置の移動の方向、前記情報処理装置の移動の速度、又は前記情報処理装置の移動の加速度に応じて移動するように前記表示コンテンツを表示するための表示情報を出力するものであっても良い。
　また、前記処理部は、前記物体の移動の方向、前記物体の移動速度、又は前記情報処理装置の移動加速度に基づいて、表示させる前記表示コンテンツを選択するものであっても良い。
　また、前記処理部は、前記表示コンテンツの移動方向に他の物体が存在する場合は、前記表示コンテンツが前記他の物体の位置に到達した時点で前記表示コンテンツを表示するための表示情報を変化させて前記表示コンテンツを消去するものであっても良い。
　また、前記処理部は、前記物体の動きに応じて前記表示コンテンツを拡大表示又は縮小表示するための表示情報を出力するものであっても良い。
　また、前記処理部は、前記物体の動きに応じて前記表示コンテンツの情報量を増減させるための表示情報を出力するものであっても良い。
　また、複数の前記表示コンテンツの優先度を示す情報を前記情報処理装置から取得し、　前記処理部は、複数の前記表示コンテンツを前記優先度に応じて順次に表示するものであっても良い。
　また、前記処理部は、前記物体の移動方向に応じて前記表示コンテンツの表示態様を変化させるものであっても良い。
　また、前記表示コンテンツに関する時間情報を取得し、前記処理部は、前記物体の移動に応じて複数の前記表示コンテンツを時系列に表示するための表示情報を出力するものであっても良い。
　また、前記表示コンテンツの属性に関する情報を取得し、前記処理部は、前記物体が保有する前記表示コンテンツのうち属性が共通する複数の前記表示コンテンツを表示するための表示情報を出力するものであっても良い。
　また、前記処理部は、前記物体の動きに応じて前記表示コンテンツが変化するように前記表示コンテンツを表示するための表示情報を出力し、前記情報処理装置の表示部の表示内容を前記表示コンテンツの変化と連動して変化させるための情報を送信する送信部を備えるものであっても良い。
　また、前記物体に所定の操作が行われたことを示す操作情報を取得し、前記処理部は、前記物体に所定の操作が行われたか否かに応じて異なる態様で前記表示コンテンツを表示するための表示情報を出力するものであっても良い。
　また、本開示によれば、表示コンテンツを保有する装置の動きを取得することと、前記装置から前記表示コンテンツに関する情報を取得することと、取得した前記装置の動きに応じて、前記表示コンテンツを表示するための表示情報を出力することと、を備える、情報処理方法が提供される。
　また、本開示によれば、表示コンテンツを保有する装置の動きを取得する手段、前記装置から前記表示コンテンツに関する情報を取得する手段、取得した前記装置の動きに応じて、前記表示コンテンツを表示するための表示情報を出力する手段、としてコンピュータを機能させるためのプログラムが提供される。
　以上説明したように本開示によれば、表示コンテンツと関連付けられる物体の動きに応じて、当該物体とは別に表示コンテンツを表示することができる。
　なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の一実施形態に係る情報処理システムの構成例を示す説明図である。 本開示の一実施形態に係る情報処理システムの構成例を示す説明図である。 本開示の一実施形態に係る情報処理システムの構成例を示す説明図である。 本開示の一実施形態に係る情報処理システムの構成例を示す説明図である。 本開示の一実施形態に係る情報処理システムの機能構成例を示す説明図である。 端末装置の構成を示すブロック図である。 本開示の一実施形態にかかる情報処理システムの操作状況の例を示す説明図である。 テーブルに表示される画像の例を示す模式図である。 テーブルに表示される画像の例を示す模式図である。 テーブルに表示される画像の他の例を示す模式図である。 テーブルに表示される画像の他の例を示す模式図である。 端末装置を振る動作をすると、アプリケーションが端末装置から飛び出すような表示を行う例を示す模式図である。 図１２に示す例において、端末装置の動きに応じてアプリケーションの表示を変化させた例を示す模式図である。 図１２に示す例において、端末装置の表示部に表示する画像と情報処理システムがテーブル上に表示する画像を連動させた例を示す模式図である。 第１の端末装置から表示させた表示コンテンツを第２の端末装置へ移す例を示す模式図である。 端末装置を動かす方向に応じて、異なるコマンドが実行される例を示す模式図である。 端末装置を動かす方向に応じて、異なるコマンドが実行される例を示す模式図である。 端末装置を動かす方向に応じて、異なるコマンドが実行される例を示す模式図である。 端末装置の動きに応じて、テーブル上に表示される情報量が増える例を示す模式図である。 端末装置の動きに応じて、テーブル上に表示される情報量が増える例を示す模式図である。 端末装置の動きに応じて、テーブル上に表示される情報量が増える例を示す模式図である。 表示コンテンツとして地図を表示した例を示す模式図である。 表示コンテンツとして地図を表示した例を示す模式図である。 表示コンテンツとして地図を表示した例を示す模式図である。 端末装置を斜めにスライドさせて表示コンテンツを拡大させた後、端末装置を回転させる例を示す模式図である。 スライドの途中で端末装置の全ての画像がテーブル上に表示された場合を示す模式図である。 スライドの途中で端末装置の全ての画像がテーブル上に表示された場合を示す模式図である。 端末装置を斜めにスライドして画像を拡大する例を示す模式図である。 端末装置を斜めにスライドして画像を拡大する例を示す模式図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　なお、説明は以下の順序で行うものとする。
　［１．システム構成例］
　［２．機能構成例］
　［３．端末装置の構成例］
　［４．情報処理システムの操作状況の例］
　［５．端末装置の動きに応じて表示される画像の例］
　［６．端末装置の動きに応じた表示を行うための構成例］
　［７．表示のバリエーションの例］
　［１．システム構成例］
　まず、図面を参照しながら本開示の一実施形態に係る情報処理システムの構成例について説明する。図１は、本開示の一実施形態に係る情報処理システムの構成例を示す説明図である。以下、図１を用いて本開示の一実施形態に係る情報処理システムの構成例について説明する。
　図１に示したように、本開示の一実施形態に係る情報処理システム１００ａは、入力部１１０ａと、出力部１３０ａと、を含んで構成される。図１に示した本開示の一実施形態に係る情報処理システム１００ａは、テーブル１４０ａの天面に情報を表示し、テーブル１４０ａに表示した情報に対して情報処理システム１００ａを使用するユーザに操作をさせるシステムである。図１のようにテーブル１４０ａの天面に情報を表示する方式を「プロジェクション型」とも称する。
　入力部１１０ａは、情報処理システム１００ａを使用するユーザの操作内容や、テーブル１４０ａに置かれている物体の形状や模様などを入力する装置である。図１に示した例では、入力部１１０ａは、テーブル１４０ａの上方に、例えば天井から吊り下げられた状態で設けられる。すなわち、入力部１１０ａは、情報が表示される対象となるテーブル１４０ａとは離隔して設けられる。入力部１１０ａとしては、例えば１つのレンズでテーブル１４０ａを撮像するカメラや、２つのレンズでテーブル１４０ａを撮像して奥行き方向の情報を記録することが可能なステレオカメラ、情報処理システム１００ａを使用するユーザが発する音声や情報処理システム１００ａが置かれている環境の環境音を収音するためのマイク等が用いられ得る。
　入力部１１０ａとして、１つのレンズでテーブル１４０ａを撮像するカメラが用いられる場合、情報処理システム１００ａは、そのカメラが撮像した画像を解析することで、テーブル１４０ａに置かれた物体を検出することが出来る。また入力部１１０ａとしてステレオカメラが用いられる場合、そのステレオカメラには、例えば可視光カメラや赤外線カメラ等が用いられ得る。入力部１１０ａとしてステレオカメラが用いられることで、入力部１１０ａは、深度情報を取得することが可能となる。入力部１１０ａが、深度情報を取得することで、情報処理システム１００ａは、例えばテーブル１４０ａの上に置かれた手や物体の検出が可能になる。また入力部１１０ａが、深度情報を取得することで、情報処理システム１００ａは、テーブル１４０ａへのユーザの手の接触、近接の検出やテーブル１４０ａからの手の離脱の検出が可能となる。なお、以下の説明では、ユーザが情報の表示面に手等の操作体を接触または近接させることを、まとめて単に「接触」とも称する。
　また入力部１１０ａとしてマイクが用いられる場合、そのマイクは特定の方向の音声を収音するためのマイクアレイが用いられ得る。入力部１１０ａとしてマイクアレイが用いられる場合、情報処理システム１００ａは、マイクアレイの収音方向を任意の方向に調整しても良い。
　以下では、ユーザの操作が、入力部１１０ａによって撮像された画像から検出される場合を主に説明するが、本開示は係る例に限定されるものではない。ユーザの操作は、ユーザの指等の接触を検出するタッチパネルによって検出されてもよい。また入力部１１０ａが取得できるユーザ操作としては、この他にも、例えば情報の表示面に対するスタイラス操作、カメラに対するジェスチャ操作等が含まれ得る。
　出力部１３０ａは、入力部１１０ａによって入力された、情報処理システム１００ａを使用するユーザの操作内容や、出力部１３０ａが出力している情報の内容、テーブル１４０ａに置かれている物体の形状や模様等の情報に応じて、テーブル１４０ａに情報を表示したり、音声を出力したりする装置である。出力部１３０ａとしては、例えばプロジェクタやスピーカ等が用いられる。図１に示した例では、出力部１３０ａは、テーブル１４０ａの上方に、例えば天井から吊り下げられた状態で設けられる。出力部１３０ａがプロジェクタで構成される場合、出力部１３０ａは、テーブル１４０ａの天面に情報を投影する。出力部１３０ａがスピーカで構成される場合、出力部１３０ａは、音声信号に基づいて音声を出力する。出力部１３０ａがスピーカで構成される場合、スピーカの数は１つで合っても良く、複数であっても良い。出力部１３０ａが複数のスピーカで構成される場合、情報処理システム１００ａは、音声を出力するスピーカを限定したり、音声を出力する方向を調整したりしても良い。
　また情報処理システム１００ａが図１に示したようなプロジェクション型である場合、出力部１３０ａに、照明機器が含まれていても良い。出力部１３０ａに照明機器が含まれる場合、情報処理システム１００ａは、入力部１１０ａによって入力された情報の内容に基づいて、照明機器の点灯、消灯等の状態を制御しても良い。
　通信部１４０は、後述する端末装置（物体）２００の通信部２４０と無線通信を行う。無線通信の方式は特に限定されるものではないが、例えばＢｌｕｅｔｏｏｔｈ（登録商標）通信などの方式を用いることができる。
　情報処理システム１００ａを使用するユーザは、出力部１３０ａがテーブル１４０ａに表示する情報に対して、指などをテーブル１４０ａに置いて操作することが出来る。また情報処理システム１００ａを使用するユーザは、テーブル１４０ａに物体を置いて入力部１１０ａに認識させることで、その認識させた物体に関する種々の操作を実行することが出来る。
　なお図１には図示しないが、情報処理システム１００ａには他の装置が接続されていても良い。例えば情報処理システム１００ａには、テーブル１４０ａを照らすための照明機器が接続されていても良い。情報処理システム１００ａにテーブル１４０ａを照らすための照明機器が接続されていることで、情報処理システム１００ａは、情報の表示面の状態に応じて照明機器の点灯状態を制御することが可能となる。
　本開示では、情報処理システムの形態は図１に示したものに限定されるものではない。図２～図４は、本開示の一実施形態にかかる情報処理システムのさらなる別の形態の例を示す説明図である。
　図２に示したのは、本開示の一実施形態に係る情報処理システム１００ｂの構成例を示す説明図であり、テーブル１４０ｂの下から情報を出力部１３０ａに照射させることで、テーブル１４０ｂの表面に情報を表示させるように構成されているものである。すなわち、図２に示した情報処理システム１００ｂでは、情報の表示面はテーブル１４０ｂの天面となる。テーブル１４０ｂの面はガラス板や透明プラスチック板等の透明な材質で形成される。図２のようにテーブル１４０ｂの下から情報を出力部１３０ａに照射させて、テーブル１４０ｂの天面に情報を表示する方式を「リアプロジェクション型」とも称する。図２に示した例では、テーブル１４０ｂの表面に入力部１１０ｂが設けられる構成を示しているが、図１に示した情報処理システム１００ａと同様に、入力部１１０ｂは、テーブル１４０ｂの下方にテーブル１４０ｂとは離隔して設けられても良い。
　図３に示したのは、本開示の一実施形態に係る情報処理システム１００ｃの構成例を示す説明図である。図３には、タッチパネル式のディスプレイがテーブル上に置かれている状態が示されている。このようにタッチパネル式のディスプレイの場合、入力部１１０ｃ及び出力部１３０ｃは、タッチパネル式のディスプレイとして構成され得る。すなわち、図３に示した情報処理システム１００ｃでは、情報の表示面はタッチパネル式のディスプレイとなる。図３に示した情報処理システム１００ｃでは、図１に示した情報処理システム１００ａと同様に、タッチパネル式のディスプレイの上方に、ユーザの位置を検出するためのカメラが設けられても良い。
　図４に示したのは、本開示の一実施形態に係る情報処理システム１００ｄの構成例を示す説明図である。図４には、フラットパネル式のディスプレイがテーブル上に置かれている状態が示されている。すなわち、図４に示した情報処理システム１００ｄでは、情報の表示面はフラットパネル式のディスプレイとなる。このようにフラットパネル式のディスプレイの場合、入力部１１０ｄ及び出力部１３０ｄは、フラットパネル式のディスプレイとして構成され得る。この図４に示したフラットパネル式のディスプレイに、タッチパネルが設けられていても良い。
　なお以下の説明では、図１に示したような、テーブル１４０ａの上方に入力部１１０ａ及び出力部１３０ａが設けられる情報処理システム１００ａの構成、すなわち、情報の表示面と離隔して入力部１１０ａ及び出力部１３０ａが設けられる構成を例にして説明する。以下の説明では、情報処理システム１００ａ、入力部１１０ａ、出力部１３０ａを、単に情報処理システム１００、入力部１１０、出力部１３０としても説明する。
　［２．機能構成例］
　続いて、本開示の一実施形態にかかる情報処理システムの機能構成例について説明する。図５は、本開示の一実施形態にかかる情報処理システムの機能構成例を示す説明図である。以下、図５を用いて本開示の一実施形態にかかる情報処理システムの機能構成例について説明する。
　図５に示したように、本開示の一実施形態にかかる情報処理システム１００は、入力部１１０と、制御部１２０と、出力部１３０と、通信部１４０を含んで構成される。
　入力部１１０は、情報処理システム１００を使用するユーザの情報処理システム１００に対する操作内容や、出力部１３０が情報を出力する面（例えば図１に示したテーブル１４０ａ）に置かれている物体の位置、形状、模様などを入力する。情報処理システム１００を使用するユーザの情報処理システム１００に対する操作内容には、情報処理システム１００が情報の表示面に出力するＧＵＩに対する操作内容を含む。入力部１１０が入力した、情報処理システム１００に対する操作内容、物体の位置、形状、模様等の情報は制御部１２０に送られる。
　入力部１１０は、情報処理システム１００がプロジェクション型である場合、例えば１つのレンズで構成されるカメラ、２つのレンズで構成されるステレオカメラ、マイク等で構成され得る。
　制御部１２０は、情報処理システム１００の各部の制御を実行する。例えば制御部１２０は、入力部１１０が入力した情報を用いて、出力部１３０から出力する情報を生成する。図５に示したように、制御部１２０は、検出部１２１と、出力制御部（処理部）１２２と、を含んで構成される。検出部１２１は、入力部１１０に入力された情報に基づいて、情報処理システム１００を使用するユーザの、情報処理システム１００に対する操作内容や、出力部１３０が出力している情報の内容、出力部１３０が情報を出力する面（例えば図１に示したテーブル１４０ａ）に置かれている物体の位置、形状、模様などを検出する処理を実行する。入力部１１０がカメラの場合、検出部１２１はカメラが撮像した画像情報を解析し、テーブル１４０ａに置かれている物体の位置、形状、模様などを検出する。検出部１２１が検出した内容は出力制御部１２２に送られる。出力制御部１２２は、検出部１２１が検出した内容に基づいて、出力部１３０から出力する情報を生成する制御を実行する。出力制御部１２２が生成した情報は出力部１３０に送られる。
　例えば情報処理システム１００が図１に示したプロジェクション型の場合、情報の表示面の座標と、ユーザの手等の操作体の表示面への接触座標とが一致するように予め校正されることで、検出部１２１は、ユーザの手等の操作体が、ＧＵＩのどの部分に接触したかを検出することが可能になる。
　制御部１２０は、例えばＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ；中央演算処理装置）とこれを機能させるためのプログラムから構成されていてもよい。
　また図５には図示しないが、制御部１２０は、情報処理システム１００に接続される他の装置、例えば照明機器の動作を制御する機能を有してもよい。
　出力部１３０は、入力部１１０によって入力された、情報処理システム１００を使用するユーザの操作内容や、出力部１３０が出力している情報の内容、また出力部１３０が情報を出力する面（例えば図１に示したテーブル１４０ａ）に置かれている物体の位置、形状、模様等の情報に応じて情報を出力する。出力部１３０は、出力制御部１２２が生成する情報に基づいて情報を出力する。出力部１３０が出力する情報には、情報の表示面に表示される情報や、スピーカ（図示せず）等から出力される音声などが含まれる。
　以上、図５を用いて本開示の一実施形態にかかる情報処理システム１００の機能構成例について説明した。
　［３．端末装置の構成例］
　次に、本開示の一実施形態にかかる端末装置２００の構成について説明する。図６は、端末装置２００の構成を示すブロック図である。図６に示すように、端末装置２００は、操作入力部２１０と、制御部２２０と、表示部２３０と、通信部２４０と、撮像部２５０と、記憶部２６０と、バイブレータ２７０を有して構成されている。操作入力部２１０は、タッチパッド（タッチセンサ）や入力のためのキーなど、ユーザが操作入力を行うためのＵＩである。制御部２２０は、例えばＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ；中央演算処理装置）とこれを機能させるためのプログラムなどで構成されていてもよい。
　表示部２３０は、液晶表示ディスプレイ等からなる表示画面を含み、制御部２２０の指示に基づいて画面上に表示を行う。通信部２４０は、情報処理システム１００の通信部１４０と無線により通信を行う。撮像部２５０は、ＣＭＯＳセンサ等の撮像素子を含む。撮像素子の撮像面には、撮像光学系（不図示）により被写体像が結像される。
　続いて、本開示の一実施形態にかかる情報処理システム１００による情報の表示制御の例について説明する。
　［４．情報処理システムの操作状況の例］
　図７は、本開示の一実施形態にかかる情報処理システム１００の操作状況の例を示す説明図である。図７に示したように、本開示の一実施形態にかかる情報処理システム１００は、１又は複数のユーザが、例えばテーブル１４０ａに表示される同一の画面上でそれぞれ独立したアプリケーションを実行することが出来るよう構成されたシステムである。図７に示したアプリケーションのＧＵＩ（Ｇｒａｐｈｉｃａｌ　Ｕｓｅｒ　Ｉｎｔｅｒｆａｃｅ）は、出力制御部１２２が生成し、出力部１３０が出力する。
　本開示の一実施形態にかかる情報処理システム１００は、出力部１３０が情報の表示面（テーブル１４０ａ）に出力したアプリケーションのＧＵＩに対するユーザの操作内容を入力部１１０で取得する。情報処理システム１００は、ユーザにその表示面に対して端末装置２００を表示面上で移動させたりすることによって、出力部１３０が情報の表示面にアプリケーション等を出力する。また、情報処理システム１００は、情報の表示面にアプリケーションを出力した場合は、出力したアプリケーションのＧＵＩの操作を受け付ける。
　［５．端末装置の動きに応じて表示される画像の例］
　図８、図９は、テーブル１４０ａに表示される画像の例を示す模式図である。図８に示すように、検出部１１２による撮像の画像解析により、操作者が画像表示面（テーブル１４０ａ）に置いた端末装置２００の形状、位置、大きさ、動き方向などを認識する。次に、図９に示すように、操作者が端末装置２００を矢印Ａ１方向に動かすと、検出部１２１による撮像の画像解析により端末装置２００を動かす軌跡が認識され、この軌跡に合わせて、端末装置２００が保有するアプリケーションを表す表示３００，３１０，３２０，３３０（アイコン、ウィンドウなど、以下、単にアプリケーション３００，３１０，３２０，３３０と称する）が順次にテーブル１４０ａ上に表示される。または、検出部１２１による撮像の画像解析により端末装置２００の位置および姿勢の履歴が認識され、この位置および姿勢の履歴に合わせて、端末装置２００が保有するアプリケーションを表す表示３００，３１０，３２０，３３０が順次にテーブル１４０ａ上に表示される。なお、検出部１２１による撮像の画像解析により端末装置２００の位置および姿勢のいずれか一方の履歴が認識され、認識された位置又は姿勢の履歴に合わせて、端末装置２００が保有するアプリケーションを表す表示３００，３１０，３２０，３３０が順次にテーブル１４０ａ上に表示されるものであっても良い。端末装置２００が直線状に移動するとアプリケーション３００，３１０，３２０，３３０は直線状に表示され、端末装置２００が曲線状に移動するとアプリケーション３００，３１０，３２０，３３０は曲線状に表示される。例えば、アプリケーション３００，３１０，３２０，３３０は、それぞれ、ＳＮＳ閲覧、メール送受信、インターネット閲覧、文書作成、等々のためのアプリケーションである。なお、本実施形態は、アプリケーションを表す表示（アイコン、ウィンドウなど）３００，３１０，３２０，３３０に変えて、又はアプリケーションを表す表示３００，３１０，３２０，３３０とともに、コンテンツファイル（画像、動画、ドキュメントなど）を表す表示を行うこともできる。
　図９に示すような表示を行うため、端末装置２００の通信部２４０から情報処理システム１００の通信部１４０へ端末装置２００が保有するアプリケーション３００，３１０，３２０，３３０に関する情報が送られる。具体的には、端末装置２００がアプリケーション３００，３１０，３２０，３３０を表示部２３０に表示するための表示情報は、端末装置２００の通信部２４０から情報処理システム１００の通信部１４０へ送られる。なお、これらの表示情報は、端末装置２００の記憶部２６０に格納しておくことができる。情報処理システム１００の制御部１２０では、通信部１４０が表示情報を受信すると、出力制御部１２２が、表示情報に基づいて出力部１３０から出力する情報を生成する制御を実行する。これにより、表示情報を出力部１３０から出力し、テーブル１４０ａ上に所望の大きさで表示させる。
　図９に示す例では、ユーザが端末装置２００を曲線状に動かしているため、アプリケーション３００，３１０，３２０，３３０の表示画面は、端末装置２００の軌跡に沿って曲線状に順次に表示される。一方、ユーザが端末装置２００を直線状に動かした場合は、アプリケーション３００，３１０，３２０，３３０の表示画面は、端末装置２００の軌跡に沿って直線状に順次に表示される。
　一例として、アプリケーション３００，３１０，３２０，３３０の表示画面が表示される順番は、ユーザによる各アプリケーションの使用頻度に応じて定められる。図９に示す例では、アプリケーション３００、アプリケーション３１０、アプリケーション３２０、アプリケーション３３０の順でユーザの使用頻度が高いため、この順で各アプリケーションの表示画面が順次に表示される。使用頻度に関する情報は、制御部２２０が取得して記憶部２６０に記憶されている。使用頻度に関する情報は、通信部２４０から通信部１４０へ送られる。従って、情報処理システム１００は、使用頻度に応じて各アプリケーションを順次表示することができる。アプリケーション３００，３１０，３２０，３３０の表示画面が表示される順番は、アプリケーション３００，３１０，３２０，３３０の付加情報（種類、重要度、データ量）に応じて決定されるものであっても良い。また、アプリケーション３００，３１０，３２０，３３０の表示画面は、ユーザコンテキスト情報（行動認識結果の履歴、Ｗｅｂ閲覧履歴、サービス利用履歴、移動経路履歴、設定されているスケジュール情報、プロファイル情報（好み、年齢、性別、出生地））、位置情報、表示面上（テーブル上）で他に表示されているコンテンツ、バックグラウンドで同時に実行されているプロセス（コンテンツ）、同じ空間にある他の装置で同時に実行されているプロセス（コンテンツ）、現在時刻、システムを利用している、他のユーザを表す情報（特定の人の前では表示させたくないなどのニーズがあることを想定）に応じて表示順や表示、非表示の切り替えを制御することも可能である。これらの情報は、制御部２２０が取得して記憶部２６０に記憶されており、通信部２４０から通信部１４０へ送られる。従って、情報処理システム１００は、これらの情報に応じて各アプリケーションを順次表示することができる。
　以上のように、情報処理システム１００は、端末装置２００の動きに応じてテーブル１４０ａ上での表示を制御することができる。このため、図９のようにアプリケーション３００，３１０，３２０，３３０を表示した後、端末装置２００を矢印Ａ２方向に動かすと、表示された各アプリケーション３００，３１０，３２０，３３０の位置に端末装置２００が到達した時点で各アプリケーション３００，３１０，３２０，３３０の表示を消すこともできる。従って、ユーザは、テーブル１４０ａの各アプリケーション３００，３１０，３２０，３３０を端末装置２００内に吸い取るような感覚を得ることができる。
　図１０、図１１は、テーブル１４０ａに表示される画像の他の例を示す模式図である。図１０、図１１に示す例では、端末装置２００の動きに応じて、端末装置２００が保有する画像４００の拡大、縮小を行う。画像４００の情報は、例えば端末装置２００の記憶部２６０に格納されている。先ず、図１０に示すように、検出部１２１による撮像の画像解析により、操作者が画像表示面に置いた端末装置２００の形状、位置、大きさ、動きの方向を認識する。次に、図１１に示すように、操作者が端末装置２００を動かすと、検出部１２１による撮像の画像解析により端末装置２００を動かす軌跡が認識され、この軌跡に合わせて、画像４００がテーブル１４０ａ上に表示されるとともに、端末装置２００を動かす軌跡に従って画像４００が拡大される。
　図１１に示すように、端末装置２００の元の位置Ｐ１に表示コンテンツ４００である画像の左上の頂点が固定され、端末装置２００を矢印Ａ３方向に動かすと表示コンテンツ４００である画像の右下の頂点Ｐ２が矢印Ａ３方向に移動して画像が拡大される。また、端末装置２００を矢印Ａ４方向に動かすと表示コンテンツ４００である画像の右下の頂点Ｐ２が矢印Ａ４方向に移動して画像が縮小される。
　なお、端末装置２００に格納されているアプリケーション３００，３１０，３２０，３３０の種類に応じて、テーブル１４０ａ上における表示を変化させても良い。また、表示されるコンテンツがアプリケーション３００，３１０，３２０，３３０であるか画像であるかに応じて、テーブル１４０ａ上における表示を変化させても良い。
　［６．端末装置の動きに応じた表示を行うための構成例］
　続いて、図８～図１１の表示を行うための構成例について説明する。図８～図１１に示す表示は、図５に示した制御部１２０によって行われ、制御部１２０は、「端末位置情報取得部」、「端末保有情報取得部」、「表示処理部」として機能する。「端末位置情報取得部」及び「端末保有情報取得部」は検出部１２１に相当し、「表示処理部」は出力制御部１２２に相当する。
　制御部１２０は、入力部１１０が入力した情報を用いて、出力部１３０から出力する情報を生成する。端末保有情報取得部は、端末装置２００から所定の情報を取得する。図８、図９の表示を行う場合、端末保有情報取得部が取得する情報は、端末装置２００が保有する各アプリケーション３００，３１０，３２０，３３０の表示画面の情報である。また、図１０、図１１の表示を行う場合、端末保有情報取得部が取得する情報は、端末装置２００が保有する画像４００を表示するための情報である。端末保有情報取得部は、通信部１４０が端末装置２００から受信した各アプリケーション３００，３１０，３２０，３３０の表示画面の情報、又は画像４００の情報を取得する。
　位置情報取得部は、入力部１１０による撮像の画像解析を行い、操作者がテーブル１４０ａ上に置いた端末装置２００の形状、位置、大きさ、姿勢、動きを取得する。表示処理部１２２は、端末保有情報取得部が取得した情報を、位置情報取得部が取得した情報に基づいて出力部１３０から出力させて表示を行うための処理を行う。
　以上により、端末装置２００の動きに応じて、端末装置２００が保有する各アプリケーション３００，３１０，３２０，３３０の表示画面の情報、又は画像４００の情報をテーブル１４０ａ上に表示することができる。
　ユーザは、アプリケーション３００，３１０，３２０，３３０の表示画面がテーブル１４０ａ上に表示されると、テーブル１４０ａ上に表示されたアプリケーションを手で操作することができる。例えば、ユーザは、タップ、長押し、ドラッグ、フリックなどのタッチ操作により、表示されたアプリケーションを操作することができる。この際、検出部１２１は、情報処理システム１００を使用するユーザの、情報処理システム１００に対する操作内容や、出力部１３０が出力している情報の内容、出力部１３０が情報を出力する面（例えば図１に示したテーブル１４０ａ）に置かれている物体の形状や模様などを検出する処理を実行する。検出部１２１が検出した内容は出力制御部１２２に送られる。出力制御部１２２は、検出部１２１が検出した内容に基づいて、出力部１３０から出力する情報を生成する制御を実行する。出力制御部１２２が生成した情報は出力部１３０に送られる。
　例えば情報処理システム１００が図１に示したプロジェクション型の場合、情報の表示面の座標と、ユーザの手等の操作体の表示面への接触座標とが一致するように予め校正されることで、検出部１２１は、ユーザの手等の操作体が、ＧＵＩのどの部分に接触したかを検出することが可能になる。
　図５に示した情報処理システム１００は、単独の装置として構成されてもよく、一部または全部が別々の装置で構成されても良い。例えば、図５に示した情報処理システム１００の機能構成例の内、制御部１２０が、入力部１１０及び出力部１３０とネットワーク等で接続されたサーバ等の装置に備えられていても良い。制御部１２０がサーバ等の装置に備えられる場合は、入力部１１０からの情報がネットワーク等を通じて当該サーバ等の装置に送信され、制御部１２０が入力部１１０からの情報に対して処理を行って、当該サーバ等の装置から、出力部１３０が出力するための情報がネットワーク等を通じて出力部１３０に送られる。
　また、上述した例において、情報処理システム１００の制御部１２０の機能は、端末装置２００の制御部２２０が備えていても良い。制御部１２０の機能が端末装置２００の制御部２２０に備えられる場合は、入力部１１０からの情報が通信部１４０，２４０を介して端末装置２００に送信され、制御部２２０が入力部１１０からの情報に対して処理を行って、出力部１３０が出力するための情報が通信部１４０，２４０を介して情報処理システム１００へ送られて、出力部１３０に送られる。更に、上述した例において、端末装置２００は、スマートフォン等の記憶部を備えた装置の他、ＱＲコード（登録商標）等のＩＤが外部から識別可能なカード等であっても良い。この場合、情報処理システム１００の入力部１１０は、撮像によりカード等のＩＤを認識し、認識されたＩＤはネットワーク等で接続されたクラウド上のサーバ等の装置によって取得される。このサーバ等の装置が制御部１２０の機能を備えることで、制御部１２０は、検出部１２１がＩＤを解析し、出力制御部１２２が検出部１２１の解析結果に基づいて、出力部１３０から出力するための情報を生成する。出力制御部１２２は、ＩＤの解析結果に基づいてＩＤと紐づけられたコンテンツを取得し、出力部１３０から出力させる。これにより、撮像により認識されたカード等の位置情報を使って、図９で説明したような表示を行うことが可能である。
　端末装置２００から情報処理システム１００に送られたアプリケーション３００，３１０，３２０，３３０又は画像４００の表示画面に関する情報は、端末装置２００と情報処理システム１００とが通信部１４０，２４０を介して同期をとることで逐次更新される。検出部１２１は、情報処理システム１００を使用するユーザの、情報処理システム１００に対する操作内容を検出し、検出した操作内容に応じてアプリケーション３００，３１０，３２０，３３０（又は画像４００）の表示画面を遷移させると、端末装置２００においても表示画面を遷移させるための情報が取得される。
　なお、上述した例では、情報処理システム１００の入力部１１０がテーブル１４０ａに置かれている端末装置２００の位置や動きを検出しているが、端末装置２００側で自身の位置や動きを検出し、情報処理システム１００側へ送信しても良い。例えば、端末装置２００が備えるセンサ（ＧＰＳ、加速度センサ、ジャイロセンサ等）により端末装置２００の位置を検出することができる。また、撮像部２５０が天井などに設けられたグリッドを撮影して端末装置２００の位置を取得することもできる。また、ビーコンを用いたり、マイクロフォンで音（テーブル１４０ａ上を端末装置２００が動く際の音）を集音することによって、端末装置２００がテーブル１４０ａ上を動いていることを認識することが可能である。
　端末装置２００の移動は、テーブル１４０ａの面上に限られるものではなく、図４に示した例のように垂直面上で行うことも可能である。
　［７．表示のバリエーションの例］
　次に、情報処理システムによる表示のバリエーションについて説明する。なお、以下に示す表示例においても、端末装置２００の表示部２３０を上に向けた状態を示すが、表示部２３０を下側（テーブル１４０ａ側）に向けても良い。図１２は、端末装置２００を矢印Ａ５方向に振る動作をすると、アプリケーション３００，３１０，３２０，３３０が端末装置２００から飛び出すような表示を行う例を示す模式図である。この操作は、例えばトランプを重ねてテーブル上に複数のトランプを撒くような動作に相当し、ユーザはテーブル１４０ａ上に配置するアイテム（アプリケーション３００，３１０，３２０，３３０）に対して慣性的な動きを行わせることができる。端末装置２００を移動させる加速度、速度、止まり方に応じて、テーブル１４０ａ上における表示が変化する。また、端末装置２００を移動させる方向、加速度、速度、止まり方に応じて、出力制御部１２２による表示コンテンツの選択が行われる。テーブル１４０ａ上における表示が変化する。ユーザが端末装置２００を振る加速度、速度が大きいほど、テーブル１４０ａ上に表示されるアプリケーションの数が多くなり、また、アプリケーションが端末装置２００からより遠い位置まで移動する。この場合においても、端末装置２００を矢印Ａ６方向に振る動作をすると、テーブル１４０ａ上に表示されたアプリケーション３００，３１０，３２０，３３０が端末装置２００の位置まで戻り、あたかもアプリケーション３００，３１０，３２０，３３０が端末装置２００に吸い取られたような表示が行われる。
　図１３は、図１２に示す例において、端末装置２００の動きに応じてアプリケーション３００，３１０，３２０，３３０の表示を変化させた例を示す模式図である。図１２に示す例では、端末装置２００が直線状に動いているため、各アプリケーション３００，３１０，３２０，３３０は直線状に並んで表示される。図１３に示す例では、端末装置２００が円弧に沿って動いているため、各アプリケーション３００，３１０，３２０，３３０は円弧に沿って並んで表示される。
　また、図１３に示す例において、端末装置２００を停止させた位置で、円弧の接線方向に沿って直線状に各アプリケーション３００，３１０，３２０，３３０を並べて表示しても良い。
　図１４は、図１２に示す例において、端末装置２００の表示部２３０に表示する画像４００と情報処理システム１００がテーブル１４０ａ上に表示する画像４００を連動させた例を示す模式図である。図１４に示すように、端末装置２００の表示画面に画像４００が表示された状態で端末装置２００を矢印Ａ１の方向へ振ると、テーブル１４０ａ上に画像４００が飛び出すようにして表示され、表示部２３０に表示された画像４００が消える。これにより、ユーザは端末装置２００の表示部２３０からテーブル１４０ａ上に画像４００を移したような感覚を得ることができる。この場合、情報処理システム１００が端末装置２００から画像４００を飛び出させてテーブル１４０ａ上に表示させると、端末装置２００へ表示部２３０上の画像４００を消去する旨の情報が送信される。端末装置２００の制御部２２０は、表示部２３０から画像４００を消去する処理を行う。
　図１５は、第１の端末装置２００から表示させた画像４００を第２の端末装置２０２へ移す例を示す模式図である。図１５に示すように、第１の端末装置２００の表示部２３０に画像４００が表示された状態で端末装置２００を矢印Ａ５の方向へ振ると、第１の端末装置２００からテーブル１４０ａ上に画像４００が飛び出すようにして表示され、表示部２３０に表示された画像４００が消える。テーブル１４０ａ上に表示された画像４００は、第１の端末装置２００を振る方向と速度に応じてテーブル１４０ａ上を移動し、第２の端末装置２０２の位置に到達すると第２の端末装置２０２に取り込まれる。この際、画像４００に関する情報が情報処理システム１００の通信部１４０から第２の端末装置２０２の通信部２４０に送られる。これにより、画像４００は第２の端末装置２００の表示部２３０に表示され、記憶部２６０に保存される。
　情報処理システム１００は、第１及び第２の端末装置２００のそれぞれから固有の識別情報を受信し、第２の端末装置２０２が第１の端末装置２００から画像４００の転送を受けることができる端末であるか否かを認識する。情報処理システム１００は、第２の端末装置２０２が第１の端末装置２００から画像４００の転送を受けることができない端末の場合は、第１の端末装置２００から第２の端末装置２０２へ向けてテーブル１４０ａ上を移動した画像４００が第２の端末装置２０２の位置で弾き返される表示を行う。この場合、画像４００に関する情報は情報処理システム１００から第２の端末装置２０２には送られない。
　また、第２の端末装置２０２側で画像４００を受け取るための特定の動きを行った場合にのみ、テーブル１４０ａ上を移動した画像４００が第２の端末装置２０２に取り込まれるようにしても良い。
　ファイルを転送する側の第１の端末装置２００のユーザが、第１の端末装置２００の移動を戻す操作、第１の端末装置２００をシェイクする操作を行うと、ファイルの移動がキャンセルされるようにしても良い。
　なお、図１２～図１５の例において、端末装置２００のバイブレータ２７０は、アプリケーション３００，３１０，３２０，３３０（又は画像４００）がテーブル１４０ａ上に順次表示される度に振動を発生させる。端末装置２００を動かすユーザは、振動によるフィードバックを受けることで、端末装置２００からテーブル１４０ａ上にアプリケーション３００，３１０，３２０，３３０が排出されていくような感覚を得ることができる。同様に、図１５の例において、画像４００が第２の端末装置２０２に取り込まれると、バイブレータ２７０が振動を発生させる。従って、第２の端末装置２０２のユーザは、端末装置２０２により画像４００を捕まえたような感覚を得ることができる。
　また、端末装置２００が移動する際に、移動に伴ってバイブレータ２７０が振動を発生させることで、端末装置２００がテーブル１４０ａを移動する際の「ずりずり感」を出すことができる。
　また、バイブレータ２７０以外の手法でユーザへのフィードバックを行っても良い。例えば、端末装置２００が、音、光、特定の表示を発生させることによってフィードバックを行っても良い。また、情報処理システム１００が特定の表示（プロジェクション）を発生させることによってフィードバックを行っても良い。
　次に、図面を参照して更なる表示のバリエーションについて説明する。以下では、アプリケーション３００，３１０，３２０，３３０と画像４００を総称して表示コンテンツ５００と称する。図１６Ａ～図１６Ｃは、端末装置２００を動かす方向に応じて、異なるコマンドが実行される例を示す模式図である。図１６Ａに示す例では、端末装置２００を斜めにスライドさせている。この場合、端末装置２００の表示部２３０に表示された表示コンテンツ５００の画像（富士山の画像）が拡大表示される。
　図１６Ｂに示す例では、端末装置２００を横にスライドさせている。この場合、端末装置２００が保有する表示コンテンツ５００（複数の画像）が時系列に表示される。例えば、複数の画像４００～４０６のうち、最も古い画像４００が左側に表示され、最も新しい画像４０６が右側に表示される。情報処理システム１００は、画像４００～４０６が撮影された日時に関する情報を画像４００～４０６の画像情報とともに端末装置２００から取得することで、時系列に画像４００～４０６を表示することができる。
　図１６Ｃに示す例では、端末装置２００を縦にスライドさせている。この場合、端末装置２００が保有する表示コンテンツ５００（複数の画像）のうち、関連する画像４００～４０６が端末装置２００の移動に伴って順次に表示される。ここでは、富士山に関連する画像４００～４０６が順次に表示される。情報処理システム１００は、画像４００～４０６の関連度（属性）を示す情報を画像４００～４０６の画像情報とともに端末装置２００から取得することで、関連する画像４００～４０６を表示することができる。
　図１７Ａ～図１７Ｃは、端末装置２００の動きに応じて、テーブル１４０ａ上に表示される情報量が増える例を示す模式図である。図１７Ａに示す例では、端末装置２００を斜めにスライドさせると、端末装置２００の表示部２３０に表示されている表示コンテンツ５００が拡大され、且つ表示コンテンツ５００により表示される情報量が増大する。
　図１７Ｂに示す例では、端末装置２００を横にスライドさせると、表示コンテンツ５００としてユーザのプロフィールが順次表示される。表示コンテンツ５００は、当初は端末装置２００の表示部２３０に表示されているが、端末装置２００が移動しても表示コンテンツ５００の位置は変わらず、端末装置２００の移動に伴ってテーブル１４０ａ上に表示される。
　また、図１７Ｃに示す例では、端末装置２００を縦にスライドさせると、表示コンテンツ５００が縦方向に延び、表示コンテンツ５００による情報量が増加する。
　図１８Ａ～図１８Ｃは、表示コンテンツ５００として地図を表示した例を示す模式図である。図１８Ａでは、端末装置２００を斜めにスライドさせると、端末装置２００の表示部２３０に表示されている地図の表示範囲が拡がる例を示している。図１８Ａに示すように、テーブル１４０ａ上に表示された地図５１０と表示部２３０に表示された地図５２０は連動して表示される。この際、情報処理システム１００によるテーブル１４０上での地図の表示範囲を示す情報が、情報処理システム４００の通信部１４０から端末装置２００の通信部２４０に送られる。端末装置２００の制御部２２０は、テーブル１４０上での地図の表示範囲を示す情報に基づいて、表示部２３０に表示する画面の情報を生成する。
　図１８Ｂは、端末装置２００を縦又は横にスライドさせた例を示している。図１８Ｂに示すように、端末装置２００を横にスライドさせると東西の方向に地図５００の表示範囲が広がる。同様に、端末装置２００を縦にスライドさせると、南北の方向に地図５００の表示範囲が広がる。図１８Ｂに示す例においても、端末装置２００の表示部２３０上での表示範囲は、テーブル１４０ａ上での表示範囲の変化に応じて変化する。
　図１８Ｃは、表示部２３０上のタッチセンサ（操作入力部２１０）をタッチしながら端末装置２００を縦又は横にスライドさせた例を示している。図１８Ｃに示すように、表示部２３０をタッチしながら端末装置２００を横にスライドさると、東西の方向に地図５００の表示範囲は広がるが、表示部２３０上での地図５００の表示範囲は変わらない。同様に、表示部２３０をタッチしながら端末装置２００を縦にスライドさせると、南北の方向に地図５００の表示範囲が広がるが、表示部２３０上での地図５００の表示範囲は変わらない。以上のように、操作入力部２１０を操作してスライドさせた場合と操作入力部２１０を操作せずにスライドさせた場合とで異なる表示を行うことができる。
　図１９は、図１６Ａと同様に端末装置２００を斜めにスライドさせて表示コンテンツ５００を拡大させた後、端末装置２００を回転させる例を示している。この場合、テーブル１４０ａ上に表示された表示コンテンツ５００も端末装置２００の回転に伴って回転する。図１８Ａと同様、テーブル１４０ａ上の表示コンテンツ５００と表示部２３０上の表示コンテンツ５００は連動し、一体化されている。
　図２０Ａ及び図２０Ｂは、図１６Ｂと同様に端末装置２００を横にスライドさせて複数の表示コンテンツ５００（画像４００～４０４）を時系列に表示させた場合に、スライドの途中で端末装置２００の全ての画像４００～４０４がテーブル１４０ａ上に表示された場合を示す模式図である。図２０Ａは、端末装置２００をスライドして全ての画像４００～４０４が出尽くすと、テーブル１４０ａ上に表示された画像４００～４０４をそのままの位置に残す例を示している。また、図２０Ｂは、端末装置２００をスライドして全ての画像４００～４０４が出尽くすと、テーブル１４０ａ上に表示された画像４００～４０４が端末装置２００の移動に伴って移動する例を示している。
　図２１Ａ及び図２１Ｂは、図１６Ａと同様に端末装置２００を斜めにスライドして画像を拡大する例を示す模式図である。図２１Ａに示す例では、テーブル１４０ａ上の画像４００を拡大しても、端末装置２００の表示部２３０に表示される画像４００は変化しない例を示している。
　図２１Ｂは、テーブル１４０ａ上の画像を拡大すると、端末装置２００の表示部２３０に表示される画像４００が変化する例を示している。図２１Ｂに示すように、表示部２３０に表示される画像４００は、テーブル１４０上の画像４００の一部を構成し、テーブル１４０ａ上の画像４００の拡大に伴って表示部２３０に表示される画像４００が変化する。つまり、図１８Ａと同様、テーブル１４０ａ上の表示コンテンツ５００と表示部２３０上の表示コンテンツ５００は連動し、一体化されている。
　上述したように、ユーザは、アプリケーション３００，３１０，３２０，３３０の表示画面がテーブル１４０ａ上に表示されると、テーブル１４０ａ上に表示されたアプリケーションを手で操作することができる。
　以上説明したように本実施形態によれば、端末装置２００の動きに応じて端末装置２００に格納されている表示コンテンツ５００を所望の状態に表示することが可能となる。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　なお、以下のような構成も本開示の技術的範囲に属する。
（１）　表示コンテンツと関連付けられる物体の動きを示す情報を取得する動き情報取得部と、
　前記動き情報取得部が取得する前記情報に基づいて、前記表示コンテンツの配置を決定する処理部と、
　を備える、情報処理装置。
（２）　前記処理部は、前記物体の軌跡に沿って複数の前記表示コンテンツが並ぶよう前記表示コンテンツを表示するための表示情報を出力する、前記（１）に記載の情報処理装置。
（３）　前記情報は、前記物体の位置及び姿勢を示す情報を含む、前記（２）に記載の情報処理装置。
（４）　前記処理部は、前記物体の位置および姿勢の履歴に応じて、複数の前記表示コンテンツの位置および姿勢を決定する、前記（３）に記載の情報処理装置。
（５）　前記物体は情報を記録可能な記憶媒体を備え、
　前記表示コンテンツは、前記記憶媒体に記憶される、前記（２）に記載の情報処理装置。
（６）　前記処理部によって既に表示されている前記表示コンテンツの位置に前記情報処理装置が動いたことが前記動き情報取得部によって取得されると、前記処理部は前記表示コンテンツを表示するための表示情報を変化させて前記表示コンテンツを非表示にする、前記（１）に記載の情報処理装置。
（７）　前記処理部は、前記物体の移動の方向、前記物体の移動速度、又は前記物体の移動加速度に基づいて、前記表示コンテンツの配置を決定する、
　前記（１）に記載の情報処理装置。
（８）　前記処理部は、前記表示コンテンツが前記情報処理装置の移動の方向、前記情報処理装置の移動の速度、又は前記情報処理装置の移動の加速度に応じて移動するように前記表示コンテンツを表示するための表示情報を出力する、前記（７）に記載の情報処理装置。
（９）　前記処理部は、前記物体の移動の方向、前記物体の移動速度、又は前記情報処理装置の移動加速度に基づいて、表示させる前記表示コンテンツを選択する、前記（１）に記載の情報処理装置。
（１０）　前記処理部は、前記表示コンテンツの移動方向に他の物体が存在する場合は、前記表示コンテンツが前記他の物体の位置に到達した時点で前記表示コンテンツを表示するための表示情報を変化させて前記表示コンテンツを消去する、前記（１）に記載の情報処理装置。
（１１）　前記処理部は、前記物体の動きに応じて前記表示コンテンツを拡大表示又は縮小表示するための表示情報を出力する、前記（１）に記載の情報処理装置。
（１２）　前記処理部は、前記物体の動きに応じて前記表示コンテンツの情報量を増減させるための表示情報を出力する、前記（１）に記載の情報処理装置。
（１３）　複数の前記表示コンテンツの優先度を示す情報を前記情報処理装置から取得し、
　前記処理部は、複数の前記表示コンテンツを前記優先度に応じて順次に表示する、前記（２）に記載の情報処理装置。
（１４）　前記処理部は、前記物体の移動方向に応じて前記表示コンテンツの表示態様を変化させる、前記（１）に記載の情報処理装置。
（１５）　前記表示コンテンツに関する時間情報を取得し、
　前記処理部は、前記物体の移動に応じて複数の前記表示コンテンツを時系列に表示するための表示情報を出力する、前記（１）に記載の情報処理装置。
（１６）　前記表示コンテンツの属性に関する情報を取得し、
　前記処理部は、前記物体が保有する前記表示コンテンツのうち属性が共通する複数の前記表示コンテンツを表示するための表示情報を出力する、前記（１）に記載の情報処理装置。
（１７）　前記処理部は、前記物体の動きに応じて前記表示コンテンツが変化するように前記表示コンテンツを表示するための表示情報を出力し、
　前記情報処理装置の表示部の表示内容を前記表示コンテンツの変化と連動して変化させるための情報を送信する送信部を備える、前記（１）に記載の情報処理装置。
（１８）　前記物体に所定の操作が行われたことを示す操作情報を取得し、
　前記処理部は、前記物体に所定の操作が行われたか否かに応じて異なる態様で前記表示コンテンツを表示するための表示情報を出力する、前記（１）に記載の情報処理装置。
（１９）　前記処理部は、前記情報処理装置が直線状に移動する場合は、直線状に複数の前記表示コンテンツを表示するための前記表示情報を出力する、前記（１）に記載の情報処理装置。
（２０）　前記処理部は、前記情報処理装置が曲線状を移動する場合は、曲線状に複数の前記表示コンテンツを表示するための前記表示情報を出力する、前記（１）に記載の情報処理装置。
（２１）　前記出力制御部は、前記情報処理装置の移動方向であって前記情報処理装置よりも前記移動方向の前方に前記表示コンテンツを表示するための前記表示情報を出力する、前記（１）に記載の情報処理装置。
（２２）　消去した前記表示コンテンツに関する情報を前記他の装置に送信する送信部を備える、請求項９に記載の情報処理装置。
（２３）　前記出力制御部は、前記情報処理装置が曲線上を移動する場合は、前記情報処理装置が停止した位置での前記曲線の接線方向に前記表示コンテンツを表示するための前記表示情報を出力する、前記（１）に記載の情報処理装置
（２４）　表示コンテンツを保有する装置の動きを取得することと、
　前記装置から前記表示コンテンツに関する情報を取得することと、
　取得した前記装置の動きに応じて、前記表示コンテンツを表示するための表示情報を出力することと、
　を備える、情報処理方法。
（２５）　表示コンテンツを保有する装置の動きを取得する手段、
　前記装置から前記表示コンテンツに関する情報を取得する手段、
　取得した前記装置の動きに応じて、前記表示コンテンツを表示するための表示情報を出力する手段、
　としてコンピュータを機能させるためのプログラム。
　１００　　情報処理システム
　１２１　　検出部（端末位置情報取得部、端末保有情報取得部）
　１２２　　出力制御部

Claims (20)

  1. 　表示コンテンツと関連付けられる物体の動きを示す情報を取得する動き情報取得部と、
    　前記動き情報取得部が取得する前記情報に基づいて、前記表示コンテンツの配置を決定する処理部と、
    　を備える、情報処理装置。
  2. 　前記処理部は、前記物体の軌跡に沿って複数の前記表示コンテンツが並ぶよう前記表示コンテンツを表示するための表示情報を出力する、請求項１に記載の情報処理装置。
  3. 　前記情報は、前記物体の位置及び姿勢を示す情報を含む、
    　請求項２に記載の情報処理装置。
  4. 　前記処理部は、前記物体の位置及び姿勢の履歴に応じて、複数の前記表示コンテンツの位置および姿勢を決定する、
    　請求項３に記載の情報処理装置。
  5. 　前記物体は情報を記録可能な記憶媒体を備え、
    　前記表示コンテンツは、前記記憶媒体に記憶される、
    　請求項２に記載の情報処理装置。
  6. 　前記処理部によって既に表示されている前記表示コンテンツの位置に前記情報処理装置が動いたことが前記動き情報取得部によって取得されると、前記処理部は前記表示コンテンツを表示するための表示情報を変化させて前記表示コンテンツを非表示にする、請求項１に記載の情報処理装置。
  7. 　前記処理部は、前記物体の移動の方向、前記物体の移動速度、又は前記物体の移動加速度に基づいて、前記表示コンテンツの配置を決定する、
    　請求項１に記載の情報処理装置。
  8. 　前記処理部は、前記表示コンテンツが前記情報処理装置の移動の方向、前記情報処理装置の移動の速度、又は前記情報処理装置の移動の加速度に応じて移動するように前記表示コンテンツを表示するための表示情報を出力する、請求項７に記載の情報処理装置。
  9. 　前記処理部は、前記物体の移動の方向、前記物体の移動速度、又は前記情報処理装置の移動加速度に基づいて、表示させる前記表示コンテンツを選択する、
    　請求項１に記載の情報処理装置。
  10. 　前記処理部は、前記表示コンテンツの移動方向に他の物体が存在する場合は、前記表示コンテンツが前記他の物体の位置に到達した時点で前記表示コンテンツを表示するための表示情報を変化させて前記表示コンテンツを消去する、請求項１に記載の情報処理装置。
  11. 　前記処理部は、前記物体の動きに応じて前記表示コンテンツを拡大表示又は縮小表示するための表示情報を出力する、請求項１に記載の情報処理装置。
  12. 　前記処理部は、前記物体の動きに応じて前記表示コンテンツの情報量を増減させるための表示情報を出力する、請求項１に記載の情報処理装置。
  13. 　複数の前記表示コンテンツの優先度を示す情報を前記情報処理装置から取得し、
    　前記処理部は、複数の前記表示コンテンツを前記優先度に応じて順次に表示する、請求項２に記載の情報処理装置。
  14. 　前記処理部は、前記物体の移動方向に応じて前記表示コンテンツの表示態様を変化させる、請求項１に記載の情報処理装置。
  15. 　前記表示コンテンツに関する時間情報を取得し、
    　前記処理部は、前記物体の移動に応じて複数の前記表示コンテンツを時系列に表示するための表示情報を出力する、請求項１に記載の情報処理装置。
  16. 　前記表示コンテンツの属性に関する情報を取得し、
    　前記処理部は、前記物体が保有する前記表示コンテンツのうち属性が共通する複数の前記表示コンテンツを表示するための表示情報を出力する、請求項１に記載の情報処理装置。
  17. 　前記処理部は、前記物体の動きに応じて前記表示コンテンツが変化するように前記表示コンテンツを表示するための表示情報を出力し、
    　前記情報処理装置の表示部の表示内容を前記表示コンテンツの変化と連動して変化させるための情報を送信する送信部を備える、請求項１に記載の情報処理装置。
  18. 　前記物体に所定の操作が行われたことを示す操作情報を取得し、
    　前記処理部は、前記物体に所定の操作が行われたか否かに応じて異なる態様で前記表示コンテンツを表示するための表示情報を出力する、請求項１に記載の情報処理装置。
  19. 　表示コンテンツを保有する装置の動きを取得することと、
    　前記装置から前記表示コンテンツに関する情報を取得することと、
    　取得した前記装置の動きに応じて、前記表示コンテンツを表示するための表示情報を出力することと、
    　を備える、情報処理方法。
  20. 　表示コンテンツを保有する装置の動きを取得する手段、
    　前記装置から前記表示コンテンツに関する情報を取得する手段、
    　取得した前記装置の動きに応じて、前記表示コンテンツを表示するための表示情報を出力する手段、
    　としてコンピュータを機能させるためのプログラム。
PCT/JP2016/071754 2015-09-30 2016-07-25 情報処理装置、情報処理方法及びプログラム WO2017056658A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015194885 2015-09-30
JP2015-194885 2015-09-30

Publications (1)

Publication Number Publication Date
WO2017056658A1 true WO2017056658A1 (ja) 2017-04-06

Family

ID=58423494

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/071754 WO2017056658A1 (ja) 2015-09-30 2016-07-25 情報処理装置、情報処理方法及びプログラム

Country Status (1)

Country Link
WO (1) WO2017056658A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07175587A (ja) * 1993-10-28 1995-07-14 Hitachi Ltd 情報処理装置
JP2001109570A (ja) * 1999-10-08 2001-04-20 Sony Corp 情報入出力システム及び情報入出力方法
JP2006178205A (ja) * 2004-12-22 2006-07-06 Olympus Imaging Corp デジタルプラットフォーム装置
JP2008217742A (ja) * 2007-03-08 2008-09-18 Fuji Xerox Co Ltd 表示装置及びプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07175587A (ja) * 1993-10-28 1995-07-14 Hitachi Ltd 情報処理装置
JP2001109570A (ja) * 1999-10-08 2001-04-20 Sony Corp 情報入出力システム及び情報入出力方法
JP2006178205A (ja) * 2004-12-22 2006-07-06 Olympus Imaging Corp デジタルプラットフォーム装置
JP2008217742A (ja) * 2007-03-08 2008-09-18 Fuji Xerox Co Ltd 表示装置及びプログラム

Similar Documents

Publication Publication Date Title
US10775896B2 (en) Method for controlling display of multiple objects depending on input related to operation of mobile terminal, and mobile terminal therefor
US11048333B2 (en) System and method for close-range movement tracking
KR102524190B1 (ko) 복수의 터치스크린을 가지는 휴대 장치 및 복수의 터치스크린을 가지는 휴대 장치의 제어방법
KR102090269B1 (ko) 정보 검색 방법, 그와 같은 기능을 갖는 디바이스 및 기록 매체
KR102342267B1 (ko) 휴대 장치 및 휴대 장치의 화면 변경방법
US10055064B2 (en) Controlling multiple devices with a wearable input device
EP2630563B1 (en) Apparatus and method for user input for controlling displayed information
RU2672134C2 (ru) Портативный терминал и способ обеспечения тактильного эффекта для блока ввода
KR102135052B1 (ko) 네트워크 디바이스 간의 어플리케이션 데이터 전송 개시 및 완료를 위한 3차원 제스처 검출 시스템 및 방법
KR102091028B1 (ko) 사용자 기기의 오브젝트 운용 방법 및 장치
KR102031142B1 (ko) 영상 디스플레이를 제어하는 전자 장치 및 방법
KR20190107490A (ko) 이동 단말기 및 그 제어 방법
US20140267022A1 (en) Input control method and electronic device supporting the same
JP2018530797A (ja) 仮想現実においてハンドヘルド電子装置を追跡するためのシステム
KR102155091B1 (ko) 이동단말기 및 그 제어방법
KR102521192B1 (ko) 전자 장치 및 그의 동작 방법
JP2013037675A5 (ja)
EP2824905B1 (en) Group recording method, machine-readable storage medium, and electronic device
US9870139B2 (en) Portable apparatus and method for sharing content with remote device thereof
US20140225847A1 (en) Touch panel apparatus and information processing method using same
US10474324B2 (en) Uninterruptable overlay on a display
US20170212906A1 (en) Interacting with user interfacr elements representing files
US20190286245A1 (en) Display control device, display control method, and computer program
US9146631B1 (en) Determining which hand is holding a device
KR101564089B1 (ko) 손동작 인식을 이용한 프리젠테이션 실행시스템

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16850835

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

NENP Non-entry into the national phase

Ref country code: JP

122 Ep: pct application non-entry in european phase

Ref document number: 16850835

Country of ref document: EP

Kind code of ref document: A1