WO2015198747A1 - 情報処理装置、情報処理方法、及びプログラム - Google Patents

情報処理装置、情報処理方法、及びプログラム Download PDF

Info

Publication number
WO2015198747A1
WO2015198747A1 PCT/JP2015/064088 JP2015064088W WO2015198747A1 WO 2015198747 A1 WO2015198747 A1 WO 2015198747A1 JP 2015064088 W JP2015064088 W JP 2015064088W WO 2015198747 A1 WO2015198747 A1 WO 2015198747A1
Authority
WO
WIPO (PCT)
Prior art keywords
display
user
unit
information
information processing
Prior art date
Application number
PCT/JP2015/064088
Other languages
English (en)
French (fr)
Inventor
遼 深澤
邦在 鳥居
克也 兵頭
佐藤 直之
昭彦 泉
浩一 川崎
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to EP15812031.1A priority Critical patent/EP3163421A4/en
Priority to EP21179712.1A priority patent/EP3907590A3/en
Priority to US15/311,137 priority patent/US10732808B2/en
Priority to JP2016529180A priority patent/JP6604326B2/ja
Priority to CN201580032573.5A priority patent/CN106462328B/zh
Publication of WO2015198747A1 publication Critical patent/WO2015198747A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842Selection of displayed objects or displayed text elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14Display of multiple viewports
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37Details of the operation on graphic patterns
    • G09G5/377Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04803Split screen, i.e. subdividing the display area or the window area into separate subareas
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00Aspects of interface with display user

Definitions

  • the present disclosure relates to an information processing apparatus, an information processing method, and a program.
  • a device used as an application execution environment is not limited to a so-called PC (Personal Computer).
  • Specific examples of the device include a portable terminal such as a smartphone or a tablet, a wearable terminal, a projector that projects information on a wall surface, a table top display, and the like.
  • the user is not necessarily required to display information (for example, a display) on which the device displays information or information displayed on the display region.
  • information for example, a display
  • it is no longer limited to using the device so that it always faces directly.
  • the display area is arranged along a horizontal plane such as a table top display
  • the device is configured so that the user can refer to the display area from any direction on the horizontal plane. There may be.
  • the present disclosure proposes an information processing apparatus, an information processing method, and a program capable of presenting information in a suitable manner according to the positional relationship between the display area and the user.
  • a display control device including a display control unit that controls display of a display object.
  • the first area based on the user is specified, and the processor determines the first area and the second area occupied by the display unit according to the specified first area and the second area occupied by the display unit. Controlling the display of the display object on the display unit.
  • the computer identifies the first area based on the user, the identified first area, and the second area occupied by the display unit, A program for controlling display of a display object on a display unit is provided.
  • an information processing apparatus capable of presenting information in a suitable manner according to the positional relationship between the display area and the user.
  • FIG. 11 is an explanatory diagram for describing an overview of an information processing apparatus according to an embodiment of the present disclosure.
  • FIG. 6 is an explanatory diagram for describing an overview of an operation of the information processing apparatus according to the embodiment. It is the block diagram which showed an example of the function structure of the information processing apparatus which concerns on the embodiment.
  • 5 is a flowchart illustrating an example of a flow of a series of operations of the information processing apparatus according to the embodiment.
  • FIG. 6 is an explanatory diagram for explaining an example of control by the information processing apparatus according to the first embodiment.
  • FIG. 6 is an explanatory diagram for explaining an example of control by the information processing apparatus according to the first embodiment.
  • FIG. 6 is an explanatory diagram for explaining an example of control by the information processing apparatus according to the first embodiment.
  • FIG. 6 is an explanatory diagram for explaining an example of control by the information processing apparatus according to the first embodiment.
  • FIG. 6 is an explanatory diagram for explaining an example of control by the information processing apparatus according to the first embodiment.
  • FIG. 10 is an explanatory diagram for explaining an example of control by the information processing apparatus according to the second embodiment.
  • FIG. 10 is an explanatory diagram for explaining an example of control by the information processing apparatus according to the second embodiment.
  • FIG. 10 is an explanatory diagram for explaining an example of control by the information processing apparatus according to the second embodiment.
  • FIG. 10 is an explanatory diagram for explaining an example of a configuration and control of an information processing apparatus according to a third embodiment.
  • FIG. 10 is an explanatory diagram for explaining an example of a configuration and control of an information processing apparatus according to a third embodiment.
  • FIG. 10 is an explanatory diagram for explaining an example of a configuration and control of an information processing apparatus according to a third embodiment.
  • FIG. 10 is an explanatory diagram for explaining an example of a configuration and control of an information processing apparatus according to a third embodiment.
  • FIG. 10 is an explanatory diagram for explaining an example of a configuration and control of an information processing apparatus according to a third embodiment. It is explanatory drawing for demonstrating the other one aspect
  • FIG. 10 is an explanatory diagram for explaining an example of a configuration and control of an information processing system according to a fourth embodiment.
  • FIG. 10 is an explanatory diagram for explaining an example of a configuration and control of an information processing system according to a fourth embodiment.
  • FIG. 3 is a diagram illustrating an example of a hardware configuration of an information processing apparatus according to an embodiment of the present disclosure.
  • Example 4.1 Example of control when there are a plurality of users 4.2.
  • Example 2 An example of a method for specifying a partial area to which a display object is allocated 4.3.
  • Example 3 An example of control according to the configuration and usage of the information processing apparatus 4.4.
  • Example 4 Example in which a plurality of devices are linked 5.
  • FIG. 1 is an explanatory diagram for explaining an overview of the information processing apparatus 10 according to the present embodiment.
  • an xy plane formed by an x direction and a y direction orthogonal to each other is a horizontal plane, and a direction perpendicular to the xy plane (that is, a vertical direction) is a z direction.
  • the information processing apparatus 10 corresponds to, for example, a device used as an application execution environment.
  • the information processing apparatus 10 is configured to be able to simultaneously present a plurality of display objects such as a window or dialog corresponding to an application being executed, or a notification for notifying information, as in a so-called multi-window system. Yes.
  • the size and usage pattern of the information processing apparatus 10 used as an application execution environment has been diversified. For this reason, depending on the size and usage of the information processing apparatus 10, the user does not always have to display the display unit 15 of the information processing apparatus 10 or information (display object) displayed in the display area of the display unit 15.
  • the information processing apparatus 10 is not necessarily used so as to face each other.
  • the “display object displayed in the display area of the display unit 15” may be simply referred to as “display object displayed on the display unit 15”.
  • FIG. 1 illustrates an example of the information processing apparatus 10 including the display unit 15 that is relatively larger than the users (that is, the users Ua and Ub in FIG. 1).
  • the information processing apparatus 10 is configured as a so-called table top display configured such that the display unit 15 is disposed along the xy plane (horizontal plane).
  • the information processing apparatus 10 will be described on the assumption that the display area of the display unit 15 is configured as a touch panel.
  • the display unit 15 when the display unit 15 is relatively larger than the user (for example, when the area of the display unit 15 is wider than a range that the user can reach without moving), the user In many cases, a part of the display unit 15 is used as a work area. In the example shown in FIG. 1, it may be difficult for the user to put the entire display unit 15 in the field of view during work. Therefore, for example, it may be desirable to control the display position of the display object so that the display object is displayed near the user.
  • the information processing apparatus 10 when the information processing apparatus 10 is configured such that the display unit 15 is arranged along the xy plane (horizontal plane), the user can display from any direction on the xy plane. It may be possible to refer to the unit 15. Therefore, the information processing apparatus 10 is configured so that the orientation of the display object displayed on the display unit 15 can be changed along the xy plane (that is, the display object is configured to be rotatable on the xy plane). There is a case.
  • the display unit 15 displays the display object v11 on the display unit 15 so that the vertical direction is correct for the user Ub who refers to the display unit 15 from the y direction.
  • the user can refer to the display unit 15 from any direction on the xy plane. Therefore, for example, when the display object v11 is presented to the user Ua who refers to the display unit 15 from the x direction, the orientation of the display object v11 is controlled so that the vertical direction is correct with respect to the user Ua. It may be desirable to be done.
  • the characteristics of the task associated with the display object displayed on the display unit 15 are not necessarily uniform. For example, a display object associated with a task that only presents information to the user, a display object associated with a task that can accept a user operation, and the like can be given.
  • a display object for playing back the content of the moving image and a display object (so-called controller) for the user to instruct playback or stop of the moving image are separated. May be displayed.
  • the display object for reproducing the content of the moving image corresponds to a display object associated with a task that only presents information to the user.
  • the display object for the user to instruct to play or stop the moving image corresponds to a display object associated with a task that can accept the user's operation.
  • a display object associated with a task that can accept the user's operation is displayed in a range that can be operated by the user (for example, a range that the user can reach). is there.
  • a display object associated with a task that only presents information to the user is not necessarily within the range that can be operated by the user as long as it is displayed at a position where the user can enter the field of view. It does not have to be displayed.
  • the information processing apparatus 10 controls the position and orientation of the display object in the display unit 15 according to the position and orientation of the user with respect to the display unit 15.
  • the object is to present information in a suitable manner to the user.
  • the position and orientation of the user with respect to the display unit 15 may be collectively described as the “relative position” of the user with respect to the display unit 15. That is, when “relative position of the user with respect to the display unit 15” is described, it may include either or both of “the position of the user with respect to the display unit 15” and “the orientation of the user with respect to the display unit 15”.
  • FIG. 2 is an explanatory diagram for explaining an outline of the operation of the information processing apparatus 10 according to the present embodiment, in which the information processing apparatus 10 corresponds to the display unit 15 according to the relative position of the user.
  • 15 shows an example of an operation for controlling the display of a display object to 15.
  • 2 shows a schematic configuration when the information processing apparatus 10 shown in FIG. 1 is viewed from the upper side in the z direction (on the side facing the display unit 15, that is, above the display unit 15).
  • the lower side of the drawing is the + side in the y direction
  • the upper side of the drawing is the ⁇ side in the y direction
  • the right side of the drawing is the + side of the x direction
  • the left side of the drawing is the x direction. Negative side.
  • the information processing apparatus 10 captures, for example, the display region R15 of the display unit 15 and an image around the display unit 15 by the imaging unit, and analyzes the captured image with respect to the display unit 15. The relative position of the user Ua is recognized.
  • an imaging unit is provided above the display unit 15 (upward in the z direction), and the imaging unit surrounds the display unit 15 and the display unit 15.
  • the configuration may be such that the image is captured.
  • the information processing apparatus 10 extracts the display unit 15 and the user Ua from the captured image based on, for example, pattern matching or so-called human recognition technology, so that the user Ua with respect to the display unit 15 What is necessary is just to recognize a relative position.
  • the method is not necessarily limited to the method based on the analysis result of the image captured by the imaging unit.
  • the information processing apparatus 10 may recognize the relative position of the user Ua with respect to the display unit 15 by using various sensors such as a distance sensor, a proximity sensor, or a human sensor.
  • the information processing apparatus 10 specifies a range based on the position of the user Ua based on the recognition result of the relative position of the user Ua with respect to the display unit 15. Note that the range based on the user's position corresponds to an example of “first region”.
  • the information processing apparatus 10 specifies a range R11 that can be operated by the user Ua and a range R13 that can be browsed by the user Ua, based on the position of the user Ua.
  • the range R11 that can be operated by the user may be referred to as “user operable range R11”.
  • the range R13 that can be browsed by the user may be described as “user browseable range R13”.
  • the user operable range R11 corresponds to an example of “third area”
  • the user-viewable range R13 corresponds to an example of “fourth area”.
  • the information processing apparatus 10 may specify the operable range R11 of the user Ua and the browseable range R13 of the user Ua by analyzing an image of the user Ua captured by the imaging unit, for example.
  • the information processing apparatus 10 calculates the length of the arm of the user Ua by analyzing the captured image, and uses the position of the user Ua as a base point based on the calculation result.
  • the range within which Ua can reach may be specified as the operable range R11 of the user Ua.
  • the information processing apparatus 10 may use a preset value calculated based on statistics or the like as the arm length of the user Ua.
  • the information processing apparatus 10 may record a history of a position operated by the user Ua (for example, a touch position on the touch panel) and specify the operable range R11 of the user Ua based on the history.
  • the information processing apparatus 10 detects the orientation of the body and head of the user Ua by analyzing the captured image, and based on the detection result, the user Ua is in the field of view based on the position of the user Ua.
  • the range that can be entered may be specified as the viewable range R13 of the user Ua.
  • the information processing apparatus 10 assumes that the field of view of the user Ua is widened in the direction indicated by the direction of the detected body or head of the user Ua, based on the position of the user Ua. What is necessary is just to calculate the visual field of Ua.
  • the viewing angle of the user Ua may be calculated based on statistics or the like and may use a preset value.
  • the information processing apparatus 10 operates to operate itself within a range in which the user (that is, the information processing apparatus 10) can accept user input and a range in which information can be presented to the user. Recognition is based on the device, the type of the display unit 15 and the usage pattern. For example, in the example shown in FIG. 2, the display area of the display unit 15 is configured as a touch panel. Therefore, the display area of the display unit 15 indicated by reference numeral R15 in FIG. 2 is a range in which the information processing apparatus 10 can accept a user input, and the information processing apparatus 10 presents information to the user. It corresponds to the range that can be done.
  • the information processing apparatus 10 displays the display object on the display unit 15 based on at least one of the operable range R11 and the browseable range R13 of the identified user Ua and the display area R15 of the display unit 15. Control.
  • the information processing apparatus 10 displays a display object v11 associated with a task that can accept a user operation as a user Ua operable range R11 and a display area R15 (in other words, Then, the information processing apparatus 10 is displayed in a range that overlaps the range in which the user input can be received. At this time, the information processing apparatus 10 is configured so that at least a portion (interface) that accepts a user operation in the display object v11 is within a range where the operable range R11 of the user Ua and the display region R15 overlap. The display position of the display object v11 may be controlled.
  • the information processing apparatus 10 displays the display object v11 so that the top and bottom direction is correct with respect to the user Ua based on the orientation of the user Ua with respect to the display unit 15. May be controlled.
  • the user Ua can perform an operation on the display object v11 without moving the position with respect to the display unit 15 or adjusting the layout of the display object.
  • the information processing apparatus 10 displays the display object v13 associated with the task that only presents information to the user, the user Ua's viewable range R13 and the display area R15 (in other words, the information processing apparatus 10 gives the user On the other hand, it is displayed within a range where information can be presented).
  • the information processing apparatus 10 may cause the display object v13 to be displayed in an area that is within the range in which the viewable range R13 of the user Ua and the display area R15 overlap and that is outside the operable range R11 of the user Ua. .
  • the information processing apparatus 10 uses the range in which the operable range R11 of the user Ua and the display area R15 overlap as an area for displaying the display object v11 associated with the task that can accept the user's operation. It can be used effectively.
  • the information processing apparatus 10 when displaying the display object v13 on the display unit 15, the information processing apparatus 10, as in the case of the display object v11, the orientation of the display object v13 so that the vertical direction is correct with respect to the user Ua. May be controlled.
  • the information processing apparatus 10 demonstrated the example in which the display area R15 of the display part 15 was comprised as a touch panel above, the device for inputting information with respect to the information processing apparatus 10 is not necessarily a touch panel. Is not limited.
  • an input device for the information processing apparatus 10 to accept user input and an output device for the information processing apparatus 10 to present information to the user may be configured as different devices.
  • the range in which the information processing apparatus 10 can accept user input is specified based on the position of the input device and the usage pattern.
  • an area where each key of the keyboard is provided corresponds to a range in which the information processing apparatus 10 can accept user input.
  • the range in which the information processing apparatus 10 can present information to the user is specified based on the position and usage pattern of the output device.
  • the range in which the information processing apparatus 10 can accept user input may be described as “device operable range R151”.
  • a range in which the information processing apparatus 10 can present information to the user may be described as “device viewable range R153”.
  • FIG. 2 when applied as a touch panel as an input device, that is, when the same area as the operable range R151 and the viewable range R153 is shown, it may be simply described as “display area R15”.
  • the device viewable range R153 corresponds to an example of “second region”.
  • the information processing apparatus 10 controls the position and orientation of the display object in the display unit 15 in accordance with the position and orientation of the user with respect to the display unit 15. Information can be presented in a suitable manner. Therefore, hereinafter, the information processing apparatus 10 according to the present embodiment will be described in more detail.
  • FIG. 3 is a block diagram illustrating an example of a functional configuration of the information processing apparatus 10 according to the present embodiment.
  • the information processing apparatus 10 includes a control unit 11, an operation unit 13, a display unit 15, a storage unit 17, and a detection unit 19.
  • the control unit 11 includes a process execution unit 111, a context information acquisition unit 113, a calculation unit 115, and a display control unit 117.
  • the operation unit 13 is an input device for the user to operate the information processing apparatus 10.
  • the operation unit 13 can be configured with, for example, a button, a touch panel, a mouse, and the like. In this description, as in FIGS. 1 and 2, a case where the operation unit 13 is configured as a touch panel provided in the display area of the display unit 15 will be described as an example.
  • the display unit 15 is an output device for the information processing apparatus 10 to present information to the user, and presents the information to the user by displaying the information in a predetermined display area such as a display panel. .
  • the display unit 15 illustrated in FIG. 3 corresponds to the display unit 15 illustrated in FIGS. 1 and 2.
  • the display unit 15 may be configured by a liquid crystal display (LCD: Liquid Crystal Display) device, an organic EL (OLED: Organic Light Emitting Diode) display, or the like.
  • the display unit 15 may be configured by a so-called projector that presents the information to the user by projecting information on the projection surface using a wall surface or the like as a projection surface.
  • the display unit 15 may be configured by a so-called table top display in which a display region (for example, a display panel) for displaying information is provided so as to extend in the horizontal direction. In this description, as an example, the display unit 15 is provided so that the display region extends in the horizontal direction as shown in FIGS.
  • the storage unit 17 is a recording medium for recording image information such as still images and moving images, and data such as character information (for example, data of various contents).
  • the storage unit 17 may store application data executed by the information processing apparatus 10.
  • the detection unit 19 is configured to acquire control information for specifying the range based on the position of the user Ua as described above based on FIG. 2, that is, the operable range R11 and the browseable range R13 of the user Ua. It is. Specific examples of the control information include information for specifying the relative position of the user with respect to the display unit 15. Hereinafter, the control information acquired by the detection unit 19 may be referred to as “detection information”.
  • the detection unit 19 may be configured by an imaging unit that captures the display area R15 of the display unit 15 and an image around the display unit 15.
  • the captured image corresponds to detection information. From the detection information, as described above, the relative position of the user with respect to the display unit 15 can be specified.
  • the detection unit 19 may be configured by various sensors such as a distance sensor, a proximity sensor, a human sensor, or an infrared sensor.
  • the detection signal of the sensor corresponds to the detection information, and the relative position of the user with respect to the display unit 15 can be specified from the detection information, for example.
  • the configuration of the detection unit 19 and the type of the detection information are not particularly limited.
  • the detection part 19 may acquire the control information for specifying a user's gaze direction as detection information as an example of the information for specifying the user Ua browsing possible range R13.
  • the user's line-of-sight direction can be specified based on, for example, the orientation of the user's head or the orientation of the user's eyeball.
  • the orientation of the user's head can be specified based on detection results of various sensors such as an acceleration sensor and an angular velocity sensor for the user to detect head movement.
  • the detection signal of the sensor corresponds to the detection information.
  • the orientation of the user's head can be specified by analyzing the captured user image.
  • the orientation of the user's eyeball can be detected based on, for example, the position and orientation of the pupil in the captured image of the eyeball. In these cases, the captured image corresponds to the detection information.
  • the detection unit 19 may acquire control information for specifying the posture of the user as detection information.
  • the detection unit 19 can identify by analyzing the image by which the user's body was imaged, for example. In this case, the captured image corresponds to detection information.
  • the detection unit 19 outputs the acquired detection information to the context information acquisition unit 113 described later.
  • the timing at which the detection unit 19 acquires the detection information is not particularly limited.
  • the detection unit 19 may acquire the detection information in real time by sequentially monitoring the positional relationship between the display unit 15 and the user.
  • the detection unit 19 may acquire detection information for each predetermined timing.
  • the detection unit 19 may acquire detection information in conjunction with the execution of the process.
  • the process execution part 111 is a structure for performing various processes, such as an application.
  • the process execution unit 111 extracts a corresponding application from the storage unit 17 based on an instruction from the user via the operation unit 13, and executes the extracted application. Then, the process execution unit 111 outputs the type of task that operates based on the execution of the application and the execution result of the application to the display control unit 117. Further, the process execution unit 111 may output the type of task that operates based on the execution of the application and the execution result of the application to the context information acquisition unit 113 described later.
  • a calculation unit 115 described later specifies a relative position of the user Ua with respect to the display unit 15 and a range based on the position of the user Ua, and controls the display position and orientation of the display object.
  • Control information (hereinafter may be referred to as “context information”).
  • the context information includes user information, device information, and task information. Therefore, hereinafter, an example of specific information and an example of an acquisition source of the information will be described for each of the user information, device information, and task information.
  • the user information is mainly information indicating a user's state and attributes.
  • Specific examples of the user information include position information indicating the position and orientation of the user (for example, a relative position with respect to the display unit 15), line-of-sight information indicating the line-of-sight direction, physical information such as the length and posture of the user's arm, Examples include setting information such as a language used and a degree of proficiency in application operation, and authority information indicating a set role and authority.
  • the context information acquisition unit 113 identifies the user's position information, line-of-sight information, and physical information based on the detection information output from the detection unit 19. Moreover, the context information acquisition part 113 may use the information registered beforehand based on user operation as a user's physical information. Note that the user position information, line-of-sight information, and physical information specify, for example, the range based on the user position described above with reference to FIG. 2, that is, the operable range R11 and the viewable range R13 of the user Ua. Used to do.
  • the context information acquisition unit 113 uses information registered in advance based on a user operation as user setting information. Note that information registered in advance based on a user operation may be stored in, for example, the storage unit 17. Moreover, the context information acquisition part 113 may specify a user's language among setting information by analyzing the user's audio
  • the context information acquisition unit 113 may use information registered in advance based on a user operation as authority information indicating the role and authority set for the user.
  • the context information acquisition unit 113 may acquire authority information registered in advance by, for example, reading it from the storage unit 17. Further, the context information acquisition unit 113 acquires information registered in advance such as information indicating the authority set for the user by using, for example, a system call provided by the OS of the information processing apparatus 10. Also good.
  • the context information acquisition unit 113 may read out the information stored in a predetermined storage area (for example, the storage unit 17) from the storage area. Examples of roles and authorities set for the user include an editor who has information editing authority, a viewer who has only information browsing authority, and an administrator who has administrator authority.
  • the context information acquisition unit 113 identifies a detected user by applying a technique for identifying the user, such as a face recognition technique, and responds to the user according to the identification result.
  • the setting information to be specified may be specified.
  • the setting information and authority information described above are used, for example, in order to specify a user who is a display target of each display object in a situation where display objects are presented to a plurality of users.
  • An example of an operation using setting information and authority information will be described later separately as an example.
  • the device information is information indicating the type and characteristics of the information processing apparatus 10 itself or the input / output device of the information processing apparatus 10. Specific examples of the device information include device type, device attribute information, device usage, position information indicating the position and orientation of the device, and environment information indicating the state of the environment in which the device is used.
  • the device type indicates a device type corresponding to an interface with the user Ua such as the operation unit 13 or the display unit 15.
  • the type of the operation unit 13 is information indicating what input device the operation unit 13 is, such as a touch panel, a mouse, a keyboard, and the like.
  • the type of the display unit 15 is information indicating what display device the display unit 15 is, such as a projector or a table top display.
  • the device attribute information indicates device characteristics such as device size.
  • the device attribute information includes, for example, the size of the display area of the display unit 15 (in other words, the screen size).
  • the range in which the touch panel is provided corresponds to a range in which the information processing apparatus 10 can accept an operation from the user.
  • the touch panel is provided in the display area of the display unit 15, the size of the display area corresponds to a range in which the information processing apparatus 10 can accept an operation from the user. .
  • the usage pattern of the device is information indicating how the device is used by the user.
  • the setting method of the device operable range R151 and the browseable range R153 differs depending on the usage pattern. .
  • the operation unit 13 when configured as a touch panel, it is shown that the user inputs information by a touch operation, for example, as a usage pattern of the device.
  • the display area R15 of the display unit 15 corresponds to a range in which a user operation can be received
  • the display area R15 corresponds to the device operable range R151.
  • the operation unit 13 when the operation unit 13 is configured as a sound collection device such as a microphone, as a usage pattern of the device, for example, the user inputs information by voice input. .
  • the range in which the operation unit 13 configured as a sound collection device can collect sound corresponds to the range in which user operations can be received, that is, the device operable range R151.
  • the range in which the operation unit 13 configured as a sound collection device can collect sound is, for example, the sound collection performance (sound collection capability) registered as position information of the operation unit 13 or attribute information of the operation unit 13. Distance or range).
  • the operation unit 13 can be configured by, for example, an imaging device for imaging the user.
  • an imaging device for imaging the user.
  • a range in which the imaging device can capture an image corresponds to a range in which a user operation can be accepted, that is, a device operable range R151.
  • the range in which the operation unit 13 configured as an imaging device can capture an image is, for example, imaging performance registered as position information of the operation unit 13 or attribute information of the operation unit 13 (for example, an angle of view or an enlargement). Rate).
  • the context information acquisition unit 113 may acquire information indicating the device type, attribute information, and usage pattern by using, for example, a system call provided by the OS of the information processing apparatus 10. As another example, the context information acquisition unit 113 may read out the information stored in a predetermined storage area (for example, the storage unit 17) from the storage area.
  • a predetermined storage area for example, the storage unit 17
  • the position information indicating the position and orientation of the device is, for example, information indicating the position and orientation of the device corresponding to the information processing apparatus 10 itself or an interface with the user Ua such as the operation unit 13 or the display unit 15. .
  • the position information is particularly relevant when the information processing apparatus 10 is configured as a portable terminal such as a tablet terminal, or when the operation unit 13 is configured with a portable medium such as a mouse or a keyboard. It is used to specify the position and orientation of the information processing apparatus 10 and the operation unit 13.
  • the context information acquisition unit 113 may acquire device position information from various sensors such as an acceleration sensor and an angular velocity sensor provided in the device, for example.
  • the context information acquisition unit 113 may acquire device position information from an external device.
  • the context information acquisition unit 113 may calculate device position information by analyzing an image captured by an imaging unit provided in an external device.
  • the configuration for acquiring the position information and the method for acquiring the position information are not particularly limited.
  • the environment information is information indicating the state of the environment in which the device is used, such as the brightness of the surroundings of the information processing device 10 itself, the operation unit 13, or the display unit 15 or the like.
  • the environmental information can be acquired by using various sensors, for example.
  • the brightness around the information processing apparatus 10 can be detected by, for example, an illuminance sensor.
  • the task information includes, for example, the operation state of a task to be executed (running or scheduled to be executed), the attribute of the task, and the display object information associated with each task in accordance with the operation of the application. Including.
  • the task attribute corresponds to, for example, control information set according to the work assumed by the task.
  • the task when a task permits editing (updating) to the user, the task corresponds to a task assuming work involving editing by the user.
  • the task when the task permits only browsing to the user, the task corresponds to a task assuming a task in which only browsing of information is performed by the user.
  • the context information acquisition unit 113 may acquire the information indicating the task operation state and the task attribute from the process execution unit 111 as, for example, information on an application corresponding to the task.
  • the context information acquisition unit 113 may acquire information indicating the task operation state and the task attribute by using a system call provided by the OS of the information processing apparatus 10.
  • the context information acquisition unit 113 may acquire position information indicating the position and orientation of the display object in the display unit 15 from the display control unit 117 described later as information about the display object associated with each task. Good.
  • the context information acquisition unit 113 may acquire information indicating the state of each display object from the display control unit 117 as information on the display object.
  • “information indicating the state of the display object” corresponds to, for example, information indicating whether or not the display object is in an active state.
  • the active state is, for example, a state in which a task associated with a display object is operating, a state in which the display object accepts input, or a state in which the display object is a processing target. Equivalent to. In other words, the active state corresponds to a dynamic state or a state where the corresponding display object is activated.
  • the inactive state that is, the inactive state corresponds to a static state or a deactivated state of the corresponding display object.
  • the inactive state is a state in which the task associated with the display object is stopped, a state in which the display object is not receiving input, a state in which the display object is not a processing target, or the like. Equivalent to.
  • the context information acquisition unit 113 acquires user information, device information, and task information, and outputs the acquired user information, device information, and task information to the calculation unit 115.
  • the context information acquisition unit 113 may output the acquired user information, device information, and task information to the calculation unit 115 via the storage unit 17.
  • the context information acquisition unit 113 stores the acquired user information, device information, and task information in the storage unit 17.
  • the calculation unit 115 may read the user information, device information, and task information stored in the storage unit 17 from the storage unit 17.
  • the timing at which the context information acquisition unit 113 acquires context information (that is, user information, device information, and task information) and the timing at which the context information is output to the calculation unit 115 are not particularly limited.
  • the context information acquisition unit 113 may acquire the context information in real time.
  • the context information acquisition unit 113 may acquire context information at every predetermined timing.
  • the context information acquisition unit 113 may acquire context information in conjunction with the execution of the process. The same applies to the output of the various control information to the calculation unit 115.
  • the timing at which the context information acquisition unit 113 acquires context information and the timing at which the context information is output to the calculation unit 115 do not necessarily have to be synchronized.
  • the calculation unit 115 acquires user information, device information, and task information (that is, context information) from the context information acquisition unit 113.
  • the calculation unit 115 specifies the range based on the user Ua, that is, the operable range R11 and the browseable range R13 of the user Ua based on the acquired user information.
  • the calculation unit 115 is based on the position information of the user Ua acquired as user information (that is, the position and orientation of the user Ua) and the physical information of the user (for example, the length of the hand).
  • a range within which the user Ua can reach (in other words, a movable range of the hand) is specified as the operable range R11 of the user Ua.
  • the calculation unit 115 may correct the operable range R11 of the user Ua (that is, the range within which the user Ua can reach) based on the posture of the user Ua acquired as the physical information of the user. Specifically, the movable range of the upper body is increased when the user is standing and operating compared to when the user is sitting and operating. For this reason, the operable range R11 tends to be wider when the user is standing and operating than when the user is sitting and operating.
  • the calculation unit 115 calculates the range that the user Ua can enter into the field of view based on the position information of the user Ua acquired as the user information, that is, the position of the user Ua and the direction of the body and head of the user Ua. This is specified as the viewable range R13 of the user Ua.
  • the calculation unit 115 corrects the viewable range R13 of the user Ua (that is, the range that the user Ua can enter the field of view) based on the line-of-sight information of the user Ua acquired as the user information. Also good. Further, the calculation unit 115 may correct the operable range R11 and the browseable range R13 of the user Ua based on the environment information acquired as device information.
  • the calculation unit 115 corrects the operable range R11 and the browseable range R13 of the user Ua to be narrow. May be.
  • the calculation unit 115 specifies the device operable range R151 and the browseable range R153 based on the type of the display unit 15 and the usage pattern of the display unit 15 acquired as device information.
  • the calculation unit 115 recognizes that the operation unit 13 is configured as a touch panel based on the type of device and the usage form of the device. In this case, the calculation unit 115 specifies the display area of the display unit 15 as the device operable range R151 and the device browseable range R153.
  • the operation unit 115 is configured such that the operation unit 13 is configured as a sound collection device such as a microphone based on the type of device and the usage pattern of the device, and the user inputs information by voice recognition. Suppose you recognize it.
  • the calculation unit 115 specifies the device operable range R151 based on the position information of the operation unit 13 and the attribute information (for example, sound collection performance) of the operation unit 13 acquired as device information.
  • the operation unit 13 and the display unit 15 are configured as separate devices. Therefore, the calculating part 115 specifies the display area of the display part 15 as the browsing possible range R153 of a device.
  • the operation unit 13 is configured as a touch panel, that is, the case where the display region R15 of the display unit 15 corresponds to both the device operable range R151 and the browseable range R153 is described as an example.
  • the operation of the unit 115 will be described.
  • the calculation unit 115 Based on the attribute of each task acquired as task information, the calculation unit 115 overlaps a display object associated with the task with either the user operable range R11 or the viewable range R13 and the display region R15. Assign to.
  • the calculation unit 115 assigns the display object associated with the task to an area where the user operable range R11 and the display area R15 overlap.
  • the calculation unit 115 assigns the display object associated with the task to an area where the user-viewable range R13 and the display area R15 overlap. At this time, the calculation unit 115 may assign the display object to an area outside the user operable range R11 in which the user viewable range R13 and the display area R15 overlap.
  • calculation unit 115 may identify an area to which a display object associated with the task is assigned based on the operation state of each task acquired as task information.
  • the calculation unit 115 may assign a display object associated with an active task to an area in which either the user operable range R11 or the viewable range R13 overlaps the display area R15. Good. At this time, the calculation unit 115 may assign the display object associated with the stopped task to an area in the display area R15 that does not overlap with the user operable range R11 and the viewable range R13.
  • the calculation unit 115 may specify an area to which the display object associated with the task is assigned based on information indicating the state of the display object associated with each task acquired as the task information.
  • the calculation unit 115 may assign the display object in the active state to a region where either the user operable range R11 or the browseable range R13 and the display region R15 overlap. At this time, the calculation unit 115 may assign the display object in the inactive state to a region in the display region R15 that does not overlap with the user operable range R11 and the viewable range R13.
  • the calculation unit 115 can newly assign a display object according to the positional relationship between the display object displayed in the display region R15 and at least one of the user operable range R11 and the viewable range R13. It may be determined whether or not. For example, when a large number of display objects have already been assigned within the user operable range R11, it may be difficult to assign a display object that has been newly generated when a new task is executed. In such a case, the allocation of newly generated display objects to the user operable range R11 may be limited. As a specific example, the calculation unit 115 may perform control so that only a part of information is presented for a newly generated display object, such as assigning a notification. In this case, for example, the calculation unit 115 may assign the corresponding display object to the user operable range R11 upon selection of the notification.
  • the calculation unit 115 may prioritize display objects and determine a display object to be assigned to the user operable range R11 based on the priority. As a specific example, the calculation unit 115 may preferentially assign an active display object to the user operable range R11.
  • calculation unit 115 may specify an area to which a display object associated with the task is assigned by combining the task attribute and the user authority information acquired as the user information.
  • the calculation unit 115 operates the display object corresponding to the task on the user's operation only when the user is the administrator. You may assign to the area
  • the calculation unit 115 combines a display object information acquired as task information and a user setting information acquired as user information, and assigns an area to which a display object associated with the task is assigned. You may specify.
  • the setting information corresponding to the detected user can be specified based on the identification result by identifying the user based on a technique for identifying the user such as a face recognition technique. This is as described above.
  • a technique for identifying the user such as a face recognition technique.
  • the calculation unit 115 overlaps the displayable range R13 of the user with the display region R15. May be assigned. At this time, when the language of the character information presented on the display object does not match the language used by the user, the calculation unit 115 is an area in the display area R15 that does not overlap with the user's viewable range R13.
  • the display object may be assigned.
  • the user can input information regardless of the operable range R11 of the user, such as when the operation unit 13 is configured as a sound collection device such as a microphone and user input is acquired by voice recognition.
  • the calculation unit 115 may specify an area to which a display object associated with each task is assigned based on the user-viewable range R13 and the device-viewable range R153.
  • the calculation unit 115 may specify the orientation of the display object with respect to the display unit 15 based on the user position information acquired as the user information, that is, the user orientation with respect to the display unit 15. As a specific example, the calculation unit 115 may specify the orientation of the display object with respect to the display unit 15 based on the orientation of the user with respect to the display unit 15 so that the vertical direction with respect to the user is correct.
  • the calculation unit 115 identifies the user operable range R11 and the browseable range R13, and the device operable range R151 and the browseable range R153. Then, the calculation unit 115 identifies a partial area in the display area R15 (that is, the device viewable range R153) to which the display object associated with each task is assigned based on each identified area and task information. To do. Further, the calculation unit 115 may specify the orientation of the display object with respect to the display unit 15 based on the user position information acquired as the user information, that is, the user orientation with respect to the display unit 15.
  • the calculation unit 115 outputs, to the display control unit 117, control information indicating the correspondence between each display object and the partial region in the display region R15 to which the display object is assigned, and the direction of the display object. .
  • the display control unit 117 is a configuration for controlling display of a display object on the display unit 15.
  • the display control unit 117 specifies a display object that is a target of display control according to the operation target (display object) specified based on the user input and the processing content, and displays the specified display object.
  • Control examples of the control by the display control unit 117 include display and non-display of display objects, control of display position and orientation, and display mode (for example, color and size).
  • the display control unit 117 may acquire the execution result of the application from the process execution unit 111 and present the display result on a display object (for example, a window) associated with the application. At this time, when the display object corresponding to the application is not displayed on the display unit 15, the display control unit 117 may newly generate a display object and associate the application with the display object.
  • a display object for example, a window
  • the display control unit 117 may associate a display object for each task that operates based on execution of an application.
  • the display control unit 117 displays a display object for each of a task for the application to receive a user input and a task for the application to display an execution result as the application is executed. May be associated.
  • the display control unit 117 may control the state of the display object based on the display control result of each display object and the execution result of the task (in other words, application or content) associated with the display object. Good.
  • the state of the display object include the above-described active state and inactive state.
  • the display control unit 117 may cause a display object associated with an active task to transition to an active state. Further, the display control unit 117 may cause the display object associated with the stopped task to transition to the inactive state.
  • the display control unit 117 may cause the storage unit 17 to store information for controlling display of the display object and information for managing the state of the display object.
  • the display control unit 117 uses the position information of the display object displayed on the display unit 15 in the display unit 15 and the control information indicating the state of the display object as display object information, and the context information acquisition unit 113. Output to. Needless to say, the context information acquisition unit 113 may acquire the display object information directly from the display control unit 117 or indirectly through the storage unit 17.
  • the display control unit 117 also receives control information indicating the correspondence between each display object and the partial area in the display area R15 to which the display object is assigned, and the direction of the display object from the calculation unit 115. get.
  • the display control unit 117 controls display of the display object on the display unit 15 based on the control information acquired from the calculation unit 115.
  • the display control unit 117 superimposes the user operable range R11 and the display region R15 on a display object v11 associated with a task that can accept a user operation, as shown in FIG. Display within the range. At this time, the display control unit 117 may control the orientation of the display object v11 based on the control information acquired from the calculation unit 115 so that the vertical direction is correct for the user.
  • the display control unit 117 overlaps a display object v13 associated with a task that only presents information to the user, in which the user's viewable range R13 and the display region R15 overlap.
  • the information processing apparatus 10 may cause the display object v13 to be displayed in a region that is within a range where the user's viewable range R13 and the display region R15 overlap and is outside the user's operable range R11.
  • the display control unit 117 may control the orientation of the display object v13 based on the control information acquired from the calculation unit 115 so that the vertical direction is correct for the user.
  • each of the context information acquisition unit 113, the calculation unit 115, and the display control unit 117 operates is not particularly limited, and may be set as appropriate according to the situation and operation to which the information processing apparatus 10 is applied.
  • each configuration of the context information acquisition unit 113, the calculation unit 115, and the display control unit 117 may operate in real time or may operate at a predetermined timing.
  • each configuration of the context information acquisition unit 113, the calculation unit 115, and the display control unit 117 may operate in conjunction with the process when a predetermined process is executed.
  • the configurations of the context information acquisition unit 113, the calculation unit 115, and the display control unit 117 do not necessarily need to operate synchronously, and may operate at different timings.
  • the above is merely an example, and if the display of the display object on the display unit 15 can be controlled according to the state of the user or device, the type of information acquired as the context information and the content of control by the information processing apparatus 10 Is not necessarily limited to the example described above.
  • the information processing apparatus 10 may detect the user's action and control the display mode of the display object according to the detected action.
  • the display size of the display object is increased on the assumption that it is difficult for the user to perform a fine operation. In this way, the display mode of the display object may be controlled.
  • the information processing apparatus 10 acquires information indicating the user's visual acuity registered in advance as the physical information of the user, and determines the size of the user's viewable range R13 according to the visual acuity indicated by the acquired information. It may be corrected.
  • the information processing apparatus 10 may control the content of information presented as a display object in accordance with the proficiency with application operations registered in advance as setting information.
  • the information processing apparatus 10 presents, as a display object, an interface that can be operated more easily, such as an operation interface mainly based on automatic setting, for a user with a low level of proficiency. Also good.
  • the information processing apparatus 10 may present an interface that allows finer settings as a display object.
  • FIG. 4 is a flowchart illustrating an example of a flow of a series of operations of the information processing apparatus 10 according to the present embodiment.
  • the context information acquisition unit 113 is for the calculation unit 115 to specify the relative position of the user Ua with respect to the display unit 15 and the range based on the position of the user Ua, and to control the display position and orientation with the display object.
  • the context information mainly includes user information, device information, and task information.
  • the context information acquisition unit 113 detects information that dynamically changes according to the situation, such as detection information for specifying the relative position of the user Ua with respect to the display unit 15. And so on from a so-called detection device.
  • the detection unit 19 acquires information for detecting a detection target at a desired timing, such as various sensors such as a distance sensor, a proximity sensor, a human sensor, an infrared sensor, and an imaging unit. It can be constituted by possible devices.
  • the context information acquisition unit 113 provides, for example, the OS of the information processing apparatus 10 for static information such as information registered in advance based on a user operation, among the context information described above. Acquired by using a system call.
  • the context information acquisition unit 113 may read the static information stored in a predetermined storage area (for example, the storage unit 17) from the storage area.
  • the context information acquisition unit 113 may acquire position information indicating the position and orientation of the display object in the display unit 15 as information about the display object associated with each task. Further, the context information acquisition unit 113 may acquire information indicating the state of each display object as information on the display object. Note that the context information acquisition unit 113 may acquire display object information from the display control unit 117, for example.
  • the context information acquisition unit 113 acquires user information, device information, and task information (that is, context information), and outputs the acquired context information to the calculation unit 115.
  • the context information acquisition unit 113 may output the acquired context information to the calculation unit 115 via the storage unit 17.
  • the context information acquisition unit 113 stores the acquired context information in the storage unit 17.
  • the calculation unit 115 may read the context information stored in the storage unit 17 from the storage unit 17.
  • Step S103 The calculation unit 115 acquires user information, device information, and task information (that is, context information) from the context information acquisition unit 113.
  • the calculation unit 115 specifies the range based on the user Ua, that is, the operable range R11 and the browseable range R13 of the user Ua based on the acquired user information.
  • the calculation unit 115 is based on the position information of the user Ua acquired as user information (that is, the position and orientation of the user Ua) and the physical information of the user (for example, the length of the hand).
  • a range within which the user Ua can reach is specified as the operable range R11 of the user Ua.
  • the calculation unit 115 calculates the range that the user Ua can enter into the field of view based on the position information of the user Ua acquired as the user information, that is, the position of the user Ua and the direction of the body and head of the user Ua. This is specified as the viewable range R13 of the user Ua.
  • the calculation unit 115 specifies the device operable range R151 and the browseable range R153 based on the type of the display unit 15 and the usage pattern of the display unit 15 acquired as device information.
  • the calculation unit 115 recognizes that the operation unit 13 is configured as a touch panel based on the type of device and the usage form of the device. In this case, the calculation unit 115 identifies the display region R15 of the display unit 15 as the device operable range R151 and the device browseable range R153.
  • the operation unit 115 is configured such that the operation unit 13 is configured as a sound collection device such as a microphone based on the type of device and the usage pattern of the device, and the user inputs information by voice recognition. Suppose you recognize it.
  • the calculation unit 115 specifies the device operable range R151 based on the position information of the operation unit 13 and the attribute information (for example, sound collection performance) of the operation unit 13 acquired as device information.
  • the operation unit 13 and the display unit 15 are configured as separate devices. Therefore, the calculating part 115 specifies the display area of the display part 15 as the browsing possible range R153 of a device.
  • the operation unit 13 is configured as a touch panel, that is, a case where the display region R15 corresponds to both the device operable range R151 and the browseable range R153 will be described as an example.
  • Step S105 Based on the attribute of each task acquired as task information, the calculation unit 115 overlaps a display object associated with the task with either the user operable range R11 or the viewable range R13 and the display region R15. Assign to.
  • the calculation unit 115 assigns the display object associated with the task to an area where the user operable range R11 and the display area R15 overlap.
  • calculation unit 115 may identify an area to which a display object associated with the task is assigned based on the operation state of each task acquired as task information.
  • the calculation unit 115 may assign a display object associated with an active task to an area in which either the user operable range R11 or the viewable range R13 overlaps the display area R15. Good.
  • the calculation unit 115 may specify an area to which the display object associated with the task is assigned based on information indicating the state of the display object associated with each task acquired as the task information.
  • calculation unit 115 may specify an area to which a display object associated with the task is assigned by combining the task attribute and the user authority information acquired as the user information.
  • the calculation unit 115 combines a display object information acquired as task information and a user setting information acquired as user information, and assigns an area to which a display object associated with the task is assigned. You may specify.
  • the calculation unit 115 may specify the orientation of the display object with respect to the display unit 15 based on the user position information acquired as the user information, that is, the user orientation with respect to the display unit 15.
  • the calculation unit 115 identifies the user operable range R11 and the browseable range R13, and the device operable range R151 and the browseable range R153. Then, the calculation unit 115 identifies a partial area in the display area R15 (that is, the device viewable range R153) to which the display object associated with each task is assigned based on each identified area and task information. To do. Further, the calculation unit 115 may specify the orientation of the display object with respect to the display unit 15 based on the user position information acquired as the user information, that is, the user orientation with respect to the display unit 15.
  • the calculation unit 115 outputs, to the display control unit 117, control information indicating the correspondence between each display object and the partial region in the display region R15 to which the display object is assigned, and the direction of the display object. .
  • Step S107 The display control unit 117 acquires, from the calculation unit 115, control information indicating the correspondence between each display object and the partial area in the display area R15 to which the display object is assigned, and the direction of the display object. .
  • the display control unit 117 controls display of the display object on the display unit 15 based on the control information acquired from the calculation unit 115.
  • the display control unit 117 superimposes the user operable range R11 and the display region R15 on a display object v11 associated with a task that can accept a user operation, as shown in FIG. Display within the range. At this time, the display control unit 117 may control the orientation of the display object v11 based on the acquired control information so that the vertical direction is correct for the user.
  • the display control unit 117 overlaps a display object v13 associated with a task that only presents information to the user, in which the user's viewable range R13 and the display region R15 overlap.
  • the information processing apparatus 10 may cause the display object v13 to be displayed in a region that is within a range where the user's viewable range R13 and the display region R15 overlap and is outside the user's operable range R11.
  • the display control unit 117 may control the orientation of the display object v13 based on the acquired control information so that the vertical direction is correct for the user.
  • Example 1 Example of control when there are multiple users
  • FIGS. 5 to 8 are explanatory diagrams for explaining an example of control by the information processing apparatus 10 according to the first embodiment.
  • the information processing apparatus 10 has the display unit 15 on the xy plane (horizontal plane) like a so-called table top display. It is comprised so that it may arrange
  • the lower side of the drawing is the + side in the y direction
  • the upper side of the drawing is the ⁇ side in the y direction
  • the right side of the drawing is the + side in the x direction
  • the left side of the drawing is The negative side in the x direction.
  • the display area of the display unit 15 is configured as a touch panel, as in the examples shown in FIGS.
  • the users Ua and Ub operate the display area R15 of the display unit 15 configured as a touch panel while referring to the display unit 15.
  • the user Ua is positioned on the ⁇ side in the x direction with respect to the display unit 15 and faces the display unit 15 side, that is, the + side in the x direction.
  • the user Ub is positioned on the + side in the y direction with respect to the display unit 15 and faces the display unit 15 side, that is, the ⁇ side in the y direction.
  • the information processing apparatus 10 acquires user information for each of the users Ua and Ub when acquiring context information. At this time, the information processing apparatus 10 acquires the relative positions (that is, positions and orientations) of the users Ua and Ub with respect to the display unit 15 as user information. Further, the information processing apparatus 10 may identify each of the users Ua and Ub by a technique for identifying the user such as a face recognition technique.
  • the information processing apparatus 10 specifies the user operable range R11 and the browseable range R13 for each of the users Ua and Ub based on the user information of the users Ua and Ub.
  • FIG. 6 shows the operable range R11 and the browseable range R13 of the user Ua in the example shown in FIG.
  • the reference symbol R11a illustrated in FIG. 6 indicates the operable range R11 of the user Ua.
  • the reference symbol R13a indicates the operable range R13 of the user Ua.
  • Reference numeral R ⁇ b> 15 indicates a display area of the display unit 15.
  • the display region R15 is configured as a touch panel. Therefore, the display area R15 is a device operable range R151 and a device browseable range R153.
  • the information processing apparatus 10 specifies a range based on the user Ua, that is, the operable range R11a and the viewable range R13a of the user Ua based on the user information of the user Ua acquired as the context information. To do.
  • the information processing apparatus 10 specifies the display region R15 (that is, the device operable range R151 and the browseable range R153) based on the device information of the display unit 15 acquired as the context information.
  • FIG. 7 shows the operable range R11 and the browseable range R13 of the user Ub in the example shown in FIG. Note that the reference symbol R11b illustrated in FIG. 7 indicates the operable range R11 of the user Ub. Similarly, reference sign R13b indicates the operable range R13 of the user Ub. Reference numeral R15 indicates the display area of the display unit 15 as in FIG.
  • the information processing apparatus 10 identifies a range based on the user Ub, that is, the operable range R11b and the viewable range R13b of the user Ub based on the user information of the user Ub acquired as the context information. To do.
  • the information processing apparatus 10 is based on the acquired user information and device information, the user Ua operable range R11a and the browseable range R13a, the user Ub operable range R11b and the browseable range R13b, The display area R15 is specified. Then, based on the attribute of each task acquired as task information, the information processing apparatus 10 displays the display object associated with the task in each of the specified ranges R11a, R11b, R13a, and R13b and the display area R15. Assign to any of the partial areas identified based on.
  • FIG. 8 shows the user Ua's operable range R11a and the browseable range R13a, the user Ub's operable range R11b and the browseable range R13b, and the display area R15 as distinguishable from FIG. FIG.
  • reference symbol R20 indicates a partial region where the operable range R11a, the operable range R11b, and the display region R15 overlap. That is, the partial region R20 indicates a range that can be operated by both the users Ua and Ub in the display region R15.
  • the information processing apparatus 10 may assign a display object corresponding to a task having an attribute operable by a plurality of users (for example, the users Ua and Ub) to the partial region R20. At this time, the information processing apparatus 10 may adjust the orientation of the display object assigned to the partial region R20 based on the orientations of the users Ua and Ub so that both the users Ua and Ub can easily see.
  • the information processing apparatus 10 may assign a display object corresponding to a task having an attribute that can accept only an operation from the user Ua to a partial area that can be operated only by the user Ua.
  • the partial area that can be operated only by the user Ua corresponds to a partial area that does not overlap with the operable range R11b of the user Ub among the partial areas that overlap the operable range R11a of the user Ua and the display area R15.
  • the information processing apparatus 10 recognizes that the administrator authority is set only for the user Ua based on the setting information of the users Ua and Ub. Then, the information processing apparatus 10 converts a display object corresponding to a task having an attribute capable of accepting only an operation from a user with administrator authority into a partial area that can be operated only by the user Ua having administrator authority. It may be assigned. This is because the role of the editor is set for the user Ua, the role of the viewer is set for the user Ub, and a display object corresponding to a task having an attribute that can be operated only by the editor The same applies to the case of presenting. That is, the information processing apparatus 10 may assign a display object corresponding to a task having an attribute that can be operated only by the editor to a partial area that can be operated only by the user Ua to whom the role of the editor is set.
  • the information processing apparatus 10 is a partial area that can be viewed by both the users Ua and Ub, for example, for a display object corresponding to a task having an attribute that can be viewed by a plurality of users (for example, the users Ua and Ub). May be assigned.
  • the partial area that can be browsed by both the users Ua and Ub corresponds to a partial area in which the browseable range R13a of the user Ua, the browseable range R13b of the user Ub, and the display area R15 overlap.
  • the information processing apparatus 10 may assign a display object corresponding to a task having an attribute that only the user Ua can view to a partial area that only the user Ua can view.
  • the partial area that can be browsed only by the user Ua corresponds to a partial area that does not overlap with the viewable range R13b of the user Ub among the partial areas where the viewable range R13a of the user Ua and the display area R15 overlap.
  • the information processing apparatus 10 may determine a partial area to which the display object is allocated based on the setting information of the users Ua and Ub.
  • the information processing apparatus 10 is a part in which both the users Ua and Ub can view a display object in which information is presented in the language. It may be assigned to an area.
  • the information processing apparatus 10 can display only the user Ua or Ub according to the language of the information presented on the display object. May be assigned.
  • the information processing apparatus 10 when a plurality of users are detected, the information processing apparatus 10 specifies the user operable range R11 and the viewable range R13 for each detected user. Also good. Then, the information processing apparatus 10 may determine a partial area to which a display object corresponding to the task is allocated among the partial areas defined based on the specified ranges according to the task characteristics. With such a configuration, the information processing apparatus 10 according to the first embodiment presents information in a suitable manner to each of the plurality of users, for example, in a situation where the plurality of users work together. It becomes possible.
  • Example 2 Example of method for specifying partial area to which display object is allocated
  • Example 2 an example of control in which the information processing apparatus 10 specifies a partial area to which a display object is allocated will be described with reference to FIGS. 9 to 11.
  • 9 to 11 are explanatory diagrams for explaining an example of control by the information processing apparatus 10 according to the second embodiment.
  • the information processing apparatus 10 is in a state where an object (real object) that blocks a part of the display area R15 is arranged in the display area R15 of the display unit 15.
  • An example of control for specifying a partial area to which a display object is allocated will be described.
  • the information processing apparatus 10 has the display unit 15 on the xy plane (horizontal plane) like a so-called table top display, as in the examples shown in FIGS. It is comprised so that it may arrange
  • the lower side of the drawing is the + side in the y direction
  • the upper side of the drawing is the ⁇ side in the y direction
  • the right side of the drawing is the + side in the x direction
  • the left side of the drawing is The negative side in the x direction.
  • the display area of the display unit 15 is configured as a touch panel, as in the examples shown in FIGS. Further, hereinafter, as shown in FIG. 9, the real object that is arranged in the display region R15 of the display unit 15 and shields a part of the display region may be referred to as a “shielding object 90”.
  • the shielding object 90 when the shielding object 90 is arranged on the display area of the display unit 15, a part of the display area of the display unit 15 is shielded by the shielding object 90. Therefore, when the display object is displayed in the area shielded by the shielding object 90 in the display area R15 of the display unit 15, it may be difficult for the user Ua to refer to the display object.
  • the information processing apparatus 10 controls display of the display object so that the display object is displayed in another area of the display area R15 excluding the area shielded by the shielding object 90.
  • the information processing apparatus 10 controls display of the display object so that the display object is displayed in another area of the display area R15 excluding the area shielded by the shielding object 90.
  • the information processing apparatus 10 specifies an area shielded by the shielding object 90 in the display area R15.
  • the shielding object 90 in the display area R15 is arranged by a sensor that can detect a real object arranged in the display area R15, such as a depth sensor, a pressure sensor, and a proximity sensor.
  • the identified area may be specified.
  • the area where the shielding object 90 is arranged in the display area R15 corresponds to the area shielded by the shielding object 90 in the display area R15.
  • the information processing apparatus 10 may identify an area where the shielding object 90 is arranged in the display area R15 by analyzing an image of the display area R15 captured by the imaging unit.
  • an imaging unit may be provided above the display unit 15 (upper side in the z direction), and the display region R15 of the display unit 15 may be imaged by the imaging unit.
  • the shielding object 90 in the display region R15 is arranged based on the image captured by the imaging unit.
  • An area may be specified.
  • the information processing apparatus 10 then displays other areas excluding the area occluded by the occlusion object 90 from the display area R15, that is, the area where the display object can be displayed, that is, the device operable range R151 and the viewable range R153. As specified.
  • FIG. 10 shows an example of the device operable range R151 and the browseable range R153 specified by the information processing apparatus 10 in the example shown in FIG.
  • reference symbol R33 indicates an area where the shielding object 90 is arranged in the display area R15. That is, the area R33 corresponds to an area shielded by the shielding object 90 in the display area R15.
  • the information processing apparatus 10 specifies the other region R31 excluding the specified region R33 from the display region R15 as the device operable range R151 and the browseable range R153.
  • the information processing apparatus 10 determines the range based on the position of the user Ua, that is, the operable range R11 and the viewable range R13 of the user Ua, according to the recognition result of the relative position of the user Ua with respect to the display unit 15. Identify. Then, the information processing apparatus 10 specifies a partial region in the display region R15 to which the display object is assigned based on the specified region R31, the operable range R11 and the browseable range R13 of the user Ua.
  • FIG. 11 is a diagram showing that the operable range R11 and the browseable range R13 of the user Ua can be identified with respect to FIG.
  • reference numeral R ⁇ b> 35 indicates a region obtained by removing the region R ⁇ b> 33 shielded by the shielding object 90 from the region where the user Ua operable range R ⁇ b> 11 and the display region R ⁇ b> 15 overlap. That is, in the example illustrated in FIG. 11, the information processing apparatus 10 may assign, for example, a display object associated with a task that can accept a user operation to the region R35.
  • the information processing apparatus 10 according to the second embodiment can display the display object while avoiding the area shielded by the shielding object 90 in the display area R15. That is, the information processing apparatus 10 according to the second embodiment can present information to the user in a preferable manner even in a situation where a part of the display region R15 is shielded by the shielding object 90. .
  • the example shown above is an example to the last, and it does not necessarily limit to the said aspect.
  • the information processing apparatus 10 displays the display object according to the position of an object (real object) located on the opposite side of the user from the display unit 15. You may control the position which displays.
  • the display unit 15 is configured as a transmissive display
  • the user side with respect to the display unit 15 is “front side” and the opposite side of the display unit 15 from the user is “back side”. May be described.
  • the information processing apparatus 10 specifies the relative position of the user and the real object with respect to the display region R15 of the display unit 15, and prevents the display object and the real object from overlapping based on the specified relative position.
  • the display of the display object may be controlled.
  • Example 3 Example of control according to configuration and usage of information processing apparatus
  • the information processing apparatus 10 is configured as a so-called table top display in which the display unit 15 is arranged along the xy plane (horizontal plane) has been described as an example.
  • the positional relationship between the user operable range R11 and the browseable range R13 and the device operable range R151 and the browseable range R153 may be different. .
  • FIGS. 12 to 15 are explanatory diagrams for explaining an example of the configuration and control of the information processing apparatus according to the third embodiment.
  • the information processing apparatus is configured as a portable terminal such as a so-called smartphone. An example of the case is shown.
  • the information processing apparatus 20 may be described as “information processing apparatus 20”.
  • reference numeral 25 denotes a display unit of the information processing apparatus 20.
  • the display area of the display unit 25 is configured as a touch panel. That is, in the examples shown in FIGS. 12 to 15, the display area R15 of the display unit 25 corresponds to both the device operable range R151 and the browseable range R153.
  • An example of the case is shown. That is, in FIGS. 12 to 15, the user selects the display object v21 displayed on the display unit 25 to display the display object v23, and inputs information to the display object v21 via the display object v23. An example is shown.
  • FIG. 13 shows an example of a usage pattern of the information processing apparatus 20 configured as a portable terminal.
  • a usage pattern of the information processing apparatus 20 according to the third embodiment for example, as illustrated in FIG. 13, a case where the user operates the information processing apparatus 20 with one hand is assumed. That is, in the example illustrated in FIG. 13, the user holds the information processing apparatus 20 with one hand, and the touch panel provided in the display area of the display unit 25 with a finger (for example, thumb) of the hand holding the information processing apparatus 20. An example of operation is shown.
  • FIG. 14 shows the operable range R11 of the user when the user operates the information processing apparatus 20 with one hand as shown in FIG.
  • the information processing apparatus 20 is based on the detection results of various sensors such as proximity sensors, for example, the position where the user holds itself (that is, the information processing apparatus 20), that is, the user's position relative to the information processing apparatus 20. Specify the hand position (relative position). Then, the information processing device 20 identifies the movable range of the finger based on the identified position of the user's hand and the assumed length of the user's finger, and allows the user to operate the identified movable range. Recognized as a range R11.
  • the information processing apparatus 20 configured as a portable terminal, the size of the display unit 25 is relatively small, and the situation where the user views only a part of the display area of the display unit 25 is not possible. Few. Therefore, the information processing apparatus 20 may always recognize the entire display region R15 of the display unit 25 as the user's viewable range R13.
  • the information processing apparatus 20 controls display of the display object in the display area R15 based on the specified user operable range R11 and the display area R15 of the display unit 25.
  • FIG. 14 shows a state in which the user selects a display object as an information input destination, that is, a state in which the information input destination is not selected.
  • the information processing apparatus 20 sets the display object v21 so that at least a part of the display object v21 that can accept user input is included in the specified user operable range R11. Control the display position.
  • FIG. 15 shows an example in which the information processing apparatus 20 displays a display object v23 for the user to input information to the display object v21 upon selection of the display object v21. That is, FIG. 15 shows a state in which the user inputs information to the display object v21 via the display object v23 displayed in accordance with the selection of the display object v21. In such a case, the task associated with the display object v23 corresponds to a task for receiving an operation from the user.
  • the information processing apparatus 20 controls the display position of the display object v23 so that the display object v23 is included in the user operable range R11 as much as possible.
  • the user is holding the right side of the information processing apparatus 20, and thus the user operable range R ⁇ b> 11 is set to the right region of the display region R ⁇ b> 15 of the display unit 15. Become. Therefore, the information processing apparatus 20 controls the display position of the display object v23 to the right so that the display object v23 is included in the user operable range R11 as much as possible.
  • the task associated with the display object v21 mainly corresponds to a task for presenting information input via the display object v23. Therefore, the information processing apparatus 20 displays the display object v21 outside the operable range R11 so that the user's operable range R11 can be effectively used as an area for displaying the display object v23.
  • the third embodiment an example of control by the information processing apparatus when the information processing apparatus is configured as a portable terminal such as a so-called smartphone has been described with reference to FIGS.
  • the above is merely an example, and it goes without saying that the method of detecting the position of the user and the display control content of the display object may be switched as appropriate according to the configuration and usage pattern of the information processing apparatus.
  • FIG. 16 is an explanatory diagram for describing another aspect of the information processing apparatus according to the present embodiment, and an information processing apparatus 30 (for example, a large display) including a relatively large display unit 35 is provided.
  • an information processing apparatus 30 for example, a large display
  • the xy plane formed by the x and y directions orthogonal to each other is a horizontal plane
  • the direction perpendicular to the xy plane ie, the vertical direction
  • the information processing apparatus 30 is configured such that the display unit 35 of the information processing apparatus 30 stands in the z direction (vertical direction) (for example, the display unit 35 is perpendicular to the ground). 30 is installed.
  • the information processing apparatus 30 can specify the relative position (position and orientation) of the user Ua existing on the front surface of the display unit 35 with respect to the display unit 35.
  • a device for detecting the position and orientation of the user Ua may be provided.
  • the information processing apparatus 30 may specify the position and orientation of the user existing in the area by analyzing the image of the area in front of the display unit 35 captured by the imaging unit. .
  • the information processing apparatus 30 may specify the operable range R11 and the browseable range R13 of the user Ua based on the relative position of the user Ua with respect to the specified display unit 35. It is the same as the device 10.
  • reference numeral R11 in FIG. 16 shows an example of the operable range of the user Ua. That is, in the example illustrated in FIG. 16, the information processing apparatus 30 specifies the range that can be reached by the user Ua as the operable range R11 of the user Ua with the position of the user Ua as a base point. As a specific example, the information processing apparatus 30 sets the movable range of the arm defined based on the length of the user Ua's arm as the base point of the user Ua's shoulder as the user Ua operable range R11. What is necessary is just to specify.
  • reference symbol R13 in FIG. 16 shows an example of a viewable range of the user Ua. That is, in the example illustrated in FIG. 16, the information processing apparatus 30 specifies the range that the user Ua can enter in the field of view, with the position of the user Ua as a base point, as the viewable range R13 of the user Ua. As a specific example, the information processing apparatus 30 uses the position of the head of the user Ua as a base point, and the view field of the user Ua that is defined so as to spread in the direction in which the head is facing, the viewable range R13 of the user Ua. It may be specified as
  • Example 4 Example of linking multiple devices
  • FIGS. 17 and 18 are explanatory diagrams for explaining an example of the configuration and control of the information processing system according to the fourth embodiment.
  • an information processing apparatus 40a configured as a so-called portable terminal such as a tablet terminal and an information processing apparatus 40b including a relatively large display unit 45b cooperate with each other.
  • An example of the case is shown.
  • the information processing apparatus 40b for example, a so-called table top display as shown in FIG. 1, a large display as shown in FIG.
  • the information processing apparatus 40b may be configured as a so-called projector that presents the information to the user by projecting the information onto the projection surface using a wall surface or the like as the projection surface.
  • reference numeral 45a indicates a display unit of the information processing apparatus 40a
  • reference numeral R41 indicates a display area of the display unit 45a
  • Reference symbol R43 indicates a display area of the display unit 45b.
  • the display area R41 of the display unit 45a is configured as a touch panel.
  • the display area R43 of the display unit 45b is not configured as a touch panel for easy understanding.
  • the display area R41 of the display unit 45a is the device operable range R151 and the device browseable range R153. It is recognized that. Further, the information processing system recognizes that the display area R43 of the display unit 45b is the device viewable range R153 based on the device information corresponding to the information processing apparatus 40b.
  • the information processing system includes display units 45a and 45b based on detection results by various sensors such as a distance sensor, a proximity sensor, a human sensor, an infrared sensor, and a detection device such as an imaging unit. Recognize the relative position of the user Ua to each. At this time, the information processing system may recognize the relative position between the display unit 45a and the display unit 45b. As a specific example, the information processing system analyzes the images captured by the display units 45a and 45b and the user Ua by the imaging unit, so that the relative relationship between the display unit 45a, the display unit 45b, and the user Ua is obtained. The position may be recognized.
  • various sensors such as a distance sensor, a proximity sensor, a human sensor, an infrared sensor, and a detection device such as an imaging unit. Recognize the relative position of the user Ua to each. At this time, the information processing system may recognize the relative position between the display unit 45a and the display unit 45b. As a specific example, the information processing system analyzes the images
  • the information processing system specifies the operable range R11 and the browseable range R13 of the user Ua according to the recognition result of the relative position between the display unit 45a, the display unit 45b, and the user Ua.
  • FIG. 18 is a diagram showing that the operable range R11 and the browseable range R13 of the user Ua can be identified with respect to FIG.
  • reference symbol R45 is an area where the operable range R11 of the user Ua and the display range R41 of the display unit 45a overlap.
  • the information processing system according to the fourth embodiment may assign a display object associated with a task that can accept a user operation to the region R45.
  • the information processing system creates an area in which one of the display ranges R41 and R43 and the viewable range R13 of the user Ua overlap. Assign it.
  • the information processing system may determine an area to which a display object is allocated according to the configuration and type of the device included in the information processing apparatus corresponding to each display area. .
  • the information processing system has a display range R41 corresponding to the information processing device 40a and a display range corresponding to the information processing device 40b as candidates for the assignment destination of the display object associated with the task with the audio output. Assume that R43 is specified.
  • the information processing system may assign a display object to a display range corresponding to the information processing apparatus capable of outputting sound (for example, including a speaker) based on the device information of each of the information processing apparatuses 40a and 40b. Good.
  • each of the above-described controls may be realized by one of the information processing apparatuses 40a and 40b performing a leading operation.
  • each of the information processing apparatuses 40a and 40b may operate independently, and may share the information and cooperate with each other to realize each control described above.
  • the information processing apparatus 40a may recognize the relative position of the user Ua with respect to the display unit 45a and share the recognized information with the information processing apparatus 40b.
  • the information processing device 40b may recognize the relative position of the user Ua with respect to the display unit 45b and share the recognized information with the information processing device 40a.
  • at least one of the information processing devices 40a and 40b may recognize a relative position between the information processing devices 40a and 40b, and share the recognized information between the information processing devices 40a and 40b.
  • the information processing devices 40a and 40b may cooperate to control display of display objects in the display areas R41 and R43. .
  • an external device different from the information processing devices 40a and 40b may be provided, and each control described above may be realized mainly by the external device.
  • the information processing system may specify the device browsing range R153 for each display unit.
  • the operation unit may specify the device operable range R151 for each operation unit.
  • the information processing system identifies the operable range R151 and the browseable range R153 of each of the plurality of devices, and collates with the user's operable range R11 and the browseable range R13, thereby assigning display objects. What is necessary is just to specify the area
  • the information processing system can present information in a more preferable manner to the user by linking a plurality of devices.
  • FIG. 19 is a diagram illustrating an example of a hardware configuration of the information processing apparatus 10 according to the embodiment of the present disclosure.
  • the information processing apparatus 10 includes a processor 901, a memory 903, a storage 905, an operation device 907, a display device 909, a detection device 915, and a bus 917. . Further, the information processing apparatus 10 may include a speaker 911 and a communication device 913.
  • the processor 901 may be, for example, a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), a DSP (Digital Signal Processor), or a SoC (System on Chip), and executes various processes of the information processing apparatus 10.
  • the processor 901 can be configured by, for example, an electronic circuit for executing various arithmetic processes. Each configuration of the control unit 11 described above can be realized by the processor 901.
  • the memory 903 includes RAM (Random Access Memory) and ROM (Read Only Memory), and stores programs and data executed by the processor 901.
  • the storage 905 can include a storage medium such as a semiconductor memory or a hard disk.
  • the storage unit 17 described above can be configured by at least one of the memory 903 and the storage 905, or a combination of both.
  • the operation device 907 has a function of generating an input signal for a user to perform a desired operation.
  • the operation device 907 can be configured as a touch panel, for example.
  • the operation device 907 includes an input unit such as buttons and switches for the user to input information, an input control circuit that generates an input signal based on the input by the user, and supplies the input signal to the processor 901, etc. It may consist of The operation unit 13 described above can be realized by the operation device 907.
  • the display device 909 is an example of an output device, and may be a device such as a liquid crystal display (LCD) device or an organic EL (OLED: Organic Light Emitting Diode) display, for example.
  • the display device 909 can present predetermined information to the user by displaying the screen.
  • the display unit 15 described above can be realized by the display device 909.
  • the speaker 911 is an example of an output device for outputting an acoustic signal or an audio signal.
  • the communication device 913 is a communication unit included in the information processing apparatus 10 and communicates with an external device via a network.
  • the communication device 913 is a wired or wireless communication interface. If the communication device 913 is configured as a wireless communication interface, the communication device 913 may include a communication antenna, an RF (Radio Frequency) circuit, a baseband processor, and the like.
  • RF Radio Frequency
  • the communication device 913 has a function of performing various kinds of signal processing on a signal received from an external device, and can supply a digital signal generated from the received analog signal to the processor 901.
  • the detection device 915 is a device for detecting the position and orientation of the user located in the vicinity of the information processing apparatus 10.
  • the detection device 915 can be configured by various sensors such as a distance sensor, a proximity sensor, a human sensor, or an infrared sensor, for example.
  • the detection device 915 is an imaging device such as a camera that captures the image. Can be configured. Note that the detection unit 19 described above can be realized by the detection device 915.
  • the bus 917 connects the processor 901, the memory 903, the storage 905, the operation device 907, the display device 909, the speaker 911, the communication device 913, and the detection device 915 to each other.
  • the bus 917 may include a plurality of types of buses.
  • the information processing apparatus 10 specifies a range based on the position of the user according to the recognition result of the relative position of the user with respect to the display unit 15. Then, the information processing apparatus 10 controls the display of the display object on the display unit 15 based on the range based on the identified user position and the display area R15 of the display unit 15. With the configuration as described above, the information processing apparatus 10 according to the present embodiment controls the position and orientation of the display object in the display unit 15 according to the position and orientation of the user with respect to the display unit 15, thereby It is possible to present information in a suitable manner.
  • a computing unit for identifying a first area based on the user A display control unit that controls display of a display object on the display unit according to the identified first region and the second region occupied by the display unit; A display control device.
  • the display control device according to (1) wherein the calculation unit identifies the first region based on a position of the user with respect to an operation device.
  • the display control device according to (2) wherein the calculation unit identifies the first region according to a position of the user with respect to the operation device and a type of the operation device.
  • the said control part is a display control apparatus as described in said (1) which specifies the said 1st area
  • the display control device (4), wherein the calculation unit estimates the visual field of the user based on the position and orientation of the user.
  • the display control apparatus according to any one of (1) to (5), wherein the calculation unit corrects the first area according to the detected state of the user.
  • the display control apparatus according to any one of (1) to (6), wherein the calculation unit corrects the first area in accordance with control information set in association with the user.
  • the computing unit identifies the first region for each of a plurality of users, The display control unit controls display of the display object on the display unit based on the first area and the second area corresponding to each of the plurality of users.
  • the display control apparatus according to any one of 7).
  • the display control unit controls the display of the display object on the display unit based on a superimposed region in which the first regions corresponding to the plurality of users overlap each other and the second region,
  • the display control device according to (8) The display control device according to (8), wherein the display control unit controls display of the display object for each of the plurality of users according to control information set for each of the plurality of users.
  • the display control device according to (10) wherein the display control unit presents the display object to the plurality of users in a mode corresponding to the control information common to the plurality of users.
  • the display control unit controls display of another display object different from the display object according to a display state of the display object in an overlapping region where the first region and the second region overlap.
  • the display control device according to any one of (1) to (11).
  • the calculation unit specifies, as the first area, a third area specified based on the position of the user with respect to an operation device, and a fourth area based on the field of view of the user,
  • the display control unit selects either the third area or the fourth area according to a process associated with the display object, and displays the display based on the selected area and the second area.
  • the display control apparatus according to any one of (1) to (12), which controls display of the display object on a unit.
  • the display control unit according to any one of (1) to (13), wherein the display unit limits the second region in accordance with a position of a real object superimposed on a region where information is displayed. Display controller.
  • the display control unit displays the display object on at least one of the plurality of display units according to the first region and the second region corresponding to each of the plurality of display units.
  • the display control device according to any one of (1) to (14), wherein the display control device is controlled.
  • the display control apparatus according to any one of (1) to (15), comprising the display unit.
  • Identifying a first region based on a user The processor controls display of the display object on the display unit according to the identified first region and the second region occupied by the display unit; Including a display control method.
  • On the computer Identifying a first region based on a user; Controlling display of the display object on the display unit according to the identified first region and the second region occupied by the display unit;

Abstract

【課題】表示領域とユーザとの間の位置関係に応じて好適な態様で情報を提示することが可能な、情報処理装置、情報処理方法、及びプログラムを提案する。 【解決手段】ユーザを基点とした第1の領域を特定する演算部と、特定された前記第1の領域と、表示部が占める第2の領域とに応じて、前記表示部への表示オブジェクトの表示を制御する表示制御部と、を備える、表示制御装置。

Description

情報処理装置、情報処理方法、及びプログラム
 本開示は、情報処理装置、情報処理方法、及びプログラムに関する。
 近年では、アプリケーションの実行環境を提供するOS(Operating System)のユーザインタフェース(UI:User Interface)として、複数のウィンドウを同時に提示する、マルチウィンドウシステムが普及してきている。
 また、近年では、アプリケーションの実行環境として使用されるデバイスは、所謂、PC(Personal Computer)に限られない。当該デバイスの具体的な一例として、スマートフォンやタブレットのような携帯型の端末、ウェアラブル端末、壁面などに情報を投影するプロジェクター、テーブルトップディスプレイ等が挙げられ、その大きさや使用形態は多岐にわたる。
特開2014-44735号公報
 一方で、デバイスの多様化に伴い、当該デバイスの大きさや使用形態によっては、ユーザは、必ずしも、当該デバイスが情報を表示する表示領域(例えば、ディスプレイ)や、当該表示領域に表示された情報に対して、常に正対するように当該デバイスを使用するとは限られなくなっている。特に、テーブルトップディスプレイのように、表示領域が水平面に沿って配置されるような構成の場合には、ユーザが、当該表示領域を水平面上のいずれの方向からも参照できるようにデバイスが構成されている場合がある。
 そのため、デバイスの表示領域とユーザとの間の位置関係に応じて、情報を表示させる位置や向き(換言すると、レイアウト)等を制御することで、当該ユーザに対して好適な態様で情報を提示することが可能な仕組みが求められている。
 そこで、本開示では、表示領域とユーザとの間の位置関係に応じて好適な態様で情報を提示することが可能な、情報処理装置、情報処理方法、及びプログラムを提案する。
 本開示によれば、ユーザを基点とした第1の領域を特定する演算部と、特定された前記第1の領域と、表示部が占める第2の領域とに応じて、前記表示部への表示オブジェクトの表示を制御する表示制御部と、を備える、表示制御装置が提供される。
 また、本開示によれば、ユーザを基点とした第1の領域を特定することと、プロセッサが、特定された前記第1の領域と、表示部が占める第2の領域とに応じて、前記表示部への表示オブジェクトの表示を制御することと、を含む、表示制御方法が提供される。
 また、本開示によれば、コンピュータに、ユーザを基点とした第1の領域を特定することと、特定された前記第1の領域と、表示部が占める第2の領域とに応じて、前記表示部への表示オブジェクトの表示を制御することと、を実行させる、プログラムが提供される。
 以上説明したように本開示によれば、表示領域とユーザとの間の位置関係に応じて好適な態様で情報を提示することが可能な、情報処理装置、情報処理方法、及びプログラムが提供される。
 なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の実施形態に係る情報処理装置の概要について説明するための説明図である。 同実施形態に係る情報処理装置の動作の概要について説明するための説明図である。 同実施形態に係る情報処理装置の機能構成の一例を示したブロック図である。 同実施形態に係る情報処理装置の一連の動作の流れの一例を示したフローチャートである。 実施例1に係る情報処理装置による制御の一例について説明するための説明図である。 実施例1に係る情報処理装置による制御の一例について説明するための説明図である。 実施例1に係る情報処理装置による制御の一例について説明するための説明図である。 実施例1に係る情報処理装置による制御の一例について説明するための説明図である。 実施例2に係る情報処理装置による制御の一例について説明するための説明図である。 実施例2に係る情報処理装置による制御の一例について説明するための説明図である。 実施例2に係る情報処理装置による制御の一例について説明するための説明図である。 実施例3に係る情報処理装置の構成や制御の一例について説明するための説明図である。 実施例3に係る情報処理装置の構成や制御の一例について説明するための説明図である。 実施例3に係る情報処理装置の構成や制御の一例について説明するための説明図である。 実施例3に係る情報処理装置の構成や制御の一例について説明するための説明図である。 同実施形態に係る情報処理装置の他の一態様について説明するための説明図である。 実施例4に係る情報処理システムの構成や制御の一例について説明するための説明図である。 実施例4に係る情報処理システムの構成や制御の一例について説明するための説明図である。 本開示の実施形態に係る情報処理装置のハードウェア構成の一例を示した図である。
 以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
 なお、説明は以下の順序で行うものとする。
 1.概要
 2.機能構成
 3.処理
 4.実施例
  4.1.実施例1:ユーザが複数の場合の制御例
  4.2.実施例2:表示オブジェクトを割り当てる部分領域の特定方法の一例
  4.3.実施例3:情報処理装置の構成や使用形態に応じた制御の一例
  4.4.実施例4:複数デバイスを連携させる場合の例
 5.ハードウェア構成
 6.まとめ
 <1.概要>
 まず、図1を参照して、本開示の実施形態に係る情報処理装置の概要について説明する。図1は、本実施形態に係る情報処理装置10の概要について説明するための説明図である。なお、図1に示す例では、互いに直交するx方向及びy方向で形成されるxy平面を水平面とし、当該xy平面に垂直な方向(即ち、鉛直方向)をz方向としている。
 本実施形態に係る情報処理装置10は、例えば、アプリケーションの実行環境として使用されるデバイスに相当する。また、情報処理装置10は、所謂マルチウィンドウシステムのように、実行中のアプリケーションに対応したウィンドウまたはダイアログや、情報を報知するためのノーティフィケーション等の表示オブジェクトを複数同時に提示可能に構成されている。
 一方で、アプリケーションの実行環境として使用される情報処理装置10の大きさや使用形態は多様化してきている。そのため、情報処理装置10の大きさや使用態様によっては、ユーザは、必ずしも、情報処理装置10の表示部15や、当該表示部15の表示領域中に表示された情報(表示オブジェクト)に対して常に正対するように、当該情報処理装置10を使用するとは限らない。なお、以降では、「表示部15の表示領域中に表示された表示オブジェクト」を、単に「表示部15に表示された表示オブジェクト」と記載する場合がある。
 例えば、図1は、ユーザ(即ち、図1中のユーザUa及びUb)よりも比較的大きな表示部15を備えた情報処理装置10の一例を示している。また、図1に示す例では、情報処理装置10は、表示部15がxy平面(水平面)に沿って配置されるように構成された、所謂テーブルトップディスプレイとして構成されている。また、以降の説明では、情報処理装置10は、表示部15の表示領域がタッチパネルとして構成されているものとして説明する。
 図1に示すように、表示部15がユーザよりも比較的大きい場合(例えば、表示部15の広さが、ユーザが移動せずに手が届く範囲よりも広い場合)には、当該ユーザは、当該表示部15の一部を作業領域として使用する場合も少なくない。また、図1に示すような例では、ユーザが、作業中に、表示部15全体を視野に入れることが困難な場合もある。そのため、例えば、ユーザの近傍に表示オブジェクトが表示されるように、当該表示オブジェクトの表示位置が制御されることが望ましい場合がある。
 また、図1に示すように、表示部15がxy平面(水平面)に沿って配置されるように情報処理装置10を構成した場合には、ユーザは、xy平面上のいずれの方向からも表示部15を参照可能となる場合がある。そのため、当該情報処理装置10は、表示部15に表示される表示オブジェクトの向きを、xy平面に沿って変更可能に構成されている(即ち、表示オブジェクトをxy平面上で回転可能に構成されている)場合がある。
 例えば、図1に示す例では、表示部15には、当該表示部15をy方向から参照するユーザUbに対して、天地方向が正しくなるように表示オブジェクトv11が表示されている。一方で、図1に示す例では、ユーザは、xy平面上のいずれの方向からも表示部15を参照することが可能である。そのため、例えば、表示部15をx方向から参照するユーザUaに対して表示オブジェクトv11を提示する場合には、当該ユーザUaに対して天地方向が正しくなるように、当該表示オブジェクトv11の向きが制御されることが望ましい場合がある。
 また、表示部15に表示される表示オブジェクトに関連付けられたタスクの特性も一様とは限らない。例えば、ユーザに対して情報を提示するのみのタスクが関連付けられている表示オブジェクトや、ユーザの操作を受け付け可能なタスクが関連付けられている表示オブジェクト等が挙げられる。
 具体的な一例として、動画像を再生するプレーヤーは、動画像のコンテンツを再生するための表示オブジェクトと、ユーザが動画像の再生や停止を指示するための表示オブジェクト(所謂、コントローラ)とが別々に表示されている場合がある。この場合には、動画像のコンテンツを再生するための表示オブジェクトは、ユーザに対して情報を提示するのみのタスクが関連付けられた表示オブジェクトに相当する。また、ユーザが動画像の再生や停止を指示するための表示オブジェクトは、ユーザの操作を受け付け可能なタスクが関連付けられている表示オブジェクトに相当する。
 このような場合には、例えば、ユーザの操作を受け付け可能なタスクが関連付けられた表示オブジェクトが、ユーザが操作可能な範囲(例えば、ユーザの手の届く範囲)に表示されることが望ましい場合がある。これに対して、ユーザに対して情報を提示するのみのタスクが関連付けられている表示オブジェクトについては、ユーザが視野に入れることが可能な位置に表示されていれば、必ずしもユーザが操作可能な範囲に表示されていなくてもよい。
 以上のような状況を鑑みて、本実施形態に係る情報処理装置10は、表示部15に対するユーザの位置や向きに応じて、表示部15中における表示オブジェクトの位置や向きを制御することで、当該ユーザに対して好適な態様で情報を提示することを目的とする。なお、以降では、表示部15に対するユーザの位置や向きを、総じて、表示部15に対するユーザの「相対位置」と記載する場合がある。即ち、「表示部15に対するユーザの相対位置」と記載した場合には、「表示部15に対するユーザの位置」と「表示部15に対するユーザの向き」とのいずれか、もしくは、双方を含み得るものとする。
 例えば、図2は、本実施形態に係る情報処理装置10の動作の概要について説明するための説明図であり、情報処理装置10が、表示部15に対するユーザの相対位置に応じて、当該表示部15への表示オブジェクトの表示を制御する動作の一例を示している。なお、図2は、図1に示す情報処理装置10を、z方向の上側(表示部15と対向する側、即ち、表示部15の上方)から見た場合の概略的な構成を示している。また、以降の説明では、図2において、図面の下側をy方向の+側、図面の上側をy方向の-側とし、図面の右側をx方向の+側、図面の左側をx方向の-側とする。
 本実施形態に係る情報処理装置10は、例えば、撮像部により表示部15の表示領域R15と当該表示部15の周囲の画像を撮像し、撮像された画像を解析することで、表示部15に対するユーザUaの相対位置を認識する。
 具体的な一例として、図1及び図2に示す例の場合には、表示部15の上方(z方向上側)に撮像部を設け、当該撮像部により、表示部15と当該表示部15の周囲の画像を撮像する構成とすればよい。この場合には、情報処理装置10は、撮像された画像中から、例えば、パターンマッチングや、所謂人認識技術に基づき、表示部15及びユーザUaを抽出することで、表示部15に対するユーザUaの相対位置を認識すればよい。
 なお、情報処理装置10が、表示部15に対するユーザUaの相対位置を認識できれば、その方法は、必ずしも撮像部に撮像された画像の解析結果に基づく方法には限定されない。具体的な一例として、情報処理装置10は、距離センサ、近接センサ、または、人感センサ等の各種センサを用いることで、表示部15に対するユーザUaの相対位置を認識してもよい。
 また、情報処理装置10は、表示部15に対するユーザUaの相対位置の認識結果に応じて、当該ユーザUaの位置を基点とした範囲を特定する。なお、ユーザの位置を基点とした範囲が、「第1の領域」の一例に相当する。
 例えば、図2に示す例では、情報処理装置10は、ユーザUaの位置を基点として、当該ユーザUaが操作可能な範囲R11と、当該ユーザUaが閲覧可能な範囲R13とを特定している。なお、以降では、ユーザが操作可能な範囲R11を、「ユーザの操作可能範囲R11」と記載する場合がある。同様に、ユーザが閲覧可能な範囲R13を、「ユーザの閲覧可能範囲R13」と記載する場合がある。また、ユーザの操作可能範囲R11が、「第3の領域」の一例に相当し、ユーザの閲覧可能範囲R13が、「第4の領域」の一例に相当する。
 なお、情報処理装置10は、例えば、撮像部により撮像されたユーザUaの画像を解析することで、ユーザUaの操作可能範囲R11や、ユーザUaの閲覧可能範囲R13を特定してもよい。この場合には、情報処理装置10は、例えば、撮像された画像を解析することで当該ユーザUaの腕の長さを算出し、当該算出結果に基づき、ユーザUaの位置を基点として、当該ユーザUaの手が届く範囲を、ユーザUaの操作可能範囲R11として特定してもよい。また、このとき情報処理装置10は、ユーザUaの腕の長さとして、統計等に基づき算出され、あらかじめ設定された値を使用してもよい。また、他の一例として、情報処理装置10は、ユーザUaが操作した位置(例えば、タッチパネルに対するタッチ位置)の履歴を記録し、当該履歴に基づきユーザUaの操作可能範囲R11を特定してよい。
 また、情報処理装置10は、撮像された画像を解析することで、ユーザUaの身体や頭の向きを検出し、当該検出結果に基づき、ユーザUaの位置を基点として、当該ユーザUaが視野に入れることが可能な範囲を、ユーザUaの閲覧可能範囲R13として特定してもよい。この場合には、情報処理装置10は、ユーザUaの位置を基点として、検出されたユーザUaの身体や頭の向きが示す方向にユーザUaの視野が広がっているものと仮定して、当該ユーザUaの視野を算出すればよい。なお、ユーザUaの視野角については、例えば、統計等に基づき算出され、あらかじめ設定された値を使用すればよい。
 また、情報処理装置10は、自身(即ち、情報処理装置10)がユーザ入力を受け付け可能な範囲と、ユーザに対して情報を提示することが可能な範囲とを、自身を操作するための操作デバイスや、表示部15の種別や使用形態に基づき認識する。例えば、図2に示す例では、表示部15の表示領域がタッチパネルとして構成されている。そのため、図2において参照符号R15で示された表示部15の表示領域が、情報処理装置10がユーザ入力を受け付け可能な範囲であり、かつ、当該情報処理装置10がユーザに対して情報を提示することが可能な範囲に相当する。
 そして、情報処理装置10は、特定したユーザUaの操作可能範囲R11及び閲覧可能範囲R13のうち少なくともいずれかと、表示部15の表示領域R15とに基づき、当該表示部15への表示オブジェクトの表示を制御する。
 具体的な一例として、図2に示すように、情報処理装置10は、ユーザの操作を受け付け可能なタスクが関連付けられている表示オブジェクトv11を、ユーザUaの操作可能範囲R11と表示領域R15(換言すると、情報処理装置10がユーザ入力を受け付け可能な範囲)とが重畳する範囲内に表示させる。なお、このとき情報処理装置10は、少なくとも、表示オブジェクトv11中のユーザ操作を受け付ける部分(インタフェース)が、ユーザUaの操作可能範囲R11と表示領域R15とが重畳する範囲内に収まるように、当該表示オブジェクトv11の表示位置を制御してもよい。
 また、情報処理装置10は、表示部15に表示オブジェクトv11を表示させる場合に、表示部15に対するユーザUaの向きに基づき、当該ユーザUaに対して天地方向が正しくなるように、当該表示オブジェクトv11の向きを制御してもよい。
 このような構成により、ユーザUaは、表示部15に対する位置の移動や、表示オブジェクトのレイアウト調整等の動作を伴わずに、表示オブジェクトv11に対する操作を行うことが可能となる。
 また、情報処理装置10は、ユーザに対して情報を提示するのみのタスクが関連付けられた表示オブジェクトv13を、ユーザUaの閲覧可能範囲R13と表示領域R15(換言すると、情報処理装置10がユーザに対して情報を提示可能な範囲)とが重畳する範囲内に表示させる。このとき、情報処理装置10は、ユーザUaの閲覧可能範囲R13と表示領域R15とが重畳する範囲内であり、かつユーザUaの操作可能範囲R11外の領域に表示オブジェクトv13を表示させてもよい。これにより、情報処理装置10は、ユーザUaの操作可能範囲R11と表示領域R15とが重畳する範囲を、ユーザの操作を受け付け可能なタスクが関連付けられている表示オブジェクトv11を表示するための領域として有効に活用することが可能となる。
 なお、情報処理装置10は、表示部15に表示オブジェクトv13を表示させる場合に、表示オブジェクトv11の場合と同様に、当該ユーザUaに対して天地方向が正しくなるように、当該表示オブジェクトv13の向きを制御してもよい。
 また、上記では、情報処理装置10は、表示部15の表示領域R15がタッチパネルとして構成されている例について説明したが、情報処理装置10に対して情報を入力するためのデバイスは、必ずしもタッチパネルには限定されない。
 例えば、情報処理装置10がユーザ入力を受け付けるための入力デバイスと、情報処理装置10がユーザに対して情報を提示するための出力デバイスとを、互いに異なるデバイスとして構成してもよい。この場合には、情報処理装置10がユーザ入力を受け付け可能な範囲は、入力デバイスの位置や使用形態に基づき特定されることとなる。具体的な一例として、入力デバイスとしてキーボードを適用した場合には、当該キーボードの各キーが設けられた領域が、情報処理装置10がユーザ入力を受け付け可能な範囲に相当する。同様に、情報処理装置10がユーザに対して情報を提示可能な範囲は、出力デバイスの位置や使用形態に基づき特定されることとなる。
 なお、以降では、情報処理装置10がユーザ入力を受け付け可能な範囲を、「デバイスの操作可能範囲R151」と記載する場合がある。同様に、情報処理装置10がユーザに対して情報を提示可能な範囲を、「デバイスの閲覧可能範囲R153」と記載する場合がある。なお、図2に示すように、入力デバイスとしてタッチパネルとして適用した場合、即ち、操作可能範囲R151と閲覧可能範囲R153と同じ領域を示す場合には、単に「表示領域R15」と記載する場合がある。また、デバイスの閲覧可能範囲R153が、「第2の領域」の一例に相当する。
 以上のように、本実施形態に係る情報処理装置10は、表示部15に対するユーザの位置や向きに応じて、表示部15中における表示オブジェクトの位置や向きを制御することで、当該ユーザに対して好適な態様で情報を提示することが可能となる。そこで、以降では、本実施形態に係る情報処理装置10について、さらに詳しく説明する。
 <2.機能構成>
 まず、図3を参照して、本実施形態に係る情報処理装置10の機能構成の一例について説明する。図3は、本実施形態に係る情報処理装置10の機能構成の一例を示したブロック図である。
 図3に示すように、情報処理装置10は、制御部11と、操作部13と、表示部15と、記憶部17と、検出部19とを含む。また、制御部11は、処理実行部111と、コンテキスト情報取得部113と、演算部115と、表示制御部117とを含む。
 操作部13は、ユーザが情報処理装置10を操作するための入力デバイスである。操作部13は、例えば、ボタン、タッチパネル、マウス等により構成され得る。なお、本説明では、図1及び図2と同様に、操作部13が、表示部15の表示領域状に設けられたタッチパネルとして構成されている場合を例に説明する。
 また、表示部15は、情報処理装置10がユーザに対して情報を提示するための出力デバイスであり、表示パネル等の所定の表示領域に情報を表示させることで、当該情報をユーザに提示する。図3に示した表示部15は、図1及び図2に示した表示部15に対応している。
 なお、表示領域に情報を表示することで当該情報をユーザに提示できれば、表示部15の構成やサイズ、使用形態等は特に限定されない。例えば、表示部15は、液晶ディスプレイ(LCD:Liquid Crystal Display)装置、有機EL(OLED:Organic Light Emitting Diode)ディスプレイ等により構成され得る。また、表示部15は、壁面などを投影面として、当該投影面に情報を投影することで、当該情報をユーザに提示する、所謂、プロジェクターにより構成されていてもよい。また、表示部15は、情報を表示するための表示領域(例えば、表示パネル)が水平方向に延伸するように設けられた、所謂テーブルトップディスプレイにより構成されていてもよい。なお、本説明では、表示部15を、図1及び図2に示すように、表示領域が水平方向に延伸するように設けられている場合を例に説明する。
 記憶部17は、静止画像や動画像等の画像情報や文字情報等のデータ(例えば、各種コンテンツのデータ)を記録するための記録媒体である。また、記憶部17は、情報処理装置10が実行するアプリケーションのデータを記憶してもよい。
 検出部19は、図2に基づき前述した、ユーザUaの位置を基点とした範囲、即ち、当該ユーザUaの操作可能範囲R11や閲覧可能範囲R13を特定するための制御情報を取得するための構成である。当該制御情報の具体的な一例としては、表示部15に対するユーザの相対位置を特定するための情報が挙げられる。なお、以降では、検出部19により取得される制御情報を「検出情報」と呼ぶ場合がある。
 例えば、検出部19は、前述したように、表示部15の表示領域R15と当該表示部15の周囲の画像を撮像する撮像部により構成され得る。この場合には、撮像された画像が検出情報に相当する。なお、当該検出情報からは、前述したように、表示部15に対するユーザの相対位置特定することが可能である。
 また、他の一例として、検出部19は、距離センサ、近接センサ、人感センサ、または、赤外線センサ等の各種センサにより構成され得る。この場合には、センサの検出信号が検出情報に相当し、当該検出情報からは、例えば、表示部15に対するユーザの相対位置を特定することが可能である。
 もちろん、表示部15に対するユーザの相対位置を特定するための検出情報が取得可能であれば、検出部19の構成や当該検出情報の種別は特に限定されない。
 また、検出部19は、ユーザUaの閲覧可能範囲R13を特定するための情報の一例として、ユーザの視線方向を特定するための制御情報を、検出情報として取得してもよい。ユーザの視線方向は、例えば、ユーザの頭の向きや、ユーザの眼球の向きに基づき特定することができる。
 なお、ユーザの頭の向きについては、例えば、ユーザが頭部の動きを検出するための加速度センサや角速度センサ等の各種センサの検出結果に基づき特定することができる。この場合には、センサの検出信号が検出情報に相当する。
 また、ユーザの頭の向きは、撮像されたユーザの画像を解析することで特定することもできる。また、ユーザの眼球の向きについては、例えば、撮像された当該眼球の画像中における瞳孔の位置や向きに基づき検出することができる。これらの場合には、撮像された画像が検出情報に相当する。
 また、検出部19は、ユーザの姿勢を特定するための制御情報を、検出情報として取得してもよい。なお、ユーザの姿勢については、例えば、ユーザの身体が撮像された画像を解析することで特定できる。この場合には、撮像された画像が検出情報に相当する。
 検出部19は、取得した検出情報を後述するコンテキスト情報取得部113に出力する。なお、検出部19が、検出情報を取得するタイミングは特に限定されない。例えば、検出部19は、表示部15とユーザとの間の位置関係を逐次監視することにより、検出情報をリアルタイムで取得してもよい。また、他の一例として、検出部19は、あらかじめ決められたタイミングごとに検出情報を取得してもよい。また、検出部19は、あらかじめ決められた処理が実行された場合に、当該処理の実行に連動して、検出情報を取得してもよい。
 処理実行部111は、アプリケーション等の各種処理を実行するための構成である。処理実行部111は、操作部13を介したユーザからの指示に基づき、対応するアプリケーションを記憶部17から抽出し、抽出したアプリケーションを実行する。そして、処理実行部111は、当該アプリケーションの実行に基づき動作するタスクの種別や、当該アプリケーションの実行結果を表示制御部117に出力する。また、処理実行部111は、当該アプリケーションの実行に基づき動作するタスクの種別や、当該アプリケーションの実行結果を、後述するコンテキスト情報取得部113に出力してもよい。
 コンテキスト情報取得部113は、後述する演算部115が、表示部15に対するユーザUaの相対位置や、当該ユーザUaの位置を基点とした範囲を特定し、表示オブジェクトの表示位置や向きを制御するための各種制御情報(以降では、「コンテキスト情報」と呼ぶ場合がある)を取得する。コンテキスト情報には、ユーザ情報、デバイス情報、及びタスク情報が含まれる。そこで、以降では、ユーザ情報、デバイス情報、及びタスク情報のそれぞれについて、具体的な情報の一例と、当該情報の取得元の一例とについて説明する。
 まず、ユーザ情報について説明する。ユーザ情報は、主に、ユーザの状態や属性を示す情報である。ユーザ情報の具体的な一例として、ユーザの位置や向き(例えば、表示部15に対する相対位置)を示す位置情報、視線方向を示す視線情報、ユーザの腕の長さや姿勢等の身体的な情報、使用言語やアプリケーション操作への習熟度等の設定情報、及び設定された役割や権限を示す権限情報等が挙げられる。
 例えば、コンテキスト情報取得部113は、ユーザの位置情報、視線情報、及び身体的情報を、検出部19から出力される検出情報に基づき特定する。また、コンテキスト情報取得部113は、ユーザの身体的な情報として、ユーザ操作に基づき事前に登録された情報を使用してもよい。なお、ユーザの位置情報、視線情報、及び身体的情報は、例えば、図2に基づき前述した、ユーザの位置を基点とした範囲、即ち、ユーザUaの操作可能範囲R11や閲覧可能範囲R13を特定するために用いられる。
 また、コンテキスト情報取得部113は、ユーザの設定情報として、ユーザ操作に基づき事前に登録された情報を使用する。なお、ユーザ操作に基づき事前に登録された情報は、例えば、記憶部17に記憶しておくとよい。また、設定情報のうち、ユーザの使用言語については、コンテキスト情報取得部113は、例えば、マイクのような集音デバイスにより集音されたユーザの音声を解析することで特定してもよい。
 同様に、コンテキスト情報取得部113は、ユーザに設定された役割や権限を示す権限情報として、ユーザ操作に基づき事前に登録された情報を使用してもよい。この場合には、コンテキスト情報取得部113は、事前に登録された権限情報を、例えば、記憶部17から読み出すことで取得してもよい。また、コンテキスト情報取得部113は、ユーザに設定された権限を示す情報のように事前に登録された情報を、例えば、情報処理装置10のOSが提供するシステムコールを利用することで取得してもよい。また、他の一例として、コンテキスト情報取得部113は、所定の記憶領域(例えば、記憶部17)に記憶されたこれらの情報を、当該記憶領域から読み出してもよい。なお、ユーザに設定された役割や権限の一例として、情報の編集権限を有する編集者や、情報の閲覧権限のみを有する閲覧者、及び、管理者権限を有する管理者等が挙げられる。なお、コンテキスト情報取得部113は、例えば、顔認識技術等のようにユーザを識別するための技術を応用することで、検出されたユーザを識別し、当該識別結果に応じて、当該ユーザに対応する設定情報を特定すればよい。
 前述した設定情報や権限情報は、例えば、複数のユーザに表示オブジェクトを提示する状況下において、各表示オブジェクトの提示対象となるユーザを特定するために用いられる。なお、設定情報や権限情報を利用した動作の一例については、実施例として別途後述する。
 次に、デバイス情報について説明する。デバイス情報は、情報処理装置10自体もしくは当該情報処理装置10の入出力デバイスの種別や特性を示す情報である。デバイス情報の具体的な一例として、デバイスの種別、デバイスの属性情報、デバイスの使用形態、デバイスの位置や向きを示す位置情報、デバイスが使用される環境の状態を示す環境情報が挙げられる。
 デバイスの種別とは、操作部13や表示部15等のユーザUaとの間のインタフェースに相当するデバイスの種別を示している。操作部13の種別とは、例えば、タッチパネル、マウス、キーボード等のような、当該操作部13がどのような入力デバイスであるかを示す情報である。同様に、表示部15の種別とは、例えば、プロジェクター、テーブルトップディスプレイ等のような、当該表示部15がどのような表示デバイスであるかを示す情報である。
 また、デバイスの属性情報とは、デバイスのサイズ等のように、デバイスの特徴を示している。デバイスの属性情報としては、例えば、表示部15の表示領域のサイズ(換言すると、画面サイズ)等が挙げられる。例えば、操作部13が、タッチパネルの場合には、当該タッチパネルが設けられた範囲が、情報処理装置10がユーザから操作を受け付けることが可能な範囲に相当する。もちろん、当該タッチパネルが、表示部15の表示領域に設けられている場合には、当該表示領域のサイズが、情報処理装置10がユーザから操作を受け付けることが可能な範囲に相当することは言うまでもない。
 また、デバイスの使用形態とは、当該デバイスがユーザによりどのように利用されるかを示す情報であり、この使用形態の違いにより、デバイスの操作可能範囲R151や閲覧可能範囲R153の設定方法が異なる。
 具体的な一例として、操作部13が、タッチパネルとして構成されている場合には、デバイスの使用形態として、例えば、ユーザがタッチ操作により情報を入力することが示されている。この場合には、タッチパネルを設けられた領域、すなわち、表示部15の表示領域R15がユーザ操作を受け付け可能な範囲に相当するため、当該表示領域R15がデバイスの操作可能範囲R151に相当する。
 また、他の一例として、操作部13が、マイクなどの集音デバイスとして構成されている場合には、デバイスの使用形態として、例えば、ユーザが音声入力により情報を入力することが示されている。この場合には、集音デバイスとして構成された操作部13が音声を集音可能な範囲が、ユーザ操作を受け付け可能な範囲、即ち、デバイスの操作可能範囲R151に相当する。なお、集音デバイスとして構成された操作部13が音声を集音可能な範囲は、例えば、当該操作部13の位置情報や当該操作部13の属性情報として登録された集音性能(集音可能な距離または範囲)によって定義され得る。
 また、他の一例として、ユーザが所謂ジェスチャ入力により情報処理装置10に対して情報を入力する場合には、操作部13は、例えば、ユーザを撮像するための撮像デバイスにより構成され得る。もちろん、この場合には、デバイスの使用形態として、例えば、ユーザがジェスチャ入力により情報を入力することが示されている。また、この場合には、撮像デバイスが画像を撮像可能な範囲が、ユーザ操作を受け付け可能な範囲、即ち、デバイスの操作可能範囲R151に相当する。なお、撮像デバイスとして構成された操作部13が画像を撮像可能な範囲は、例えば、当該操作部13の位置情報や当該操作部13の属性情報として登録された撮像性能(例えば、画角や拡大率)によって定義され得る。
 なお、コンテキスト情報取得部113は、デバイスの種別、属性情報、及び使用形態を示す情報を、例えば、情報処理装置10のOSが提供するシステムコールを利用することで取得すればよい。また、他の一例として、コンテキスト情報取得部113は、所定の記憶領域(例えば、記憶部17)に記憶されたこれらの情報を、当該記憶領域から読み出してもよい。
 デバイスの位置や向きを示す位置情報は、例えば、情報処理装置10自体、もしくは、操作部13や表示部15等のユーザUaとの間のインタフェースに相当するデバイスの位置や向きを示す情報である。当該位置情報は、特に、情報処理装置10がタブレット端末のような携帯型の端末として構成されている場合や、操作部13がマウスやキーボードなどの可搬媒体により構成されている場合に、当該情報処理装置10や操作部13の位置や向きを特定するために用いられる。
 なお、コンテキスト情報取得部113は、デバイスの位置情報を、例えば、当該デバイスに設けられた加速度センサや角速度センサ等の各種センサから取得すればよい。また、他の一例として、コンテキスト情報取得部113は、デバイスの位置情報を、外部装置から取得してもよい。具体的な一例として、コンテキスト情報取得部113は、外部装置に設けられた撮像部により撮像された画像を解析することで、デバイスの位置情報を算出してもよい。もちろん、デバイスの位置情報を取得可能であれば、当該位置情報を取得する構成や、当該位置情報を取得する方法は特に限定されない。
 環境情報は、例えば、情報処理装置10自体、操作部13、または、表示部15等のデバイスの周囲の明るさ等、当該デバイスが使用される環境の状態を示す情報である。なお、環境情報は、例えば、各種センサを利用することで取得可能であることは言うまでもない。具体的な一例として、情報処理装置10の周囲の明るさは、例えば、照度センサにより検出可能である。
 次に、タスク情報について説明する。タスク情報は、例えば、アプリケーションの動作に伴い、実行対象となる(実行中の、もしくは、実行される予定の)タスクの動作状態、当該タスクの属性、各タスクに関連付けられた表示オブジェクトの情報を含む。
 なお、タスクの属性とは、例えば、当該タスクの想定する作業に応じて設定される制御情報に相当する。具体的な一例として、タスクがユーザに対して編集(更新)を許可している場合には、当該タスクは、ユーザによる編集を伴う作業を想定したタスクに相当する。また、他の一例として、タスクがユーザに対して閲覧のみを許可している場合には、当該タスクは、ユーザにより情報の閲覧のみが行われる作業を想定したタスクに相当する。
 なお、コンテキスト情報取得部113は、タスクの動作状態やタスクの属性を示す情報を、例えば、当該タスクに対応するアプリケーションの情報として、処理実行部111から取得してもよい。また、他の一例として、コンテキスト情報取得部113は、タスクの動作状態やタスクの属性を示す情報を、情報処理装置10のOSが提供するシステムコールを利用することで取得してもよい。
 また、コンテキスト情報取得部113は、各タスクに関連付けられた表示オブジェクトの情報として、表示部15中における当該表示オブジェクトの位置や向きを示す位置情報を、後述する表示制御部117から取得してもよい。
 また、コンテキスト情報取得部113は、各表示オブジェクトの状態を示す情報を、当該表示オブジェクトの情報として、表示制御部117から取得してもよい。ここで「表示オブジェクトの状態を示す情報」とは、例えば、当該表示オブジェクトがアクティブ状態か否かを示す情報に相当する。
 なお、アクティブ状態とは、例えば、表示オブジェクトに対応付けられたタスクが動作中の状態や、当該表示オブジェクトが入力を受け付けている状態、または、当該表示オブジェクトが処理対象となっている状態等に相当する。換言すると、アクティブ状態は、対応する表示オブジェクトが動的な状態や、活性化している状態に相当する。
 これに対して、アクティブではない状態、即ち、インアクティブ状態は、対応する表示オブジェクトが静的な状態や、非活性化している状態に相当する。具体的には、インアクティブ状態は、表示オブジェクトに対応付けられたタスクが停止中の状態、当該表示オブジェクトが入力を受け付けていない状態、または、当該表示オブジェクトが処理対象となっていない状態等に相当する。
 以上のようにして、コンテキスト情報取得部113は、ユーザ情報、デバイス情報、及びタスク情報を取得し、取得したユーザ情報、デバイス情報、及びタスク情報を演算部115に出力する。なお、コンテキスト情報取得部113は、取得したユーザ情報、デバイス情報、及びタスク情報を、記憶部17を介して演算部115に出力してもよい。この場合には、例えば、コンテキスト情報取得部113は、取得したユーザ情報、デバイス情報、及びタスク情報を記憶部17に記憶させる。そして、演算部115は、記憶部17に記憶されたユーザ情報、デバイス情報、及びタスク情報を、当該記憶部17から読み出せばよい。
 なお、コンテキスト情報取得部113が、コンテキスト情報(即ち、ユーザ情報、デバイス情報、及びタスク情報)を取得するタイミングや、当該コンテキスト情報を演算部115に出力するタイミングは特に限定されない。例えば、コンテキスト情報取得部113は、当該コンテキスト情報をリアルタイムで取得してもよい。また、他の一例として、コンテキスト情報取得部113は、コンテキスト情報を所定のタイミングごとに取得してもよい。また、他の一例として、コンテキスト情報取得部113は、あらかじめ決められた処理が実行された場合に、当該処理の実行に連動して、コンテキスト情報を取得してもよい。このことは、当該各種制御情報の演算部115への出力についても同様である。また、コンテキスト情報取得部113が、コンテキスト情報を取得するタイミングと、当該コンテキスト情報を演算部115に出力するタイミングとは、必ずしも同期していなくてもよい。
 演算部115は、コンテキスト情報取得部113から、ユーザ情報、デバイス情報、及びタスク情報(即ち、コンテキスト情報)を取得する。
 演算部115は、取得したユーザ情報に基づき、ユーザUaを基点とした範囲、即ち、ユーザUaの操作可能範囲R11及び閲覧可能範囲R13を特定する。
 具体的な一例として、演算部115は、ユーザ情報として取得したユーザUaの位置情報(即ち、ユーザUaの位置や向き)と、当該ユーザの身体的情報(例えば、手の長さ)に基づき、ユーザUaの手が届く範囲(換言すると、手の可動範囲)を、ユーザUaの操作可能範囲R11として特定する。このとき、演算部115は、ユーザの身体的情報として取得したユーザUaの姿勢に基づき、当該ユーザUaの操作可能範囲R11(即ち、ユーザUaの手が届く範囲)を補正してもよい。具体的には、ユーザは、座って操作をする場合に比べて、立って操作をする場合の方が、上体の可動範囲が増える。そのため、座って操作をする場合に比べて、立って操作をする場合の方が、操作可能範囲R11が広くなる傾向にある。
 また、演算部115は、ユーザ情報として取得したユーザUaの位置情報、即ち、当該ユーザUaの位置や当該ユーザUaの身体や頭の向きに基づき、ユーザUaが視野に入れることが可能な範囲を、ユーザUaの閲覧可能範囲R13として特定する。また、このとき、演算部115は、ユーザ情報として取得したユーザUaの視線情報に基づき、当該ユーザUaの閲覧可能範囲R13(即ち、ユーザUaが視野に入れることが可能な範囲)を補正してもよい。また、演算部115は、デバイス情報として取得した環境情報に基づき、ユーザUaの操作可能範囲R11や閲覧可能範囲R13を補正してもよい。具体的な一例として、演算部115は、環境情報に基づき情報処理装置10の周囲が暗いことを認識した場合には、ユーザUaの操作可能範囲R11や閲覧可能範囲R13が狭くなるように補正してもよい。
 また、演算部115は、デバイス情報として取得した、表示部15の種別や、当該表示部15の使用形態に基づき、デバイスの操作可能範囲R151及び閲覧可能範囲R153を特定する。
 具体的な一例として、演算部115は、デバイスの種別及びデバイスの使用形態に基づき、操作部13がタッチパネルとして構成されているものと認識したとする。この場合には、演算部115は、表示部15の表示領域を、デバイスの操作可能範囲R151であり、かつ、当該デバイスの閲覧可能範囲R153として特定する。
 また、他の一例として、演算部115は、デバイスの種別及びデバイスの使用形態に基づき、操作部13がマイクなどの集音デバイスとして構成されており、ユーザは音声認識により情報を入力するものと認識したとする。この場合には、演算部115は、デバイス情報として取得した、操作部13の位置情報や当該操作部13の属性情報(例えば、集音性能)に基づき、デバイスの操作可能範囲R151を特定する。なお、この場合には、操作部13と表示部15とが別デバイスとして構成されていることとなる。そのため、演算部115は、表示部15の表示領域を、デバイスの閲覧可能範囲R153として特定する。
 なお、以降では、操作部13がタッチパネルとして構成されている場合、即ち、表示部15の表示領域R15が、デバイスの操作可能範囲R151及び閲覧可能範囲R153の双方に相当する場合を例に、演算部115の動作について説明する。
 演算部115は、タスク情報として取得した各タスクの属性に基づき、当該タスクが対応付けられた表示オブジェクトを、ユーザの操作可能範囲R11及び閲覧可能範囲R13のいずれかと表示領域R15とが重畳する領域に割り当てる。
 具体的な一例として、タスクの属性が、ユーザに対して編集(更新)を許可しているものとする。この場合には、演算部115は、当該タスクに対応付けられた表示オブジェクトを、ユーザの操作可能範囲R11と表示領域R15とが重畳する領域に割り当てる。
 また、他の一例として、タスクの属性が、ユーザに対して閲覧のみを許可しているものとする。この場合には、演算部115は、当該タスクに対応付けられた表示オブジェクトを、ユーザの閲覧可能範囲R13と表示領域R15とが重畳する領域に割り当てる。また、このとき、演算部115は、ユーザの閲覧可能範囲R13と表示領域R15とが重畳し、かつ、ユーザの操作可能範囲R11外の領域に、当該表示オブジェクトを割り当ててもよい。
 また、演算部115は、タスク情報として取得した各タスクの動作状態に基づき、当該タスクが対応付けられた表示オブジェクトを割り当てる領域を特定してもよい。
 具体的な一例として、演算部115は、動作中のタスクが対応付けられた表示オブジェクトを、ユーザの操作可能範囲R11及び閲覧可能範囲R13のいずれかと表示領域R15とが重畳する領域に割り当ててもよい。また、このとき演算部115は、停止中のタスクが対応付けられた表示オブジェクトを、表示領域R15中の、ユーザの操作可能範囲R11及び閲覧可能範囲R13とは重畳しない領域に割り当ててもよい。
 同様に、演算部115は、タスク情報として取得した各タスクに対応付けられた表示オブジェクトの状態を示す情報に基づき、当該タスクが対応付けられた表示オブジェクトを割り当てる領域を特定してもよい。
 具体的な一例として、演算部115は、アクティブ状態の表示オブジェクトを、ユーザの操作可能範囲R11及び閲覧可能範囲R13のいずれかと表示領域R15とが重畳する領域に割り当ててもよい。また、このとき演算部115は、インアクティブ状態の表示オブジェクトを、表示領域R15中の、ユーザの操作可能範囲R11及び閲覧可能範囲R13とは重畳しない領域に割り当ててもよい。
 また、演算部115は、表示領域R15中に表示された表示オブジェクトと、ユーザの操作可能範囲R11及び閲覧可能範囲R13の少なくともいずれかとの位置関係に応じて、新たに表示オブジェクトを割り当てることが可能か否かを判断してもよい。例えば、ユーザの操作可能範囲R11内に、既に多数の表示オブジェクトが割り当てられている場合には、新しいタスクの実行に伴い新たに生成された表示オブジェクトを割り当てることが困難な場合がある。このような場合には、ユーザの操作可能範囲R11に対する、新たに生成された表示オブジェクトの割り当てを制限してもよい。具体的な一例として、演算部115は、新たに生成された表示オブジェクトについては、ノーティフィケーションを割り当てる等のように、一部の情報のみが提示されるように制御してもよい。なお、この場合には、演算部115は、例えば、当該ノーティフィケーションの選択を受けて、対応する表示オブジェクトがユーザの操作可能範囲R11に割り当ててもよい。
 また、他の一例として、演算部115は、表示オブジェクト間に優先度付けを行い、当該優先度に基づきユーザの操作可能範囲R11に割り当てる表示オブジェクトを決定してもよい。具体的な一例として、演算部115は、アクティブ状態の表示オブジェクトを優先的にユーザの操作可能範囲R11に割り当ててもよい。
 また、演算部115は、タスクの属性と、ユーザ情報として取得したユーザの権限情報とを組み合わせて、当該タスクが対応付けられた表示オブジェクトを割り当てる領域を特定してもよい。
 例えば、タスクの属性が管理者にのみ編集(更新)を許可している場合には、演算部115は、ユーザが管理者である場合にのみ、当該タスクに対応する表示オブジェクトを、ユーザの操作可能範囲R11と表示領域R15とが重畳する領域に割り当ててもよい。なお、ユーザが管理者ではない場合には、演算部115は、当該タスクに対応する表示オブジェクトを、ユーザの閲覧可能範囲R13と表示領域R15とが重畳する領域に割り当ててもよい。
 また、他の一例として、演算部115は、タスク情報として取得した表示オブジェクトの情報と、ユーザ情報として取得したユーザの設定情報とを組み合わせて、当該タスクが対応付けられた表示オブジェクトを割り当てる領域を特定してもよい。なお、検出されたユーザに対応する設定情報は、例えば、顔認識技術等のようにユーザを識別するための技術に基づきユーザを識別することで、当該識別結果に基づき特定することが可能であることは前述した通りである。もちろん、ログインユーザのみを対象とする場合等のように、ユーザが、あらかじめ認識可能な場合には、当該ユーザの設定情報を抽出すればよいことは言うまでもない。
 例えば、演算部115は、表示オブジェクトに提示された文字情報の言語と、ユーザの使用言語とが一致する場合に、当該表示オブジェクトを、ユーザの閲覧可能範囲R13と表示領域R15とが重畳する領域に割り当ててもよい。なお、このとき、表示オブジェクトに提示された文字情報の言語と、ユーザの使用言語とが一致しない場合には、演算部115は、表示領域R15中の、ユーザの閲覧可能範囲R13と重畳しない領域に、当該表示オブジェクトを割り当ててもよい。
 なお、操作部13を、マイクなどの集音デバイスとして構成し音声認識によりユーザ入力を取得する場合等のように、ユーザの操作可能範囲R11に関わらず、ユーザが情報を入力することが可能な場合もある。このような場合には、演算部115は、ユーザの閲覧可能範囲R13とデバイスの閲覧可能範囲R153とに基づき、各タスクが対応付けられた表示オブジェクトを割り当てる領域を特定すればよい。
 また、演算部115は、ユーザ情報として取得したユーザの位置情報、即ち、表示部15に対するユーザの向きに基づき、表示部15に対する表示オブジェクトの向きを特定してもよい。具体的な一例として、演算部115は、表示部15に対するユーザの向きに基づき、当該ユーザに対して天地方向が正しくなるように、表示部15に対する表示オブジェクトの向きを特定してもよい。
 以上のようにして、演算部115は、ユーザの操作可能範囲R11及び閲覧可能範囲R13と、デバイスの操作可能範囲R151及び閲覧可能範囲R153とを特定する。そして、演算部115は、特定した各領域と、タスク情報とに基づき、各タスクが対応付けられた表示オブジェクトを割り当てる、表示領域R15(即ち、デバイスの閲覧可能範囲R153)中の部分領域を特定する。また、演算部115は、ユーザ情報として取得したユーザの位置情報、即ち、表示部15に対するユーザの向きに基づき、表示部15に対する表示オブジェクトの向きを特定してもよい。
 演算部115は、各表示オブジェクトと、当該表示オブジェクトが割り当てられた表示領域R15中の部分領域との間の対応関係や、当該表示オブジェクトの向きを示す制御情報を、表示制御部117に出力する。
 表示制御部117は、表示部15への表示オブジェクトの表示を制御するための構成である。
 具体的には、表示制御部117は、ユーザ入力に基づき特定された操作対象(表示オブジェクト)及び処理内容に応じて、表示制御の対象となる表示オブジェクトを特定し、特定した表示オブジェクトの表示を制御する。なお、表示制御部117による制御の一例としては、表示オブジェクトの表示及び非表示、表示位置や向き、及び表示態様(例えば、色やサイズ)の制御等が挙げられる。
 また、表示制御部117は、処理実行部111からアプリケーションの実行結果を取得し、当該アプリケーションに対応付けられた表示オブジェクト(例えば、ウィンドウ)に表示結果を提示してもよい。このとき、表示制御部117は、当該アプリケーションに対応する表示オブジェクトが表示部15に表示されていない場合には、新たに表示オブジェクトを生成し、当該表示オブジェクトに当該アプリケーションを対応付けてもよい。
 また、表示制御部117は、アプリケーションの実行に基づき動作するタスクごとに表示オブジェクトを対応付けてもよい。具体的な一例として、表示制御部117は、アプリケーションの実行に伴い、当該アプリケーションがユーザ入力を受け付けるためのタスクと、当該アプリケーションが実行結果を表示するためのタスクとのそれぞれに対して、表示オブジェクトを対応付けてもよい。
 また、表示制御部117は、各表示オブジェクトの表示制御の結果や、当該表示オブジェクトに関連付けられたタスク(換言すると、アプリケーションやコンテンツ)の実行結果に基づき、当該表示オブジェクトの状態を制御してもよい。なお、表示オブジェクトの状態として、例えば、前述したアクティブ状態やインアクティブ状態が挙げられる。具体的な一例として、表示制御部117は、動作中のタスクが関連付けられた表示オブジェクトをアクティブ状態に遷移させてもよい。また、表示制御部117は、停止中のタスクが関連付けられた表示オブジェクトについては、インアクティブ状態に遷移させてもよい。
 なお、表示制御部117は、表示オブジェクトの表示を制御するための情報や、当該表示オブジェクトの状態を管理するための情報を、記憶部17に保持させてもよい。
 また、表示制御部117は、表示部15に表示された表示オブジェクトの当該表示部15中における位置情報や、当該表示オブジェクトの状態を示す制御情報を、表示オブジェクトの情報として、コンテキスト情報取得部113に出力する。もちろん、コンテキスト情報取得部113は、当該表示オブジェクトの情報を、表示制御部117から直接取得してもよいし、記憶部17を介して間接的に取得してもよいことは言うまでもない。
 また、表示制御部117は、演算部115から、各表示オブジェクトと、当該表示オブジェクトが割り当てられた表示領域R15中の部分領域との間の対応関係や、当該表示オブジェクトの向きを示す制御情報を取得する。
 そして、表示制御部117は、演算部115から取得した制御情報に基づき、表示部15への表示オブジェクトの表示を制御する。
 具体的な一例として、表示制御部117は、図2に示すように、ユーザの操作を受け付け可能なタスクが関連付けられている表示オブジェクトv11を、ユーザの操作可能範囲R11と表示領域R15とが重畳する範囲内に表示させる。また、このとき表示制御部117は、演算部115から取得した制御情報に基づき、当該ユーザに対して天地方向が正しくなるように、表示オブジェクトv11の向きを制御してもよい。
 また、表示制御部117は、図2に示すように、ユーザに対して情報を提示するのみのタスクが関連付けられた表示オブジェクトv13を、ユーザの閲覧可能範囲R13と表示領域R15とが重畳する範囲内に表示させる。このとき、情報処理装置10は、ユーザの閲覧可能範囲R13と表示領域R15とが重畳する範囲内であり、かつユーザの操作可能範囲R11外の領域に表示オブジェクトv13を表示させてもよい。また、このとき表示制御部117は、演算部115から取得した制御情報に基づき、当該ユーザに対して天地方向が正しくなるように、表示オブジェクトv13の向きを制御してもよい。
 なお、コンテキスト情報取得部113、演算部115、及び表示制御部117のそれぞれが動作するタイミングは特に限定されず、情報処理装置10が適用される状況や運用に応じて適宜設定すればよい。具体的な一例として、コンテキスト情報取得部113、演算部115、及び表示制御部117の各構成は、リアルタイムで動作してもよいし、あらかじめ決められたタイミングごとに動作してもよい。また、他の一例として、コンテキスト情報取得部113、演算部115、及び表示制御部117の各構成は、所定の処理が実行された場合に、当該処理に連動して動作してもよい。また、コンテキスト情報取得部113、演算部115、及び表示制御部117の各構成は、必ずしも同期的に動作する必要は無く、それぞれが互いに異なるタイミングで動作してもよい。
 なお、上記はあくまで一例であり、ユーザやデバイスの状態に応じて、表示部15への表示オブジェクトの表示を制御できれば、コンテキスト情報として取得される情報の種別や、情報処理装置10による制御の内容は、必ずしも上記に説明した例には限定されない。
 例えば、情報処理装置10は、ユーザの動作を検出し、検出した動作に応じて表示オブジェクトの表示態様を制御してもよい。具体的な一例として、情報処理装置10は、ユーザが移動しながら操作を行っている場合には、ユーザが細かい操作を行うことが困難な状況と仮定して、表示オブジェクトの表示サイズが大きくなるように、当該表示オブジェクトの表示態様を制御してもよい。
 また、情報処理装置10は、ユーザの身体的情報として、あらかじめ登録された当該ユーザの視力を示す情報を取得し、取得した情報が示す視力に応じて、ユーザの閲覧可能範囲R13の広さを補正してもよい。
 また、情報処理装置10は、設定情報として事前に登録されたアプリケーション操作への習熟度に応じて、表示オブジェクトとして提示する情報の内容を制御してもよい。具体的な一例として、情報処理装置10は、習熟度の低いユーザに対しては、例えば、自動設定を主体とした操作インタフェースのように、より簡単に操作できるインタフェースを、表示オブジェクトとして提示してもよい。また、習熟度の高いユーザに対しては、情報処理装置10は、より細かい設定が可能なインタフェースを、表示オブジェクトとして提示してもよい。
 以上、図3を参照して、本実施形態に係る情報処理装置10の機能構成の一例について説明した。
 <3.処理>
 次に、図4を参照して、本実施形態に係る情報処理装置10の一連の動作の流れの一例について、特に、情報処理装置10が、表示部15に対するユーザの相対位置の認識結果に応じて、表示オブジェクトの表示を制御する動作に着目して説明する。図4は、本実施形態に係る情報処理装置10の一連の動作の流れの一例を示したフローチャートである。
  (ステップS101)
 コンテキスト情報取得部113は、演算部115が、表示部15に対するユーザUaの相対位置や、当該ユーザUaの位置を基点とした範囲を特定し、表示オブジェクトとの表示位置や向きを制御するためのコンテキスト情報を取得する。なお、コンテキスト情報には、主に、ユーザ情報、デバイス情報、及びタスク情報が含まれる。
 コンテキスト情報取得部113は、前述したコンテキスト情報のうち、表示部15に対するユーザUaの相対位置を特定するための検出情報のように、状況に応じて動的に変化する情報については、検出部19等の所謂検出デバイスから取得する。なお、検出部19は、例えば、距離センサ、近接センサ、人感センサ、または、赤外線センサ等の各種センサや、撮像部等のように、所望のタイミングで検出対象を検出するための情報を取得可能なデバイスにより構成され得る。
 また、コンテキスト情報取得部113は、前述したコンテキスト情報のうち、例えば、ユーザ操作に基づき事前に登録された情報のように、静的な情報については、例えば、情報処理装置10のOSが提供するシステムコールを利用することで取得する。また、他の一例として、コンテキスト情報取得部113は、所定の記憶領域(例えば、記憶部17)に記憶された当該静的な情報を、当該記憶領域から読み出してもよい。
 また、コンテキスト情報取得部113は、各タスクに関連付けられた表示オブジェクトの情報として、表示部15中における当該表示オブジェクトの位置や向きを示す位置情報を取得してもよい。また、コンテキスト情報取得部113は、各表示オブジェクトの状態を示す情報を、当該表示オブジェクトの情報として取得してもよい。なお、コンテキスト情報取得部113は、表示オブジェクトの情報を、例えば、表示制御部117から取得すればよい。
 以上のようにして、コンテキスト情報取得部113は、ユーザ情報、デバイス情報、及びタスク情報(即ち、コンテキスト情報)を取得し、取得したコンテキスト情報を演算部115に出力する。なお、コンテキスト情報取得部113は、取得したコンテキスト情報を、記憶部17を介して演算部115に出力してもよい。この場合には、例えば、コンテキスト情報取得部113は、取得したコンテキスト情報を記憶部17に記憶させる。そして、演算部115は、記憶部17に記憶されたコンテキスト情報を、当該記憶部17から読み出せばよい。
  (ステップS103)
 演算部115は、コンテキスト情報取得部113から、ユーザ情報、デバイス情報、及びタスク情報(即ち、コンテキスト情報)を取得する。
 演算部115は、取得したユーザ情報に基づき、ユーザUaを基点とした範囲、即ち、ユーザUaの操作可能範囲R11及び閲覧可能範囲R13を特定する。
 具体的な一例として、演算部115は、ユーザ情報として取得したユーザUaの位置情報(即ち、ユーザUaの位置や向き)と、当該ユーザの身体的情報(例えば、手の長さ)に基づき、ユーザUaの手が届く範囲(換言すると、手の可動範囲)を、ユーザUaの操作可能範囲R11として特定する。
 また、演算部115は、ユーザ情報として取得したユーザUaの位置情報、即ち、当該ユーザUaの位置や当該ユーザUaの身体や頭の向きに基づき、ユーザUaが視野に入れることが可能な範囲を、ユーザUaの閲覧可能範囲R13として特定する。
 また、演算部115は、デバイス情報として取得した、表示部15の種別や、当該表示部15の使用形態に基づき、デバイスの操作可能範囲R151及び閲覧可能範囲R153を特定する。
 具体的な一例として、演算部115は、デバイスの種別及びデバイスの使用形態に基づき、操作部13がタッチパネルとして構成されているものと認識したとする。この場合には、演算部115は、表示部15の表示領域R15を、デバイスの操作可能範囲R151であり、かつ、当該デバイスの閲覧可能範囲R153として特定する。
 また、他の一例として、演算部115は、デバイスの種別及びデバイスの使用形態に基づき、操作部13がマイクなどの集音デバイスとして構成されており、ユーザは音声認識により情報を入力するものと認識したとする。この場合には、演算部115は、デバイス情報として取得した、操作部13の位置情報や当該操作部13の属性情報(例えば、集音性能)に基づき、デバイスの操作可能範囲R151を特定する。なお、この場合には、操作部13と表示部15とが別デバイスとして構成されていることとなる。そのため、演算部115は、表示部15の表示領域を、デバイスの閲覧可能範囲R153として特定する。
 なお、以降では、操作部13がタッチパネルとして構成されている場合、即ち、表示領域R15が、デバイスの操作可能範囲R151及び閲覧可能範囲R153の双方に相当する場合を例に説明する。
  (ステップS105)
 演算部115は、タスク情報として取得した各タスクの属性に基づき、当該タスクが対応付けられた表示オブジェクトを、ユーザの操作可能範囲R11及び閲覧可能範囲R13のいずれかと表示領域R15とが重畳する領域に割り当てる。
 具体的な一例として、タスクの属性が、ユーザに対して編集(更新)を許可しているものとする。この場合には、演算部115は、当該タスクに対応付けられた表示オブジェクトを、ユーザの操作可能範囲R11と表示領域R15とが重畳する領域に割り当てる。
 また、演算部115は、タスク情報として取得した各タスクの動作状態に基づき、当該タスクが対応付けられた表示オブジェクトを割り当てる領域を特定してもよい。
 具体的な一例として、演算部115は、動作中のタスクが対応付けられた表示オブジェクトを、ユーザの操作可能範囲R11及び閲覧可能範囲R13のいずれかと表示領域R15とが重畳する領域に割り当ててもよい。
 同様に、演算部115は、タスク情報として取得した各タスクに対応付けられた表示オブジェクトの状態を示す情報に基づき、当該タスクが対応付けられた表示オブジェクトを割り当てる領域を特定してもよい。
 また、演算部115は、タスクの属性と、ユーザ情報として取得したユーザの権限情報とを組み合わせて、当該タスクが対応付けられた表示オブジェクトを割り当てる領域を特定してもよい。
 また、他の一例として、演算部115は、タスク情報として取得した表示オブジェクトの情報と、ユーザ情報として取得したユーザの設定情報とを組み合わせて、当該タスクが対応付けられた表示オブジェクトを割り当てる領域を特定してもよい。
 また、演算部115は、ユーザ情報として取得したユーザの位置情報、即ち、表示部15に対するユーザの向きに基づき、表示部15に対する表示オブジェクトの向きを特定してもよい。
 以上のようにして、演算部115は、ユーザの操作可能範囲R11及び閲覧可能範囲R13と、デバイスの操作可能範囲R151及び閲覧可能範囲R153とを特定する。そして、演算部115は、特定した各領域と、タスク情報とに基づき、各タスクが対応付けられた表示オブジェクトを割り当てる、表示領域R15(即ち、デバイスの閲覧可能範囲R153)中の部分領域を特定する。また、演算部115は、ユーザ情報として取得したユーザの位置情報、即ち、表示部15に対するユーザの向きに基づき、表示部15に対する表示オブジェクトの向きを特定してもよい。
 演算部115は、各表示オブジェクトと、当該表示オブジェクトが割り当てられた表示領域R15中の部分領域との間の対応関係や、当該表示オブジェクトの向きを示す制御情報を、表示制御部117に出力する。
  (ステップS107)
 表示制御部117は、演算部115から、各表示オブジェクトと、当該表示オブジェクトが割り当てられた表示領域R15中の部分領域との間の対応関係や、当該表示オブジェクトの向きを示す制御情報を取得する。
 そして、表示制御部117は、演算部115から取得した制御情報に基づき、表示部15への表示オブジェクトの表示を制御する。
 具体的な一例として、表示制御部117は、図2に示すように、ユーザの操作を受け付け可能なタスクが関連付けられている表示オブジェクトv11を、ユーザの操作可能範囲R11と表示領域R15とが重畳する範囲内に表示させる。また、このとき表示制御部117は、取得した制御情報に基づき、当該ユーザに対して天地方向が正しくなるように、表示オブジェクトv11の向きを制御してもよい。
 また、表示制御部117は、図2に示すように、ユーザに対して情報を提示するのみのタスクが関連付けられた表示オブジェクトv13を、ユーザの閲覧可能範囲R13と表示領域R15とが重畳する範囲内に表示させる。このとき、情報処理装置10は、ユーザの閲覧可能範囲R13と表示領域R15とが重畳する範囲内であり、かつユーザの操作可能範囲R11外の領域に表示オブジェクトv13を表示させてもよい。また、このとき表示制御部117は、取得した制御情報に基づき、当該ユーザに対して天地方向が正しくなるように、表示オブジェクトv13の向きを制御してもよい。
 以上、図4を参照して、本実施形態に係る情報処理装置10の一連の動作の流れの一例について、特に、情報処理装置10が、表示部15に対するユーザの相対位置の認識結果に応じて、表示オブジェクトの表示を制御する動作に着目して説明した。
 <4.実施例>
 次に、本実施形態に係る情報処理装置10の実施例について説明する。
 [4.1.実施例1:ユーザが複数の場合の制御例]
 まず、実施例1として、図5~図8を参照して、複数のユーザが検出された場合における、情報処理装置10による制御の一例について説明する。図5~図8は、実施例1に係る情報処理装置10による制御の一例について説明するための説明図である。
 なお、図5~図8に示す例では、前述した図1及び図2に示す例と同様に、情報処理装置10は、所謂テーブルトップディスプレイのように、表示部15がxy平面(水平面)に沿って配置されるように構成されている。また、図5~図8は、情報処理装置10を、z方向の上側(表示部15と対向する側、即ち、表示部15の上方)から見た場合の概略的な構成を示している。なお、以降の説明では、図5~図8において、図面の下側をy方向の+側、図面の上側をy方向の-側とし、図面の右側をx方向の+側、図面の左側をx方向の-側とする。また、図5~図8に示す例では、図1及び図2に示す例と同様に、表示部15の表示領域は、タッチパネルとして構成されているものとする。
 本説明では、図5に示すように、ユーザUa及びUbが、表示部15を参照しながら、タッチパネルとして構成された表示部15の表示領域R15に対して操作を行うものとして説明する。なお、図5に示すように、ユーザUaは、表示部15に対してx方向の-側に位置し、当該表示部15側、即ち、x方向の+側を向いている。また、ユーザUbは、表示部15に対してy方向の+側に位置し、当該表示部15側、即ち、y方向の-側を向いている。
 図5に示す例では、情報処理装置10は、コンテキスト情報を取得する際に、ユーザUa及びUbそれぞれについてユーザ情報を取得する。なお、このとき、情報処理装置10は、ユーザ情報として、表示部15に対するユーザUa及びUbそれぞれの相対位置(即ち、位置や向き)を取得する。また、情報処理装置10は、顔認識技術等のようにユーザを識別するための技術により、ユーザUa及びUbそれぞれを識別してもよい。
 そして、情報処理装置10は、ユーザUa及びUbそれぞれのユーザ情報に基づき、当該ユーザUa及びUbそれぞれについて、ユーザの操作可能範囲R11や閲覧可能範囲R13を特定する。
 例えば、図6は、図5に示す例における、ユーザUaの操作可能範囲R11及び閲覧可能範囲R13を示している。なお、図6に示す参照符号R11aは、ユーザUaの操作可能範囲R11を示している。同様に、参照符号R13aは、ユーザUaの操作可能範囲R13を示している。また、参照符号R15は、表示部15の表示領域を示している。なお、前述したように、表示領域R15は、タッチパネルとして構成されている。そのため、表示領域R15は、デバイスの操作可能範囲R151であり、かつ、デバイスの閲覧可能範囲R153となる。
 図6に示すように、情報処理装置10は、コンテキスト情報として取得したユーザUaのユーザ情報に基づき、ユーザUaを基点とした範囲、即ち、ユーザUaの操作可能範囲R11a及び閲覧可能範囲R13aを特定する。
 また、情報処理装置10は、コンテキスト情報として取得した表示部15のデバイス情報に基づき、表示領域R15(即ち、デバイスの操作可能範囲R151及び閲覧可能範囲R153)を特定する。
 また、図7は、図5に示す例における、ユーザUbの操作可能範囲R11及び閲覧可能範囲R13を示している。なお、図7に示す参照符号R11bは、ユーザUbの操作可能範囲R11を示している。同様に、参照符号R13bは、ユーザUbの操作可能範囲R13を示している。また、参照符号R15は、図6と同様に、表示部15の表示領域を示している。
 図7に示すように、情報処理装置10は、コンテキスト情報として取得したユーザUbのユーザ情報に基づき、ユーザUbを基点とした範囲、即ち、ユーザUbの操作可能範囲R11b及び閲覧可能範囲R13bを特定する。
 以上のようにして、情報処理装置10は、取得したユーザ情報及びデバイス情報に基づき、ユーザUaの操作可能範囲R11a及び閲覧可能範囲R13aと、ユーザUbの操作可能範囲R11b及び閲覧可能範囲R13bと、表示領域R15とを特定する。そして、情報処理装置10は、タスク情報として取得した各タスクの属性に基づき、当該タスクが対応付けられた表示オブジェクトを、特定した各範囲R11a、R11b、R13a、及びR13bと、表示領域R15とに基づき特定される部分領域のいずれかに割り当てる。
 例えば、図8は、図5に対して、ユーザUaの操作可能範囲R11a及び閲覧可能範囲R13aと、ユーザUbの操作可能範囲R11b及び閲覧可能範囲R13bと、表示領域R15とを識別可能に示した図である。
 図8において、参照符号R20は、操作可能範囲R11aと、操作可能範囲R11bと、表示領域R15とが重畳する部分領域を示している。即ち、部分領域R20は、表示領域R15中において、ユーザUa及びUbの双方が操作可能な範囲を示している。
 そのため、情報処理装置10は、例えば、複数のユーザ(例えば、ユーザUa及びUb)が操作可能な属性を有するタスクに対応した表示オブジェクトを、部分領域R20に割り当ててもよい。また、このとき、情報処理装置10は、ユーザUa及びUbの向きに基づき、部分領域R20に割り当てる表示オブジェクトの向きを、当該ユーザUa及びUbの双方が見やすい向きに調整してもよい。
 また、他の一例として、情報処理装置10は、ユーザUaからの操作のみを受け付け可能な属性を有するタスクに対応した表示オブジェクトについては、ユーザUaのみが操作可能な部分領域に割り当ててもよい。なお、ユーザUaのみが操作可能な部分領域とは、ユーザUaの操作可能範囲R11aと表示領域R15とが重畳する部分領域のうち、ユーザUbの操作可能範囲R11bと重畳しない部分領域に相当する。
 具体的な一例として、ユーザUaに対して管理者権限が設定され、ユーザUbには管理者権限が設定されていないものとする。このとき、情報処理装置10は、ユーザUa及びUbそれぞれの設定情報に基づき、ユーザUaに対してのみ管理者権限が設定されていることを認識する。そして、情報処理装置10は、管理者権限が設定されたユーザからの操作のみを受け付け可能な属性を有するタスクに対応した表示オブジェクトを、管理者権限を有するユーザUaのみが操作可能な部分領域に割り当ててもよい。このことは、ユーザUaに対して編集者の役割が設定され、ユーザUbに対して閲覧者の役割が設定されており、かつ、編集者のみが操作可能な属性を有するタスクに対応した表示オブジェクトを提示する場合についても同様である。即ち、情報処理装置10は、編集者のみが操作可能な属性を有するタスクに対応した表示オブジェクトを、編集者の役割が設定されたユーザUaのみが操作可能な部分領域に割り当ててもよい。
 同様に、情報処理装置10は、例えば、複数のユーザ(例えば、ユーザUa及びUb)が閲覧可能な属性を有するタスクに対応した表示オブジェクトについては、ユーザUa及びUbの双方が閲覧可能な部分領域に割り当ててもよい。なお、ユーザUa及びUbの双方が閲覧可能な部分領域とは、ユーザUaの閲覧可能範囲R13aと、ユーザUbの閲覧可能範囲R13bと、表示領域R15とが重畳する部分領域に相当する。
 また、情報処理装置10は、ユーザUaのみが閲覧可能な属性を有するタスクに対応した表示オブジェクトについては、ユーザUaのみが閲覧可能な部分領域に割り当ててもよい。なお、ユーザUaのみが閲覧可能な部分領域とは、ユーザUaの閲覧可能範囲R13aと表示領域R15とが重畳する部分領域のうち、ユーザUbの閲覧可能範囲R13bと重畳しない部分領域に相当する。
 また、情報処理装置10は、ユーザUa及びUbそれぞれの設定情報に基づき、表示オブジェクトを割り当てる部分領域を決定してもよい。具体的な一例として、ユーザUa及びUbそれぞれの使用言語が共通の場合には、情報処理装置10は、当該言語で情報が提示された表示オブジェクトを、ユーザUa及びUbの双方が閲覧可能な部分領域に割り当ててもよい。一方で、ユーザUa及びUbそれぞれの使用言語が異なる場合には、情報処理装置10は、表示オブジェクトに提示された情報の言語に応じて、ユーザUa及びUbのいずれかのみが閲覧可能な部分領域に割り当ててもよい。
 以上、実施例1として説明したように、複数のユーザが検出された場合には、情報処理装置10は、検出されたユーザそれぞれについて、ユーザの操作可能範囲R11及び閲覧可能範囲R13を特定してもよい。そして、情報処理装置10は、タスクの特性に応じて、特定した各範囲に基づき規定される部分領域のうち、当該タスクに対応する表示オブジェクトを割り当てる部分領域を決定してもよい。このような構成により、実施例1に係る情報処理装置10は、例えば、複数のユーザが共同で作業をするような状況下において、当該複数のユーザそれぞれに対して好適な態様で情報を提示することが可能となる。
 [4.2.実施例2:表示オブジェクトを割り当てる部分領域の特定方法の一例]
 次に、実施例2として、図9~図11を参照して、情報処理装置10が、表示オブジェクトを割り当てる部分領域を特定する制御の一例について説明する。図9~図11は、実施例2に係る情報処理装置10による制御の一例について説明するための説明図である。実施例2では、図9に示すように、表示部15の表示領域R15中に、当該表示領域R15の一部を遮蔽する物体(実オブジェクト)が配置された状況下において、情報処理装置10が、表示オブジェクトを割り当てる部分領域を特定する制御の一例について説明する。
 なお、図9~図11に示す例では、前述した図1及び図2に示す例と同様に、情報処理装置10は、所謂テーブルトップディスプレイのように、表示部15がxy平面(水平面)に沿って配置されるように構成されている。また、図9~図11は、情報処理装置10を、z方向の上側(表示部15と対向する側、即ち、表示部15の上方)から見た場合の概略的な構成を示している。なお、以降の説明では、図9~図11において、図面の下側をy方向の+側、図面の上側をy方向の-側とし、図面の右側をx方向の+側、図面の左側をx方向の-側とする。また、図9~図11に示す例では、図1及び図2に示す例と同様に、表示部15の表示領域は、タッチパネルとして構成されているものとする。また、以降では、図9に示すように、表示部15の表示領域R15中に配置された、当該表示領域の一部を遮蔽する実オブジェクトを、「遮蔽オブジェクト90」と記載する場合がある。
 図9に示すように、遮蔽オブジェクト90が表示部15の表示領域上に配置されている場合には、表示部15の表示領域の一部が遮蔽オブジェクト90により遮蔽される。そのため、表示部15の表示領域R15中の遮蔽オブジェクト90により遮蔽された領域に表示オブジェクトが表示されることで、ユーザUaは、当該表示オブジェクトを参照することが困難な状況となる場合がある。
 そこで、実施例2係る情報処理装置10は、表示領域R15のうち、遮蔽オブジェクト90により遮蔽された領域を除く他の領域に表示オブジェクトが表示されるように、当該表示オブジェクトの表示を制御する。以下に、実施例2に係る情報処理装置10の動作の一例について、より詳細に説明する。
 まず、情報処理装置10は、表示領域R15中の遮蔽オブジェクト90により遮蔽された領域を特定する。具体的な一例として、情報処理装置10は、デプスセンサ、圧力センサ、近接センサ等のように表示領域R15中に配置された実オブジェクトを検知可能なセンサにより、表示領域R15中の遮蔽オブジェクト90が配置された領域を特定すればよい。なお、この場合には、表示領域R15中の遮蔽オブジェクト90が配置された領域が、当該表示領域R15中の遮蔽オブジェクト90により遮蔽された領域に相当する。
 また、他の一例として、情報処理装置10は、撮像部により撮像された表示領域R15の画像を解析することで、当該表示領域R15中の遮蔽オブジェクト90が配置された領域を特定してもよい。この場合には、例えば、表示部15の上方(z方向上側)に撮像部を設け、当該撮像部により、表示部15の表示領域R15を撮像する構成とすればよい。もちろん、表示部15に対するユーザの相対位置を、撮像部により撮像された画像に基づき特定する場合には、当該撮像部により撮像された画像に基づき、表示領域R15中の遮蔽オブジェクト90が配置された領域を特定してもよい。
 そして、情報処理装置10は、表示領域R15から、遮蔽オブジェクト90により遮蔽された領域を除外した他の領域を、表示オブジェクトを表示可能な領域、即ち、デバイスの操作可能範囲R151及び閲覧可能範囲R153として特定する。
 例えば、図10は、図9に示す例において、情報処理装置10が特定したデバイスの操作可能範囲R151及び閲覧可能範囲R153の一例について示している。図10において、参照符号R33は、表示領域R15中の遮蔽オブジェクト90が配置された領域を示している。即ち、当該領域R33が、表示領域R15中の遮蔽オブジェクト90により遮蔽された領域に相当する。
 図10に示すように、情報処理装置10は、表示領域R15から特定した領域R33を除いた他の領域R31を、デバイスの操作可能範囲R151及び閲覧可能範囲R153として特定する。
 なお、以降の動作については、前述した実施形態に係る情報処理装置10と同様である。即ち、情報処理装置10は、表示部15に対するユーザUaの相対位置の認識結果に応じて、当該ユーザUaの位置を基点とした範囲、即ち、ユーザUaの操作可能範囲R11及び閲覧可能範囲R13を特定する。そして、情報処理装置10は、特定した領域R31と、ユーザUaの操作可能範囲R11及び閲覧可能範囲R13とに基づき、表示オブジェクトを割り当てる表示領域R15中の部分領域を特定する。
 例えば、図11は、図10に対して、ユーザUaの操作可能範囲R11及び閲覧可能範囲R13を識別可能に示した図である。図11において、参照符号R35は、ユーザUaの操作可能範囲R11と表示領域R15とが重畳する領域から、遮蔽オブジェクト90により遮蔽された領域R33を除いた領域を示している。即ち、図11に示す例では、情報処理装置10は、例えば、ユーザの操作を受け付け可能なタスクが関連付けられている表示オブジェクトを、当該領域R35に割り当ててもよい。
 以上のような構成により、実施例2に係る情報処理装置10は、表示領域R15中の遮蔽オブジェクト90により遮蔽された領域を避けて、表示オブジェクトを表示させることが可能となる。即ち、実施例2に係る情報処理装置10は、表示領域R15の一部が遮蔽オブジェクト90により遮蔽されている状況下においても、ユーザに対して好適な態様で情報を提示することが可能となる。
 なお、上記に示す例はあくまで一例であり、必ずしも上記態様に限定するものではない。例えば、表示部15を透過型のディスプレイとして構成した場合には、情報処理装置10は、表示部15に対してユーザとは逆側に位置する物体(実オブジェクト)の位置に応じて、表示オブジェクトを表示させる位置を制御してもよい。なお、本説明では、表示部15を透過型のディスプレイとして構成した場合に、表示部15に対してユーザ側を「表面側」、表示部15に対してユーザとは逆側を「裏面側」と記載する場合がある。
 具体的な一例として、表示部15の裏面側に配置された実オブジェクトと、表示部15に表示された表示オブジェクトとが重畳した場合に、ユーザは、実オブジェクト及び表示オブジェクトのうち一方により、他方の閲覧が阻害される場合がある。このような場合には、情報処理装置10は、表示部15の表示領域R15に対するユーザ及び実オブジェクトの相対位置を特定し、特定した相対位置に基づき、表示オブジェクトと実オブジェクトとが重畳しないように、表示オブジェクトの表示を制御してもよい。
 [4.3.実施例3:情報処理装置の構成や使用形態に応じた制御の一例]
 次に実施例3に係る情報処理装置について説明する。前述した実施形態及び各実施例では、情報処理装置10を、表示部15がxy平面(水平面)に沿って配置されるように構成された、所謂テーブルトップディスプレイとして構成した場合を例に説明した。一方で、情報処理装置10の構成や使用形態によっては、ユーザの操作可能範囲R11及び閲覧可能範囲R13と、デバイスの操作可能範囲R151及び閲覧可能範囲R153との間の位置関係が異なる場合がある。
 そこで、実施例3では、情報処理装置を、所謂テーブルトップディスプレイとは異なる構成とした場合における、当該情報処理装置による制御の一例について説明する。例えば、図12~図15は、実施例3に係る情報処理装置の構成や制御の一例について説明するための説明図であり、当該情報処理装置を、所謂スマートフォンのような携帯型の端末として構成した場合の一例を示している。なお、以降は、携帯型の端末として構成された情報処理装置を、所謂テーブルトップディスプレイとして構成された情報処理装置10と区別するために、「情報処理装置20」と記載する場合がある。
 図12~図15において、参照符号25は、情報処理装置20の表示部を示している。なお、本説明では、表示部25の表示領域がタッチパネルとして構成されているものとして説明する。即ち、図12~図15に示す例では、表示部25の表示領域R15が、デバイスの操作可能範囲R151及び閲覧可能範囲R153の双方に相当することとなる。
 例えば、図12は、情報処理装置20の表示部25に、情報の入力欄が提示された表示オブジェクトv21と、ユーザが情報を入力するためのインタフェースが提示された表示オブジェクトv23とが表示された場合の一例を示している。即ち、図12~図15は、ユーザが表示部25に表示された表示オブジェクトv21を選択することで、表示オブジェクトv23を表示させ、当該表示オブジェクトv23を介して表示オブジェクトv21に情報を入力する場合の一例を示している。
 また、図13は、携帯型の端末として構成された情報処理装置20の使用形態の一例を示している。実施例3に係る情報処理装置20の使用形態として、例えば、図13に示すように、ユーザが情報処理装置20を片手で操作する場合が想定される。即ち、図13に示す例は、ユーザが、情報処理装置20を片手で把持し、情報処理装置20を把持した手の指(例えば、親指)で表示部25の表示領域に設けられたタッチパネルを操作する場合の一例を示している。
 図14は、図13に示すようにユーザが情報処理装置20を片手で操作する場合における、当該ユーザの操作可能範囲R11を示している。この場合には、情報処理装置20は、例えば、近接センサ等の各種センサの検出結果に基づき、ユーザが自身(即ち、情報処理装置20)を把持する位置、即ち、情報処理装置20に対するユーザの手の位置(相対位置)を特定する。そして、情報処理装置20は、特定したユーザの手の位置と、想定されるユーザの指の長さとに基づき、当該指の可動範囲を特定し、特定した当該可動範囲を、当該ユーザの操作可能範囲R11として認識する。
 なお、携帯型の端末として構成された情報処理装置20の場合には、表示部25の大きさは比較的小さく、ユーザが当該表示部25の表示領域の一部のみを視野に入れるといった状況は少ない。そのため、当該情報処理装置20は、常に、表示部25の表示領域R15全体を、ユーザの閲覧可能範囲R13として認識してもよい。
 そして、情報処理装置20は、特定したユーザの操作可能範囲R11と、表示部25の表示領域R15とに基づき、当該表示領域R15への表示オブジェクトの表示を制御する。
 例えば、図14は、ユーザが情報の入力先となる表示オブジェクトを選択する状態、即ち、情報の入力先が選択されていない状態を示している。このような場合には、例えば、情報処理装置20は、ユーザ入力を受け付け可能な表示オブジェクトv21の少なくとも一部が、特定したユーザの操作可能範囲R11内に含まれるように、当該表示オブジェクトv21の表示位置を制御する。
 また、図15は、表示オブジェクトv21の選択を受けて、情報処理装置20が、当該表示オブジェクトv21に対してユーザが情報を入力するための表示オブジェクトv23を表示させる場合の一例を示している。即ち、図15は、ユーザが、表示オブジェクトv21の選択に伴い表示された表示オブジェクトv23を介して、当該表示オブジェクトv21に情報を入力する状態を示している。このような場合には、表示オブジェクトv23に関連付けられたタスクが、ユーザからの操作を受け付けるためのタスクに相当する。
 即ち、図15に示す例では、情報処理装置20は、表示オブジェクトv23が可能な限りユーザの操作可能範囲R11内に含まれるように、当該表示オブジェクトv23の表示位置を制御する。例えば、図15に示す例では、ユーザは、情報処理装置20の右側を把持しているため、ユーザの操作可能範囲R11は、表示部15の表示領域R15の右側の領域に設定されることとなる。そのため、情報処理装置20は、表示オブジェクトv23が可能な限りユーザの操作可能範囲R11内に含まれるように、表示オブジェクトv23の表示位置を右寄りに制御している。
 一方で、図15に示す例では、表示オブジェクトv21に関連付けられたタスクは、主に、当該表示オブジェクトv23を介して入力された情報を提示するためのタスクに相当する。そのため、情報処理装置20は、ユーザの操作可能範囲R11を、表示オブジェクトv23を表示させるための領域として有効に活用できるように、表示オブジェクトv21を、当該操作可能範囲R11外に表示させている。
 以上、実施例3として、図12~図15を参照して、情報処理装置を、所謂スマートフォンのような携帯型の端末として構成した場合における、当該情報処理装置による制御の一例について説明した。もちろん、上記はあくまで一例であり、情報処理装置の構成や使用形態に応じて、ユーザの位置を検出する方法や、表示オブジェクトの表示制御の内容を適宜切り替えてもよいことは言うまでもない。
 例えば、図16は、本実施形態に係る情報処理装置の他の一態様について説明するための説明図であり、比較的大きな表示部35を備えた情報処理装置30(例えば、大型ディスプレイ)を、壁面に設置した場合の一例を示している。図16に示す例では、互いに直交するx方向及びy方向で形成されるxy平面を水平面とし、当該xy平面に垂直な方向(即ち、鉛直方向)をz方向としている。即ち、図16に示す例では、情報処理装置30の表示部35がz方向(鉛直方向)に立ち上がるように(例えば、表示部35が地面に対して垂直となるように)、当該情報処理装置30が設置されている。
 図16に示す例では、表示部35がz方向(鉛直方向)に立ち上がるように設けられるため、当該表示部35の表示領域R15は、ユーザUaと対向するように設けられることとなる。そのため、図16に示す例の場合には、例えば、情報処理装置30が、表示部35の前面に存在するユーザUaの、当該表示部35に対する相対位置(位置や向き)を特定できるように、当該ユーザUaの位置や向きを検出するためのデバイス(各種センサや撮像部)を設ければよい。
 具体的な一例として、情報処理装置30は、撮像部により撮像された表示部35の前面の領域の画像を解析することで、当該領域中に存在するユーザの位置や向きを特定してもよい。
 もちろん、情報処理装置30は、特定した表示部35に対するユーザUaの相対位置に基づき、ユーザUaの操作可能範囲R11及び閲覧可能範囲R13を特定すればよいことは、前述した実施形態に係る情報処理装置10と同様である。
 例えば、図16中の参照符号R11は、ユーザUaの操作可能範囲の一例を示している。即ち、図16に示す例では、情報処理装置30は、ユーザUaの位置を基点として、当該ユーザUaの手が届く範囲を、ユーザUaの操作可能範囲R11として特定している。具体的な一例として、情報処理装置30は、ユーザUaの肩の位置を基点として、当該ユーザUaの腕の長さに基づき規定される当該腕の可動範囲を、ユーザUaの操作可能範囲R11として特定すればよい。
 また、図16中の参照符号R13は、ユーザUaの閲覧可能範囲の一例を示している。即ち、図16に示す例では、情報処理装置30は、ユーザUaの位置を基点として、当該ユーザUaが視野に入れることが可能な範囲を、ユーザUaの閲覧可能範囲R13として特定している。具体的な一例として、情報処理装置30は、ユーザUaの頭部の位置を基点として、当該頭部が向いた方向に広がるように規定されるユーザUaの視野を、ユーザUaの閲覧可能範囲R13として特定すればよい。
 なお、ユーザUaの操作可能範囲R11及び閲覧可能範囲R13を特定した後の動作については、前述した実施形態に係る情報処理装置10と同様のため、詳細な説明は省略する。
 [4.4.実施例4:複数デバイスを連携させる場合の例]
 次に、実施例4として、複数のデバイスが連携して動作する情報処理システムへの適用例について、図17及び図18を参照して説明する。図17及び図18は、実施例4に係る情報処理システムの構成や制御の一例について説明するための説明図である。
 実施例4では、図17に示すように、タブレット端末のような所謂携帯型の端末として構成された情報処理装置40aと、比較的大型の表示部45bを備えた情報処理装置40bとが連携する場合の一例を示している。情報処理装置40bとしては、例えば、図1に示したような、所謂テーブルトップディスプレイや、図16に示した大型のディスプレイ等により構成され得る。また、他の一例として、情報処理装置40bを、壁面などを投影面として、当該投影面に情報を投影することで、当該情報をユーザに提示する、所謂、プロジェクターとして構成してもよい。
 また、図17において、参照符号45aは、情報処理装置40aの表示部を示しており、参照符号R41は、表示部45aの表示領域を示している。また、参照符号R43は、表示部45bの表示領域を示している。なお、図17に示す例では、表示部45aの表示領域R41は、タッチパネルとして構成されているものとする。また、図17に示す例では、説明をわかりやすくするために、表示部45bの表示領域R43は、タッチパネルとして構成されていないものとする。
 即ち、実施例4に係る情報処理システムは、情報処理装置40aに対応するデバイス情報に基づき、表示部45aの表示領域R41が、デバイスの操作可能範囲R151であり、かつ、デバイスの閲覧可能範囲R153であるものと認識する。また、情報処理システムは、情報処理装置40bに対応するデバイス情報に基づき、表示部45bの表示領域R43が、デバイスの閲覧可能範囲R153であるものと認識する。
 また、実施例4に係る情報処理システムは、距離センサ、近接センサ、人感センサ、または、赤外線センサ等の各種センサや、撮像部等の検出デバイスによる検出結果に基づき、表示部45a及び45bのそれぞれに対するユーザUaの相対位置を認識する。また、このとき、情報処理システムは、表示部45aと表示部45bとの間の相対位置を認識してもよい。具体的な一例として、情報処理システムは、撮像部により、表示部45a及び45bと、ユーザUaとが撮像された画像を解析することで、表示部45a、表示部45b、及びユーザUa間の相対位置を認識してもよい。
 そして、情報処理システムは、表示部45a、表示部45b、及びユーザUa間の相対位置の認識結果に応じて、当該ユーザUaの操作可能範囲R11及び閲覧可能範囲R13を特定する。
 例えば、図18は、図17に対して、ユーザUaの操作可能範囲R11及び閲覧可能範囲R13を識別可能に示した図である。
 図18において、参照符号R45は、ユーザUaの操作可能範囲R11と表示部45aの表示範囲R41とが重畳する領域である。実施例4に係る情報処理システムは、例えば、ユーザの操作を受け付け可能なタスクが関連付けられている表示オブジェクトを、当該領域R45に割り当ててもよい。
 また、ユーザに対して情報を提示するのみのタスクが関連付けられている表示オブジェクトについては、情報処理システムは、表示範囲R41及びR43のいずれかと、ユーザUaの閲覧可能範囲R13とが重畳する領域に割り当てればよい。
 また、複数の表示領域が候補となる場合には、情報処理システムは、各表示領域に対応する情報処理装置が備えるデバイスの構成や種別に応じて、表示オブジェクトを割り当てる領域を決定してもよい。
 具体的な一例として、情報処理システムは、音声出力を伴うタスクが関連付けられた表示オブジェクトの割り当て先の候補として、情報処理装置40aに対応する表示範囲R41と、情報処理装置40bに対応する表示範囲R43とを特定したとする。このとき、情報処理システムは、情報処理装置40a及び40bそれぞれのデバイス情報に基づき、音声出力が可能な(例えば、スピーカを備えた)情報処理装置に対応する表示範囲に、表示オブジェクトを割り当ててもよい。
 なお、上記に説明した、各範囲R11、R13、R41、R43、及びR45の特定や、表示オブジェクトの表示を制御する主体は、特に限定されない。具体的な一例として、情報処理装置40a及び40bのいずれかが主導的の動作することで、上述した各制御を実現してもよい。
 また、他の一例として、情報処理装置40a及び40bのそれぞれが独立して動作し、互いに情報を共有して連携することで、上述した各制御を実現してもよい。具体的な一例として、情報処理装置40aは、表示部45aに対するユーザUaの相対位置を認識し、認識した情報を情報処理装置40bと共有してもよい。同様に、情報処理装置40bは、表示部45bに対するユーザUaの相対位置を認識し、認識した情報を情報処理装置40aと共有してもよい。また、情報処理装置40a及び40bの少なくともいずれかが、情報処理装置40a及び40b間の相対位置を認識し、認識した情報を当該情報処理装置40a及び40bの間で共有する構成としてもよい。このように、情報処理装置40a及び40bとの間で各種情報を共有することで、情報処理装置40a及び40bが連携して、表示領域R41及びR43への表示オブジェクトの表示を制御してもよい。
 また、他の一例として、情報処理装置40a及び40bとは異なる外部装置を設け、当該外部装置が主体となって、上述した各制御を実現してもよい。
 以上、実施例4として、図17及び図18を参照して、複数のデバイスが連携して動作する情報処理システムへの適用例について説明した。上記に説明したように、表示部が複数存在する場合には、情報処理システムは、各表示部に対してデバイスの閲覧可能範囲R153を特定すればよい。このことは、操作部についても同様である。即ち、操作部が複数存在する場合には、情報処理システムは、各操作部に対してデバイスの操作可能範囲R151を特定すればよい。
 以上のようにして、情報処理システムは、複数のデバイスそれぞれの操作可能範囲R151及び閲覧可能範囲R153を特定し、ユーザの操作可能範囲R11及び閲覧可能範囲R13と照合することで、表示オブジェクトの割り当て先となる領域を特定すればよい。
 以上のような構成により、実施例4に係る情報処理システムは、複数のデバイスを連携させることで、ユーザに対してより好適な態様で情報を提示することが可能となる。
 <5.ハードウェア構成>
 次に、図19を参照して、本開示の各実施形態に係る情報処理装置10のハードウェア構成の一例について説明する。図19は、本開示の実施形態に係る情報処理装置10のハードウェア構成の一例を示した図である。
 図19に示すように、本実施形態に係る情報処理装置10は、プロセッサ901と、メモリ903と、ストレージ905と、操作デバイス907と、表示デバイス909と、検出デバイス915と、バス917とを含む。また、情報処理装置10は、スピーカ911と、通信デバイス913とを含んでもよい。
 プロセッサ901は、例えばCPU(Central Processing Unit)、GPU(Graphics Processing Unit)、DSP(Digital Signal Processor)又はSoC(System on Chip)であってよく、情報処理装置10の様々な処理を実行する。プロセッサ901は、例えば、各種演算処理を実行するための電子回路により構成することが可能である。なお、前述した制御部11の各構成は、プロセッサ901により実現され得る。
 メモリ903は、RAM(Random Access Memory)及びROM(Read Only Memory)を含み、プロセッサ901により実行されるプログラム及びデータを記憶する。ストレージ905は、半導体メモリ又はハードディスクなどの記憶媒体を含み得る。例えば、前述した記憶部17は、メモリ903及びストレージ905の少なくともいずれか、もしくは、双方の組み合わせにより構成され得る。
 操作デバイス907は、ユーザが所望の操作を行うための入力信号を生成する機能を有する。操作デバイス907は、例えば、タッチパネルとして構成され得る。また、他の一例として、操作デバイス907は、例えばボタン及びスイッチなどユーザが情報を入力するための入力部と、ユーザによる入力に基づいて入力信号を生成し、プロセッサ901に供給する入力制御回路などから構成されてよい。なお、前述した操作部13は、操作デバイス907により実現され得る。
 表示デバイス909は、出力デバイスの一例であり、例えば、液晶ディスプレイ(LCD:Liquid Crystal Display)装置、有機EL(OLED:Organic Light Emitting Diode)ディスプレイなどのデバイスであってよい。この場合には、表示デバイス909は、画面を表示することにより、ユーザに対して所定の情報を提示することができる。なお、前述した表示部15は、表示デバイス909により実現され得る。
 スピーカ911は、音響信号や音声信号を出力するための出力デバイスの一例である。
 通信デバイス913は、情報処理装置10が備える通信手段であり、ネットワークを介して外部装置と通信する。通信デバイス913は、有線または無線用の通信インタフェースである。通信デバイス913を、無線通信インタフェースとして構成するバイには、当該通信デバイス913は、通信アンテナ、RF(Radio Frequency)回路、ベースバンドプロセッサなどを含んでもよい。
 通信デバイス913は、外部装置から受信した信号に各種の信号処理を行う機能を有し、受信したアナログ信号から生成したデジタル信号をプロセッサ901に供給することが可能である。
 検出デバイス915は、情報処理装置10の近傍に位置するユーザの位置や向きを検出するためのデバイスである。検出デバイス915は、例えば、距離センサ、近接センサ、人感センサ、または、赤外線センサ等の各種センサにより構成され得る。また、他の一例として、画像を解析することで、情報処理装置10の近傍に位置するユーザの位置や向きを検出する場合には、検出デバイス915は、当該画像を撮像するカメラ等の撮像デバイスにより構成され得る。なお、前述した検出部19は、検出デバイス915により実現され得る。
 バス917は、プロセッサ901、メモリ903、ストレージ905、操作デバイス907、表示デバイス909、スピーカ911、通信デバイス913、及び検出デバイス915を相互に接続する。バス917は、複数の種類のバスを含んでもよい。
 また、コンピュータに内蔵されるプロセッサ、メモリ、及びストレージなどのハードウェアを、上記した情報処理装置10が有する構成と同等の機能を発揮させるためのプログラムも作成可能である。また、当該プログラムを記録した、コンピュータに読み取り可能な記憶媒体も提供され得る。
 <6.まとめ>
 以上説明したように、本実施形態に係る情報処理装置10は、表示部15に対するユーザの相対位置の認識結果に応じて、当該ユーザの位置を基点とした範囲を特定する。そして、情報処理装置10は、特定したユーザの位置を基点とした範囲と、表示部15の表示領域R15とに基づき、当該表示部15への表示オブジェクトの表示を制御する。以上のような構成により、本実施形態に係る情報処理装置10は、表示部15に対するユーザの位置や向きに応じて、表示部15中における表示オブジェクトの位置や向きを制御することで、当該ユーザに対して好適な態様で情報を提示することが可能となる。
 以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
 また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
 なお、以下のような構成も本開示の技術的範囲に属する。
(1)
 ユーザを基点とした第1の領域を特定する演算部と、
 特定された前記第1の領域と、表示部が占める第2の領域とに応じて、前記表示部への表示オブジェクトの表示を制御する表示制御部と、
 を備える、表示制御装置。
(2)
 前記演算部は、操作デバイスに対する前記ユーザの位置に基づき前記第1の領域を特定する、前記(1)に記載の表示制御装置。
(3)
 前記演算部は、前記操作デバイスに対する前記ユーザの位置と、当該操作デバイスの種別とに応じて、前記第1の領域を特定する、前記(2)に記載の表示制御装置。
(4)
 前記演算部は、前記ユーザの視野に基づき前記第1の領域を特定する、前記(1)に記載の表示制御装置。
(5)
 前記演算部は、前記ユーザの位置及び向きに基づき当該ユーザの視野を推定する、前記(4)に記載の表示制御装置。
(6)
 前記演算部は、検出された前記ユーザの状態に応じて前記第1の領域を補正する、前記(1)~(5)のいずれか一項に記載の表示制御装置。
(7)
 前記演算部は、前記ユーザに関連付けて設定された制御情報に応じて前記第1の領域を補正する、前記(1)~(6)のいずれか一項に記載の表示制御装置。
(8)
 前記演算部は、複数のユーザそれぞれについて前記第1の領域を特定し、
 前記表示制御部は、前記複数のユーザそれぞれに対応する前記第1の領域と、前記第2の領域とに基づき、前記表示部への前記表示オブジェクトの表示を制御する、前記(1)~(7)のいずれか一項に記載の表示制御装置。
(9)
 前記表示制御部は、前記複数のユーザそれぞれに対応する前記第1の領域が互いに重畳する重畳領域と、前記第2の領域とに基づき、前記表示部への前記表示オブジェクトの表示を制御する、前記(8)に記載の表示制御装置。
(10)
 前記表示制御部は、前記複数のユーザそれぞれに対して設定された制御情報に応じて、当該複数のユーザそれぞれに対する前記表示オブジェクトの表示を制御する、前記(8)に記載の表示制御装置。
(11)
 前記表示制御部は、前記複数のユーザ間で共通の当該制御情報に応じた態様で、前記表示オブジェクトを当該複数のユーザに提示する、前記(10)に記載の表示制御装置。
(12)
 前記表示制御部は、前記第1の領域と前記第2の領域とが重畳する重畳領域中における、前記表示オブジェクトの表示状態に応じて、当該表示オブジェクトとは異なる他の表示オブジェクトの表示を制御する、前記(1)~(11)のいずれか一項に記載の表示制御装置。
(13)
 前記演算部は、前記第1の領域として、操作デバイスに対する前記ユーザの位置に基づき特定される第3の領域と、前記ユーザの視野に基づく第4の領域とを特定し、
 前記表示制御部は、前記表示オブジェクトに関連付けられた処理に応じて前記第3の領域及び前記第4の領域のいずれかを選択し、選択した領域と前記第2の領域とに基づき、前記表示部への当該表示オブジェクトの表示を制御する、前記(1)~(12)のいずれか一項に記載の表示制御装置。
(14)
 前記表示制御部は、前記表示部が情報を表示する領域に重畳する実オブジェクトの位置に応じて、前記第2の領域を制限する、前記(1)~(13)のいずれか一項に記載の表示制御装置。
(15)
 前記表示制御部は、前記第1の領域と、複数の前記表示部それぞれに対応する前記第2の領域とに応じて、複数の前記表示部のうちの少なくともいずれかに対する前記表示オブジェクトの表示を制御する、前記(1)~(14)のいずれか一項に記載の表示制御装置。
(16)
 前記表示部を備える、前記(1)~(15)のいずれか一項に記載の表示制御装置。
(17)
 前記表示部が、水平方向に延伸するように設けられた、前記(16)に記載の表示制御装置。
(18)
 ユーザを基点とした第1の領域を特定することと、
 プロセッサが、特定された前記第1の領域と、表示部が占める第2の領域とに応じて、前記表示部への表示オブジェクトの表示を制御することと、
 を含む、表示制御方法。
(19)
 コンピュータに、
 ユーザを基点とした第1の領域を特定することと、
 特定された前記第1の領域と、表示部が占める第2の領域とに応じて、前記表示部への表示オブジェクトの表示を制御することと、
 を実行させる、プログラム。
 10  情報処理装置
 11  制御部
 111 処理実行部
 113 コンテキスト情報取得部
 115 演算部
 117 表示制御部
 13  操作部
 15  表示部
 17  記憶部
 19  検出部
 20  情報処理装置
 25  表示部
 30  情報処理装置
 35  表示部
 40a、40b 情報処理装置
 45a、45b 表示部
 

Claims (19)

  1.  ユーザを基点とした第1の領域を特定する演算部と、
     特定された前記第1の領域と、表示部が占める第2の領域とに応じて、前記表示部への表示オブジェクトの表示を制御する表示制御部と、
     を備える、表示制御装置。
  2.  前記演算部は、操作デバイスに対する前記ユーザの位置に基づき前記第1の領域を特定する、請求項1に記載の表示制御装置。
  3.  前記演算部は、前記操作デバイスに対する前記ユーザの位置と、当該操作デバイスの種別とに応じて、前記第1の領域を特定する、請求項2に記載の表示制御装置。
  4.  前記演算部は、前記ユーザの視野に基づき前記第1の領域を特定する、請求項1に記載の表示制御装置。
  5.  前記演算部は、前記ユーザの位置及び向きに基づき当該ユーザの視野を推定する、請求項4に記載の表示制御装置。
  6.  前記演算部は、検出された前記ユーザの状態に応じて前記第1の領域を補正する、請求項1に記載の表示制御装置。
  7.  前記演算部は、前記ユーザに関連付けて設定された制御情報に応じて前記第1の領域を補正する、請求項1に記載の表示制御装置。
  8.  前記演算部は、複数のユーザそれぞれについて前記第1の領域を特定し、
     前記表示制御部は、前記複数のユーザそれぞれに対応する前記第1の領域と、前記第2の領域とに基づき、前記表示部への前記表示オブジェクトの表示を制御する、請求項1に記載の表示制御装置。
  9.  前記表示制御部は、前記複数のユーザそれぞれに対応する前記第1の領域が互いに重畳する重畳領域と、前記第2の領域とに基づき、前記表示部への前記表示オブジェクトの表示を制御する、請求項8に記載の表示制御装置。
  10.  前記表示制御部は、前記複数のユーザそれぞれに対して設定された制御情報に応じて、当該複数のユーザそれぞれに対する前記表示オブジェクトの表示を制御する、請求項8に記載の表示制御装置。
  11.  前記表示制御部は、前記複数のユーザ間で共通の当該制御情報に応じた態様で、前記表示オブジェクトを当該複数のユーザに提示する、請求項10に記載の表示制御装置。
  12.  前記表示制御部は、前記第1の領域と前記第2の領域とが重畳する重畳領域中における、前記表示オブジェクトの表示状態に応じて、当該表示オブジェクトとは異なる他の表示オブジェクトの表示を制御する、請求項1に記載の表示制御装置。
  13.  前記演算部は、前記第1の領域として、操作デバイスに対する前記ユーザの位置に基づき特定される第3の領域と、前記ユーザの視野に基づく第4の領域とを特定し、
     前記表示制御部は、前記表示オブジェクトに関連付けられた処理に応じて前記第3の領域及び前記第4の領域のいずれかを選択し、選択した領域と前記第2の領域とに基づき、前記表示部への当該表示オブジェクトの表示を制御する、請求項1に記載の表示制御装置。
  14.  前記表示制御部は、前記表示部が情報を表示する領域に重畳する実オブジェクトの位置に応じて、前記第2の領域を制限する、請求項1に記載の表示制御装置。
  15.  前記表示制御部は、前記第1の領域と、複数の前記表示部それぞれに対応する前記第2の領域とに応じて、複数の前記表示部のうちの少なくともいずれかに対する前記表示オブジェクトの表示を制御する、請求項1に記載の表示制御装置。
  16.  前記表示部を備える、請求項1に記載の表示制御装置。
  17.  前記表示部が、水平方向に延伸するように設けられた、請求項16に記載の表示制御装置。
  18.  ユーザを基点とした第1の領域を特定することと、
     プロセッサが、特定された前記第1の領域と、表示部が占める第2の領域とに応じて、前記表示部への表示オブジェクトの表示を制御することと、
     を含む、表示制御方法。
  19.  コンピュータに、
     ユーザを基点とした第1の領域を特定することと、
     特定された前記第1の領域と、表示部が占める第2の領域とに応じて、前記表示部への表示オブジェクトの表示を制御することと、
     を実行させる、プログラム。
     
PCT/JP2015/064088 2014-06-24 2015-05-15 情報処理装置、情報処理方法、及びプログラム WO2015198747A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
EP15812031.1A EP3163421A4 (en) 2014-06-24 2015-05-15 Information processing device, information processing method, and program
EP21179712.1A EP3907590A3 (en) 2014-06-24 2015-05-15 Information processing device, information processing method, and computer program
US15/311,137 US10732808B2 (en) 2014-06-24 2015-05-15 Information processing device, information processing method, and program
JP2016529180A JP6604326B2 (ja) 2014-06-24 2015-05-15 情報処理装置、情報処理方法、及びプログラム
CN201580032573.5A CN106462328B (zh) 2014-06-24 2015-05-15 信息处理装置、信息处理方法和程序

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014-129192 2014-06-24
JP2014129192 2014-06-24

Publications (1)

Publication Number Publication Date
WO2015198747A1 true WO2015198747A1 (ja) 2015-12-30

Family

ID=54937845

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/064088 WO2015198747A1 (ja) 2014-06-24 2015-05-15 情報処理装置、情報処理方法、及びプログラム

Country Status (5)

Country Link
US (1) US10732808B2 (ja)
EP (2) EP3163421A4 (ja)
JP (1) JP6604326B2 (ja)
CN (1) CN106462328B (ja)
WO (1) WO2015198747A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017182151A (ja) * 2016-03-28 2017-10-05 株式会社日立製作所 給与決済連携システムおよび給与決済連携方法
WO2019239902A1 (ja) * 2018-06-13 2019-12-19 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
JP7444100B2 (ja) 2021-02-19 2024-03-06 コニカミノルタ株式会社 ユーザーインターフェース装置、画像形成装置、制御方法、および制御プログラム

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101893768B1 (ko) * 2017-02-27 2018-09-04 주식회사 브이터치 음성 인식 트리거를 제공하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
US10809962B2 (en) * 2017-11-28 2020-10-20 Dell Products L.P. Orienting content sent to display devices based on a position of a user relative to a computing device
US20190251884A1 (en) * 2018-02-14 2019-08-15 Microsoft Technology Licensing, Llc Shared content display with concurrent views
US11188154B2 (en) * 2018-05-30 2021-11-30 International Business Machines Corporation Context dependent projection of holographic objects

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005141151A (ja) * 2003-11-10 2005-06-02 Seiko Epson Corp プロジェクタおよびプロジェクタの機能設定方法
JP2013120968A (ja) * 2011-12-06 2013-06-17 Panasonic Corp 携帯端末装置、表示制御方法及び表示制御プログラム
JP2013149016A (ja) * 2012-01-18 2013-08-01 Panasonic Corp 表示装置および表示方法
JP2013213849A (ja) * 2012-03-30 2013-10-17 Toshiba Tec Corp 情報処理装置、及び情報表示システム

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10200807A (ja) * 1997-01-14 1998-07-31 Hitachi Ltd グラフィカルユーザインタフェースを用いたカメラ制御方法
JP3368226B2 (ja) * 1999-03-26 2003-01-20 キヤノン株式会社 情報処理方法及び情報処理装置
JP4566596B2 (ja) * 2004-03-29 2010-10-20 アルパイン株式会社 操作指示装置
US20090106667A1 (en) * 2007-10-19 2009-04-23 International Business Machines Corporation Dividing a surface of a surface-based computing device into private, user-specific areas
US8427424B2 (en) * 2008-09-30 2013-04-23 Microsoft Corporation Using physical objects in conjunction with an interactive surface
US20100103104A1 (en) * 2008-10-29 2010-04-29 Electronics And Telecommunications Research Institute Apparatus for user interface based on wearable computing environment and method thereof
DE102009037835B4 (de) * 2009-08-18 2012-12-06 Metaio Gmbh Verfahren zur Darstellung von virtueller Information in einer realen Umgebung
US8843857B2 (en) * 2009-11-19 2014-09-23 Microsoft Corporation Distance scalable no touch computing
US9110495B2 (en) * 2010-02-03 2015-08-18 Microsoft Technology Licensing, Llc Combined surface user interface
US8818027B2 (en) * 2010-04-01 2014-08-26 Qualcomm Incorporated Computing device interface
CN101916156B (zh) * 2010-06-17 2013-01-09 宇龙计算机通信科技(深圳)有限公司 一种移动终端信息显示调整方法、移动终端及系统
JP5960796B2 (ja) * 2011-03-29 2016-08-02 クアルコム,インコーポレイテッド ローカルマルチユーザ共同作業のためのモジュール式のモバイル接続ピコプロジェクタ
US8643703B1 (en) * 2011-03-30 2014-02-04 Amazon Technologies, Inc. Viewer tracking image display
JP5743198B2 (ja) * 2011-04-28 2015-07-01 株式会社ワコム マルチタッチ・マルチユーザ検出装置
JP5957892B2 (ja) * 2012-01-13 2016-07-27 ソニー株式会社 情報処理装置及び情報処理方法、並びにコンピューター・プログラム
US9019218B2 (en) * 2012-04-02 2015-04-28 Lenovo (Singapore) Pte. Ltd. Establishing an input region for sensor input
KR101793628B1 (ko) * 2012-04-08 2017-11-06 삼성전자주식회사 투명 디스플레이 장치 및 그 디스플레이 방법
JP2013250882A (ja) * 2012-06-01 2013-12-12 Sharp Corp 注目位置検出装置、注目位置検出方法、及び注目位置検出プログラム
US9389682B2 (en) * 2012-07-02 2016-07-12 Sony Interactive Entertainment Inc. Methods and systems for interaction with an expanded information space
US9575562B2 (en) * 2012-11-05 2017-02-21 Synaptics Incorporated User interface systems and methods for managing multiple regions
US20140267004A1 (en) * 2013-03-13 2014-09-18 Lsi Corporation User Adjustable Gesture Space
CN103399959A (zh) * 2013-08-21 2013-11-20 珠海市魅族科技有限公司 一种网页的交互控件的显示方法及终端
JP2015055913A (ja) * 2013-09-10 2015-03-23 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
JP6200270B2 (ja) 2013-10-11 2017-09-20 サターン ライセンシング エルエルシーSaturn Licensing LLC 情報処理装置及び情報処理方法、並びにコンピューター・プログラム
JP2015111371A (ja) * 2013-12-06 2015-06-18 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
US9836194B2 (en) * 2014-03-19 2017-12-05 Toshiba Tec Kabushiki Kaisha Desktop information processing apparatus and display method for the same
JPWO2015159548A1 (ja) * 2014-04-18 2017-04-13 Necソリューションイノベータ株式会社 投影制御装置、投影制御方法及び投影制御プログラム
WO2015163030A1 (ja) * 2014-04-21 2015-10-29 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
JP2016045623A (ja) * 2014-08-21 2016-04-04 ソニー株式会社 情報処理装置および制御方法
JP2016170613A (ja) * 2015-03-12 2016-09-23 コニカミノルタ株式会社 会議支援装置、会議支援システム、会議支援プログラム、及び会議支援方法
US10981061B2 (en) * 2016-06-13 2021-04-20 Sony Interactive Entertainment LLC Method and system for directing user attention to a location based game play companion application
US10269279B2 (en) * 2017-03-24 2019-04-23 Misapplied Sciences, Inc. Display system and method for delivering multi-view content

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005141151A (ja) * 2003-11-10 2005-06-02 Seiko Epson Corp プロジェクタおよびプロジェクタの機能設定方法
JP2013120968A (ja) * 2011-12-06 2013-06-17 Panasonic Corp 携帯端末装置、表示制御方法及び表示制御プログラム
JP2013149016A (ja) * 2012-01-18 2013-08-01 Panasonic Corp 表示装置および表示方法
JP2013213849A (ja) * 2012-03-30 2013-10-17 Toshiba Tec Corp 情報処理装置、及び情報表示システム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017182151A (ja) * 2016-03-28 2017-10-05 株式会社日立製作所 給与決済連携システムおよび給与決済連携方法
WO2019239902A1 (ja) * 2018-06-13 2019-12-19 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
JP7444100B2 (ja) 2021-02-19 2024-03-06 コニカミノルタ株式会社 ユーザーインターフェース装置、画像形成装置、制御方法、および制御プログラム

Also Published As

Publication number Publication date
JPWO2015198747A1 (ja) 2017-04-20
EP3163421A1 (en) 2017-05-03
EP3163421A4 (en) 2018-06-13
US10732808B2 (en) 2020-08-04
EP3907590A3 (en) 2022-02-09
CN106462328B (zh) 2020-09-04
JP6604326B2 (ja) 2019-11-13
US20170075548A1 (en) 2017-03-16
CN106462328A (zh) 2017-02-22
EP3907590A2 (en) 2021-11-10

Similar Documents

Publication Publication Date Title
JP6604326B2 (ja) 情報処理装置、情報処理方法、及びプログラム
JP5900393B2 (ja) 情報処理装置、操作制御方法及びプログラム
US10444908B2 (en) Virtual touchpads for wearable and portable devices
CN103729156B (zh) 显示控制装置以及显示控制方法
US20180176965A1 (en) Automatic selection of a wireless connectivity protocol for an input device
KR20040063153A (ko) 제스쳐에 기초를 둔 사용자 인터페이스를 위한 방법 및 장치
KR20080041809A (ko) 휴대용 단말기에서 디스플레이 제어 방법 및 장치
CN104660799A (zh) 移动终端及其控制方法
US20150186037A1 (en) Information processing device, information processing device control method, control program, and computer-readable recording medium
US10409446B2 (en) Information processing apparatus and method for manipulating display position of a three-dimensional image
JP2014241005A (ja) 表示制御装置、表示制御方法、及び表示制御プログラム
US10474324B2 (en) Uninterruptable overlay on a display
EP3690605A1 (en) Gesture recognition method and electronic device
EP2824562B1 (en) Method and apparatus to reduce display lag of soft keyboard presses
US20150268828A1 (en) Information processing device and computer program
CN109964202B (zh) 显示控制装置、显示控制方法和计算机可读存储介质
CN106325726A (zh) 触控互动方法
US20140168106A1 (en) Apparatus and method for processing handwriting input
WO2015194291A1 (ja) 情報処理装置、情報処理方法、及びプログラム
CN103870146A (zh) 一种信息处理方法及电子设备
CN109799937A (zh) 一种输入控制方法、设备及计算机可读存储介质
US20210294482A1 (en) Information processing device, information processing method, and program
CN111654755B (zh) 一种视频编辑方法及电子设备
JP2015052895A (ja) 情報処理装置及び情報処理方法
JP5907096B2 (ja) 情報端末装置、画像表示方法および画像表示プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15812031

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2016529180

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15311137

Country of ref document: US

REEP Request for entry into the european phase

Ref document number: 2015812031

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2015812031

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE