WO2016042862A1 - 制御装置、制御方法およびプログラム - Google Patents

制御装置、制御方法およびプログラム Download PDF

Info

Publication number
WO2016042862A1
WO2016042862A1 PCT/JP2015/067152 JP2015067152W WO2016042862A1 WO 2016042862 A1 WO2016042862 A1 WO 2016042862A1 JP 2015067152 W JP2015067152 W JP 2015067152W WO 2016042862 A1 WO2016042862 A1 WO 2016042862A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
user
control device
control unit
display
Prior art date
Application number
PCT/JP2015/067152
Other languages
English (en)
French (fr)
Inventor
稀淳 金
俊一 笠原
稲見　昌彦
孝太 南澤
裕太 杉浦
友佑 水品
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to CN201580048384.7A priority Critical patent/CN106687888A/zh
Priority to KR1020177003570A priority patent/KR20170062439A/ko
Priority to JP2016548589A priority patent/JP6601402B2/ja
Priority to EP15842184.2A priority patent/EP3196734B1/en
Priority to US15/510,557 priority patent/US10579109B2/en
Publication of WO2016042862A1 publication Critical patent/WO2016042862A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/02—Viewing or reading apparatus
    • G02B27/022—Viewing apparatus
    • G02B27/027—Viewing apparatus comprising magnifying means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1637—Details related to the display arrangement, including those related to the mounting of the display in the housing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera

Definitions

  • the present disclosure relates to a control device, a control method, and a program.
  • HMD head mounted display
  • Patent Document 1 discloses a display control technique that changes the line-of-sight direction of a panoramic image displayed on the HMD in accordance with the rotation of the head ascertained from a posture sensor or the like provided in the HMD.
  • the present disclosure proposes a new and improved control device, control method, and program capable of controlling the display as when the user moves the head without moving the head. .
  • an acquisition unit that acquires position and orientation information related to the position or orientation of an object related to a user operation at a position different from the user's head, and the user's head based on the position and orientation information
  • a control device including a control unit that controls an image visual field that is a range displayed as an image on a display device to be mounted.
  • a control method including controlling an image visual field which is a range displayed as an image on a display device mounted on the computer.
  • an acquisition function that acquires position and orientation information related to the position or orientation of an object related to a user operation at a position different from the user's head, and the user's head
  • a control device As described above, according to the present disclosure, there is provided a control device, a control method, and a program that can control display without moving the head of the user as in the case where the user moves the head. .
  • FIG. 1 is a diagram for describing an overview of a control device according to an embodiment of the present disclosure.
  • the control device 100 is a portable device that is mounted on the user's head and includes a display unit that covers part or all of the user's visual field.
  • the control device 100 has a communication function and a display control function.
  • the communication function receives information from an external device or transmits information to the external device.
  • the display control function performs control related to display of an image to be displayed on the display. For this reason, the control apparatus 100 can receive an image from an external device, and can display the received image on a display.
  • the control device 100 may be a glasses-type HMD attached to the user's head.
  • the control device 100 receives an image from an external device and causes the display unit to display the received image.
  • an image corresponding to the user's head movement is displayed on the HMD in order to improve the immersion in the image displayed by the HMD.
  • the display of the HMD is changed by moving the head of the user, a burden is imposed on the user who performs the operation.
  • the display range of the HMD remains within a range where the user's head movement is possible, it is difficult to display a dynamic change in the viewpoint that exceeds the movable range of the head.
  • the control device 100 includes information (hereinafter, “position”) related to the position and / or posture of an operating tool or the like (hereinafter also referred to as “position and posture”) at a position different from the user's head. Based on the position and orientation information, a range (hereinafter also referred to as an image field of view) displayed as an image on the display device mounted on the user's head is controlled.
  • position information related to the position and / or posture of an operating tool or the like
  • the control device 100 can be connected to a doll-shaped operation body 200 that can be operated by the user.
  • the control device 100 receives position / orientation information indicating the position and orientation of the operating tool 200 detected by the operating tool 200 from the operating tool 200.
  • the control device 100 determines an image field of view, for example, an angle of view, with a predetermined position of the operating body 200, for example, the position of the face of the operating body 200 as the line of sight.
  • the control device 100 generates an image based on the determined angle of view, and causes the display unit to display the generated image.
  • the control device 100 receives position and orientation information of an operating tool or the like at a position different from the user's head, and based on the position and orientation information, The range displayed as an image on the display device to be mounted is controlled. For this reason, by displaying an image according to the position and orientation of the operating body operated by the user, the user can control the display target range of the display device as the user intends without moving the head. Is possible.
  • an eyeglass-type HMD is shown as an example of the control device 100.
  • the control device 100 may be a hat-type or other form of HMD and does not include a display device and is connected to the display device. It may be a device such as a server.
  • each of the control devices 100 according to the first to third embodiments is suffixed with a number corresponding to the embodiment, like the control device 100-1 and the control device 100-2. Differentiate by.
  • control device 100-1 an image related to the virtual space is displayed on the display unit using the physical motion of another object operated by a human instead of the physical motion of the human. Control the range displayed as.
  • FIG. 2 is a block diagram illustrating a schematic functional configuration of a control system configured using the control device 100-1 according to the first embodiment of the present disclosure.
  • the control system includes a control device 100-1 and an operating body 200-1.
  • the operation body 200-1 includes a sensor 202, a control unit 204, and a communication unit 206.
  • the sensor 202 detects a change in the position and orientation of the operation body 200-1. Specifically, the sensor 202 is transitioned to a detection state based on an instruction from the control unit 204, and detects a change in the position and orientation of the operating tool 200-1 and a change amount while in the detection state.
  • the sensor 202 can be an acceleration sensor, an angular velocity sensor, a geomagnetic sensor, or other motion sensor. In the present embodiment, the sensor 202 detects a change in position and orientation.
  • the control unit 204 generally controls the operation of the operation body 200-1. Specifically, the control unit 204 issues an operation instruction or the like to the sensor 202, and generates information indicating the amount of change in the position and orientation of the operating tool 200-1 detected by the sensor 202 as position and orientation information. Further, the control unit 204 causes the communication unit 206 to transmit the generated position / orientation information.
  • the communication unit 206 communicates with the control device 100-1. Specifically, the communication unit 206 transmits the position and orientation information generated by the control unit 204 to the control device 100-1.
  • the communication unit 206 can perform wireless communication using WiFi (registered trademark), Bluetooth (registered trademark), Zigbee (registered trademark), or the like. Further, the communication unit 206 may perform communication via a wired line.
  • control device 100-1 includes a communication unit 102, a sensor 104, a determination unit 106, a display control unit 108, and a display unit 110.
  • the communication unit 102 communicates with the operation body 200-1 as an acquisition unit. Specifically, the communication unit 102 receives position and orientation information from the operating tool 200-1. In FIG. 2, the communication unit 102 only performs reception, but the communication unit 102 may transmit a transmission request such as position and orientation information to the operation body 200-1.
  • the sensor 104 detects a user's head movement as an acquisition unit. Specifically, the sensor 104 detects the change in position and orientation of the control device 100-1 attached to the user's head and the amount of change. In addition, since the sensor 104 of this embodiment is substantially the same as the sensor 202, detailed description is abbreviate
  • the determination unit 106 determines an image field of view as a control unit. Specifically, the determination unit 106, based on the position / orientation information of the operation tool 200-1 received by the communication unit 102, serves as the first image view field, and the image view field using the operation tool 200-1 as the line-of-sight source. (Hereinafter also referred to as an image field of the operating body 200-1) is determined. For example, the determination unit 106 changes the direction and amount corresponding to the change direction and change amount of the position / orientation indicated by the received position / orientation information with respect to the image field of the past operation object 200-1, so that a new operation object is obtained. Determine the image field of view of 200-1.
  • the image field of view of the operation body 200-1 determined by the determination unit 106 includes at least a part of the virtual space.
  • the determination unit 106 uses an image field (hereinafter also referred to as an initial field of view) of the operating body 200-1 at the start of the operation of the control device 100-1, and determines the operating body 200 from the initial field of view according to a change in position and orientation. Change the field of view of -1.
  • the initial visual field can be determined or changed by an application or the like that constructs the virtual space.
  • the image field of view of the operating body 200-1 may be an image field of view whose origin is a predetermined position on the operating body 200-1.
  • the image view field of the operation body 200-1 may be an angle of view with a line-of-sight source corresponding to the face or eyes of the doll.
  • the line-of-sight source of the image field of the operation tool 200-1 is not limited to this, and may be set or changed by a user operation or the like, for example.
  • the determination unit 106 determines an image field of view corresponding to the user's field of view (hereinafter also referred to as the user's image field of view) as the second image field of view based on the position and orientation of the user's head. For example, the determination unit 106 determines the image field of view of the user wearing the control device 100-1 based on the amount of change in the position and orientation of the control device 100-1, that is, the user's head detected by the sensor 104. Note that the determination unit 106 may determine the image field of the user based on the position and orientation of the user's head identified using a general head tracking technique.
  • the display control unit 108 controls the display of the display unit 110 as a control unit. Specifically, the display control unit 108 causes the display unit 110 to display an image indicating the virtual space generated based on the image field of the operating tool 200-1 determined by the determination unit 106. Furthermore, the processing of the display control unit 108 will be described in detail with reference to FIG. FIG. 3 is a diagram illustrating a display example of an image indicating a virtual space generated based on the image visual field determined by the control device 100-1 according to the present embodiment.
  • the display control unit 108 causes the display unit 110 to display the virtual space of the initial visual field.
  • the display control unit 108 causes the display unit 110 to display the image 10 indicating the virtual space of the initial visual field F0 illustrated in the left diagram of FIG.
  • the image field of view can be determined by the angle of view of a camera in a virtual space (hereinafter also referred to as a virtual camera). Note that the angle of view of the virtual camera that determines the initial field of view may be such that the image field of view is narrower than the human field of view.
  • the display control unit 108 changes the display of the display unit 110 in accordance with the change in the image field of view of the operation tool 200-1.
  • the display control unit 108 changes the image field of the operating tool 200-1 determined by the determination unit 106 in the order of the image fields F1, F2, and F3 from the initial field F0 as shown in the right diagram of FIG.
  • the images 11, 12 and 13 are displayed on the display unit 110 in this order.
  • the image field of the operating tool 200-1 is determined at a time interval that changes the image field in a staircase shape is shown.
  • the display of the image generated based on the image field of view can be performed at time intervals such that the image field of view is changed more smoothly.
  • the display control unit 108 selects an image field of view. Specifically, the display control unit 108 selects either the image field of the operating tool 200-1 or the user's image field as a range to be displayed as an image based on the user's mode. For example, the display control unit 108 selects the user's image field of view when a predetermined user operation is performed. Furthermore, the image visual field selection process will be described in detail with reference to FIG. FIG. 4 is a diagram illustrating an example of the movement of the head of the user and the movement of the operation body 200-1 of the control device 100-1 according to the present embodiment.
  • the display control unit 108 causes the display unit 110 to display an image indicating a virtual space generated based on the image field of the operation tool 200-1.
  • the display control unit 108 causes the display unit 110 to display the image 10 indicating the virtual space of the image field F0 of the operation body 200-1 as illustrated in the left diagram of FIG.
  • the display control unit 108 selects the user's image field of view when the position and orientation of the operation tool 200-1 and the user's head are changed in different directions. For example, when the position and orientation of the operation tool 200-1 and the user's head are changed, the determination unit 106 specifies the change direction of the position and posture of the operation tool 200-1 and the user's head. Then, the change direction of the position and orientation of the operation body 200-1 is different from the change direction of the position and orientation of the user's head. For example, as shown in FIG. When the rotation direction of the head and the rotation direction of the user's head are opposite, the display control unit 108 selects the user's image field of view as a range to be displayed as an image.
  • the display control unit 108 causes the display unit 110 to display an image indicating the virtual space generated based on the selected user's image field of view.
  • the display control unit 108 causes the display unit 110 to display an image 14 indicating the virtual space of the user's image field of view F4 as shown in the right diagram of FIG.
  • the image field of view of the user may be wider than the image field of view of the operating body 200-1.
  • the image 14 indicating the virtual space generated based on the image field of the user is an image indicating the virtual space generated based on the image field of the operation tool 200-1 as illustrated in the right diagram of FIG. It can be a composite of 10-13, ie the range of the displayed virtual space.
  • the image indicating the virtual space generated based on the image field of view of the user may be an image indicating the entire virtual space of the image field of view, or one of the entire virtual space corresponding to the already displayed image field of view.
  • the image which shows a part may be sufficient.
  • the predetermined user operation is an operation in which the position and orientation of the operation tool 200-1 and the user's head are changed in different directions. It may be an operation for switching the image field of view.
  • the display control unit 108 performs the user's image field of view when a gesture indicating switching of the image field of view is performed, or when an operation is performed on a separate operation unit of the control device 100-1, for example, a predetermined button is pressed. Select.
  • switching from the image field of the user to the image field of the operating body 200-1 may be performed separately.
  • the predetermined user operation may be a change of the operation body 200-1.
  • the display control unit 108 determines the image field of the operating tool 200-1 or the image field of the user according to the type of the operating tool 200-1. Switch to one of the following.
  • the display unit 110 performs display based on an instruction from the display control unit. Specifically, an image showing a virtual space generated based on the image view selected by the display control unit 108 is displayed.
  • the display unit 110 may be a display such as a liquid crystal or an organic EL (Electro-Luminescence).
  • FIG. 5 is a flowchart conceptually showing processing of the control device 100-1 in the present embodiment.
  • control device 100-1 waits until it receives the position / orientation information of the operating tool 200-1 (step S602). Specifically, the communication unit 102 receives position / orientation information of the operation tool 200-1 generated by the operation tool 200-1.
  • the control device 100-1 determines the image field of view of the operation body 200-1 based on the received position / orientation information of the operation body 200-1 (step S604). Specifically, the determination unit 106 changes the image field of the operating tool 200-1 according to the amount of change in position and orientation indicated by the received position and orientation information of the operating tool 200-1.
  • control device 100-1 acquires the position and orientation information of the control device 100-1 (step S606). Specifically, the determination unit 106 acquires position and orientation information including information indicating the amount of change in the position and orientation of the control device 100-1 detected by the sensor 104 from the sensor 104.
  • control device 100-1 determines the image field of view of the user based on the acquired position / orientation information of the control device 100-1 (step S608). Specifically, the determination unit 106 changes the image field of the user according to the amount of change in position and orientation indicated by the acquired position and orientation information of the control device 100-1.
  • control device 100-1 determines whether the position and orientation of the operation body 200-1 and the user's head have changed in different directions (step S610). Specifically, the determination unit 106 determines whether the change direction of the position and orientation of the operating body 200-1 is different from the change direction of the position and orientation of the user's head.
  • the control device 100-1 When it is determined that the position and orientation of the operation body 200-1 and the user's head have changed in different directions, the control device 100-1 generates an image based on the user's image field of view (step S612). Specifically, when it is determined that the change direction of the position and orientation of the operating body 200-1 is different from the change direction of the position and orientation of the user's head, the display control unit 108 determines whether the virtual image is based on the image field of the user. An image showing a space is generated.
  • the control device 100-1 displays an image based on the image field of the operation tool 200-1. Generate (step S614). Specifically, the display control unit 108 determines that the change direction of the position / posture of the operating body 200-1 and the change direction of the position / posture of the user's head are the same or different. In this case, an image showing the virtual space is generated based on the image field of the operating tool 200-1. Note that the determination unit 106 also determines in the same manner as described above even when either or both of the operation tool 200-1 and the position and orientation of the user's head do not change.
  • the control device 100-1 displays the generated image (step S616). Specifically, the display control unit 108 causes the display unit 110 to display a generated image.
  • the control device 100-1 receives the position and orientation information related to the position and orientation of the object related to the user operation at a position different from the user's head, and Based on the position and orientation information, an image visual field that is a range displayed as an image on a display unit mounted on the user's head is controlled. For this reason, by displaying an image according to the position and orientation of the operating body operated by the user, the user can control the display target range of the display device as the user intends without moving the head. Is possible. In addition, this makes it possible to provide the user with a dynamic viewpoint change in a motion that exceeds the movable range of the user's head.
  • the image field of view includes at least a part of the virtual space. For this reason, it is possible to improve the sense of immersion in the virtual space by determining the display range of the virtual space by an operation in the real world.
  • control device 100-1 acquires the position and orientation information of the user's head, and displays either the image field of the operating tool 200-1 or the user's image field as an image based on the user's mode. Select as a range. For this reason, the image generated based on the image view suitable for the user can be displayed by switching the image view.
  • control device 100-1 selects the user's image field of view when a predetermined user operation is performed. For this reason, by switching the image visual field due to the user's operation, it is possible to reduce the possibility of giving the user a sudden feeling about the switching of the image visual field.
  • control device 100-1 selects the image field of the user when the position and orientation of the object related to the user operation and the user's head are changed in different directions.
  • the user of the control device 100-1 can move his / her head or the like when operating the operating tool 200-1 to change the image visual field.
  • the control apparatus 100-1 can suppress the occurrence of the user's uncomfortable feeling or the like by performing display based on the user's image field of view.
  • the control device 100-1 may switch to an image generated based on the user's image field of view when the user is sick of video.
  • the control device 100-1 further includes a determination unit that determines whether the user is in an image sickness state, and the display control unit 108 determines that the user is in an image sickness state by the determination unit Select the image field of view of the user. More specifically, the determination unit determines that the user is in an image sickness state when the displacement of the user's head is equal to or greater than a threshold value.
  • the determination unit calculates the displacement amount of the head based on the position and orientation information of the user's head detected by the sensor 104. Then, the determination unit determines that the user is in an image sickness state when the calculated displacement amount of the head is equal to or greater than a threshold value.
  • the display control unit 108 selects the user's image field of view and selects the user's image field of view on the display unit 110. The image is switched to an image generated based on the image field of view of the user.
  • the control device 100-1 includes the determination unit that determines whether the user is in an image sickness state, and the display control unit 108 is controlled by the determination unit.
  • the determination unit determines whether the user is in an image sickness state
  • the display control unit 108 is controlled by the determination unit.
  • the user's image field of view is selected. For this reason, it becomes possible to prevent a user's physical condition deterioration by switching an image visual field according to a user's physical condition change.
  • the determination unit determines that the user is in an image sickness state when the displacement of the user's head is equal to or greater than a threshold value. For this reason, by determining the video sickness state based on the information obtained by the sensor 104, the addition of functions to the control device 100-1 can be suppressed, and the cost of the control device 100-1 can be reduced. Is possible.
  • the determination unit may determine whether the user is in an image sickness state based on the user's biological information. For example, the determination unit may determine whether the user is in an image sickness state based on the user's sweating or pulse state. In addition, a technique for determining motion sickness may be applied.
  • the image field of view may be different for each user.
  • the display control unit 108 selects either the image field of the operating tool 200-1 or the user's image field based on whether the user is an operator of the image field of the operating tool 200-1. . Furthermore, the process of this modification is demonstrated in detail with reference to FIG.
  • the communication unit 102 communicates with the other control device 100-1, and transmits and receives virtual display operation requests. For example, the communication unit 102 transmits an operation request to the other control device 100-1 based on a user operation or the like. In addition, when the communication unit 102 receives an operation request from the other control device 100-1, the communication unit 102 notifies the display control unit 108 to that effect, and the display control unit 108 determines whether or not to respond to the operation request to the user and performs the operation. A display prompting the user to display is displayed on the display unit 110. When an operation for responding to the operation request is performed, the communication unit 102 transmits a response to the operation request to the other control device 100-1.
  • the display control unit 108 displays an image generated based on the image field of the operation tool 200-1 on the display unit 110. Display.
  • the display control unit 108 causes the display unit 110 to display an image generated based on the image field of view of the operating tool 200-1 connected to the control device 100-1 as illustrated in the left diagram of FIG. .
  • the display control unit 108 selects an image generated based on the user's image field of view. For example, when a response to respond to the operation request of the other control device 100-1 is returned, the display control unit 108 displays an image displayed on the display unit 110 as shown in the right diagram of FIG. Switch to an image generated based on the image field of view.
  • the display control unit 108 determines whether the image of the operation tool 200-1 is based on whether the user is an operator in the image field of the operation tool 200-1. Select either the field of view or the user's image field of view. For this reason, when the virtual space is shared by a plurality of users, an image generated based on the image field of the operation tool 200-1 operated by another user is displayed, and the user is in a motion sickness state. It becomes possible to prevent.
  • an object indicating the image field of the operation body 200-1 of another user may be displayed.
  • the control device 100-1 may recognize a body part other than the user's head (hereinafter also referred to as a user body part) as the operation body 200-1. .
  • the determination unit 106 determines an image field of view (hereinafter, also referred to as an image field of the user body) based on the position and orientation information of the user body part.
  • the display control unit 108 causes the display unit 110 to display an image generated based on the image field of view of the body part of the user.
  • the position and orientation information of the user body part may be acquired from a motion sensor attached to the user body part, and an image of the user body part as an object in the external device of the control device 100-1 is obtained.
  • FIGS. 6A to 6D are diagrams showing examples of a part of the user body recognized as the operating body 200-1 and its form.
  • the determination unit 106 specifies the form of the part of the user body.
  • the position and orientation information includes a part of the user body and information indicating the form of the part (hereinafter also referred to as part information).
  • the determination unit 106 acquires part information from the acquired position and orientation information, the part and form indicated by the acquired part information, and the part and form stored in the storage unit separately provided in the control device 100-1.
  • the form of the part of the user's body is specified.
  • the form of the user's body includes, for example, a form in which two fingers are projected with the back side of the hand as the front as shown in FIG. 6A, and two sets of two with the palm as shown in FIG. 6B as the front.
  • the form which protrudes an arm etc. can be considered.
  • the determination unit 106 determines the image field of view of the user body part based on the identified form of the user body part.
  • the position of the line-of-sight source can be determined in advance according to the form of the part of the user body.
  • the root of two fingers is the line of sight
  • the tip of the two fingers aligned at the center is the line of sight
  • the extended tip portion of the finger becomes the line-of-sight source
  • a predetermined position of the arm between the elbow and the hand is the line-of-sight source.
  • the determination unit 106 sets an image field of view that uses a position identified according to the form of a part of the user's body as a gaze source as an initial field of view of the image field of the part of the user's body, and determines the user based on the acquired position and orientation information. Determine the image field of view of the body part.
  • the display control unit 108 causes the display unit 110 to display an image generated based on the determined image field of view of the body part of the user. Since details are substantially the same as the processing of the first embodiment, the description is omitted.
  • the determination unit 106 determines the image field of the body part of the user from the position and orientation information of the body part of the user, and the display control unit 108 An image generated based on the image field of the body part is displayed on the display unit 110. For this reason, when a part of the user's body is regarded as the operating body, the user can more easily operate in an image field of view different from his / her own field of view as compared to the case where the operating body is a device.
  • FIGS. 6A to 6D have been described as examples of the user body part.
  • the user body part is not limited to this, and various parts that can represent the user's head movements. It can be.
  • the control device 100-1 generates a display corresponding to the operation body 200-1 (hereinafter also referred to as a corresponding object) based on the image field of view of the operation body 200-1. You may display in the image.
  • the display control unit 108 causes the display unit 110 to display a corresponding object indicating at least a part of the operating tool 200-1 in an image generated based on the image field of the operating tool 200-1.
  • FIG. 7 is a diagram illustrating an example of the corresponding object displayed by the control device 100-1 according to the fourth modification of the present embodiment.
  • the display control unit 108 acquires a corresponding object corresponding to the form or type of the operation body 200-1.
  • the communication unit 102 receives information indicating the type of the operation tool 200-1 connected to the control device 100-1 from the operation tool 200-1.
  • the display control unit 108 acquires a corresponding object corresponding to the type indicated by the received information from the storage unit.
  • the corresponding object may be the object 20 indicating the hand and arm of the doll as shown in FIG.
  • the display control unit 108 may acquire a corresponding object from an external device via the communication unit 102.
  • the display control unit 108 performs control so that the corresponding object is displayed on the image generated based on the image field of view of the operation body 200-1.
  • the object 20 acquired is superimposed on the image 10 generated based on the image field of the operating body 200-1 displayed on the display unit 110.
  • the virtual object display can change according to the position and orientation of the operation tool 200-1.
  • the operation body 200-1 is a doll
  • the hand of the doll is bent
  • the doll's hand of the object 20 as shown in FIG. 7 is bent.
  • the display control unit 108 determines that the corresponding object corresponding to the operation body 200-1 is generated based on the image field of the operation body 200-1. Control to be displayed. For this reason, it is possible to make the user recognize that the display is controlled by the user operation, and to improve the consistency between the user's operational feeling and the display change.
  • the corresponding object indicates at least a part of the operation body 200-1. For this reason, by giving the user the impression that the corresponding object and the operation body 200-1 match, it is possible to improve the realism of the operation in the virtual space.
  • the corresponding object differs depending on the form or type of the operation body 200-1. Therefore, by associating the operating body 200-1 with the virtual object display, it is possible to further improve the sense of reality for the operation in the virtual space.
  • the operation body 200-1 is an apparatus. However, the operation body 200-1 may be a part of the user's body. Further, the example has been described in which the corresponding object is displayed in the image generated based on the image field of the operating body 200-1, but the corresponding object is displayed in the image generated based on the image field of the user. Also good.
  • the control device 100-1 uses an image field of view (hereinafter referred to as a virtual object image) identified based on the position and orientation of an object in a virtual space (hereinafter also referred to as a virtual object).
  • a virtual object image an image generated based on the visual field may be displayed.
  • the display control unit 108 specifies the moving direction of the virtual object in the virtual space, and causes the display unit 110 to display an image generated based on the image field of view with the specified moving direction as the line-of-sight destination.
  • FIG. 8 is a diagram for explaining an image generated based on the image field of view in the process of the control device 100-1 according to the fifth modification of the present embodiment.
  • the display control unit 108 causes the display unit 110 to display a virtual object.
  • the display control unit 108 can display a virtual object 30 such as a vehicle as shown in the left diagram of FIG. 8 in the image 10 generated based on the image field of view of the operation tool 200-1.
  • the display control unit 108 causes the display unit 110 to switch the display to an image generated based on an image field of view using the virtual object as a line-of-sight source. For example, when an operation of pinching the virtual object 30 as shown in the left diagram of FIG. 8 is performed, the display control unit 108 places the virtual object 30 on the display unit 110 as shown in the middle diagram of FIG. The display is switched to the image 10 generated based on the image visual field in the moving direction of the virtual object 30 as the line-of-sight source.
  • the determination unit 106 changes the image field of view according to the change in the position and orientation of the virtual object. For example, the determination unit 106 detects a change in position and orientation from the coordinate information of the virtual object, and changes the image visual field of the virtual object according to the change.
  • the display control unit 108 causes the display unit 110 to display an image generated based on the image view of the virtual object. Details thereof are substantially the same as those of the above-described embodiment and the like, and thus description thereof is omitted.
  • the display control unit 108 displays an image generated based on the image field of view specified based on the position and orientation of the object in the virtual space. To display. For this reason, it is possible to improve the user's sense of immersion in the virtual space by switching the display to an image generated based on the image field of the virtual object operated by the user in the virtual space.
  • the control device 100-1 may control the image field of view of the virtual object in the fifth modification based on the position and orientation information of the user's head. Specifically, the display control unit 108 changes the image visual field of the virtual object according to a change in the position or posture of the user's head. Furthermore, the process of this modification is demonstrated in detail with reference to FIG.
  • the display control unit 108 causes the display unit 110 to display a virtual object, and when an operation for selecting the virtual object is performed, switches the image generated based on the image field of the virtual object.
  • the position and orientation of the user's head at the time of image switching can be the position and orientation of the line of sight with respect to the image visual field related to the image after switching. Note that the image switching process is substantially the same as the process of the fifth modified example, and thus description thereof is omitted.
  • the determination unit 106 changes the image field of the virtual object according to the change. For example, when the change of the position and orientation of the control device 100-1, that is, the user's head is detected by the sensor 104 as shown in the right diagram of FIG. The image visual field of the virtual object 30 is changed according to the amount of change from the position and orientation.
  • the display control unit 108 causes the display unit 110 to display an image generated based on the image field of the virtual object after the change. For example, the display control unit 108 causes the display unit 110 to display an image as if the scenery on the left side of the virtual object 30 in the traveling direction of the vehicle as seen from the vehicle as shown in the right diagram of FIG. .
  • the display control unit 108 controls the image field of view of the virtual object in the fifth modification based on the position and orientation information of the user's head. For this reason, it becomes possible to further improve the immersion feeling in the virtual space by changing the image visual field of the virtual object according to the movement of the user's head in the real space.
  • the example in which the image field of the virtual object is changed has been described.
  • the image field of the operation tool 200-1 may be changed.
  • the control device 100-1 may change the speed of movement of the virtual object in the virtual space according to the attitude of the operating body 200-1. Specifically, when the position and orientation of a part of the operating body 200-1 are changed, the display control unit 108 changes the position and orientation of the operating body 200-1 on the virtual space of the virtual object. Change the speed of movement. Furthermore, the process of this modification is demonstrated in detail with reference to FIG. FIG. 9 is a diagram illustrating an example of a change in the posture of a part of the operating body 200-1 connected to the control device 100-1 according to the seventh modification example of the present embodiment.
  • the operating body 200-1 detects a plurality of pieces of position / orientation information.
  • the operating body 200-1 includes two sensors 202, and the control unit 204 generates position and orientation information based on changes in position and orientation detected by each sensor 202.
  • the sensor 202 can be provided in each of the head A and the lower part B of the operating body 200-1 as shown in FIG.
  • the installation aspect of the sensor 202 is not limited to this,
  • the sensor 202 can be provided for every main indirect of a user.
  • the position and orientation information includes information indicating the position where the sensor 202 is provided.
  • the display control unit 108 determines whether the position / posture of only a part of the operation tool 200-1 has been changed. For example, as shown in FIG. 9, when the operating body 200-1 is tilted only on the upper body around the lower part B, the sensor 202 provided in the head A detects that the posture has changed, The provided sensor 202 detects that the posture has not changed or has changed only to such an extent that it is regarded as not changing. Therefore, the position and orientation information related to the sensor 202 provided in the head A is received, but the position and orientation information related to the sensor 202 provided in the lower part B is not received.
  • the display control unit 108 determines that the position and orientation of only a part of the operating tool 200-1 has been changed based on whether or not the position and orientation information is received.
  • the display control unit 108 determines that the posture is changed only around the head A of the operation body 200-1.
  • the display control unit 108 changes the speed of movement of the virtual object when it is determined that the position and orientation of only a part of the operation body 200-1 has been changed. For example, as shown in FIG. 9, when the posture is changed only around the head A of the operation tool 200-1, the display control unit 108 does not change the image field of view of the operation tool 200-1 without changing the image field of view. Improve the speed of object movement.
  • the display control unit 108 changes the speed of movement of the virtual object in accordance with the amount of change from the position and orientation reference indicated by the position and orientation information.
  • the position and orientation in the initial visual field as shown in the left diagram of FIG. 9 can be set as a reference. Then, when the posture is changed to the angle as shown in the middle diagram of FIG. 9 centering on the lower part B, the speed of movement of the virtual object is improved, and further, the angle as shown in the right diagram of FIG. When the posture is changed to the point, the movement speed of the virtual object is further improved.
  • the display control unit 108 when the position and orientation of only a part of the operation body 200-1 is changed, The speed of movement of the virtual object in the virtual space is changed according to the change amount of the position and orientation. For this reason, by operating the virtual object intuitively, it is possible to suppress the return of consciousness from the virtual space to the real space due to the operation.
  • the control unit 204 may cause the communication unit 206 to transmit the position and orientation information of each sensor 202.
  • the display control unit 108 compares the received position and orientation information with the past position and orientation information, and determines whether the position and orientation has changed.
  • the display control unit 108 is based on the change in the position and orientation of each of the plurality of operation bodies 200-1. May be processed. For example, when the position and orientation of only one operation body 200-1 among the plurality of operation bodies 200-1 are changed, the display control unit 108 responds to the change in the position and orientation of the one operation body 200-1. To change the speed of movement of the virtual object in the virtual space. In this case, an operation for changing the speed of movement of the virtual object is easier than in the case of the single operating body 200-1, and the operability for the user can be improved.
  • Second Embodiment (Example of Controlling Image Field Based on Position and Orientation of Operating Device)>
  • the control apparatus 100-1 according to the first embodiment of the present disclosure has been described above.
  • the control device 100-2 according to the second embodiment of the present disclosure will be described.
  • the control device 100-2 controls the image visual field related to the image of the operation device 300 controlled in accordance with the operation of the operation body 200-2.
  • FIG. 10 is a block diagram illustrating a schematic functional configuration of a control system configured using the control device 100-2 according to the second embodiment of the present disclosure. Note that description of functions that are substantially the same as the functions of the first embodiment will be omitted.
  • control system includes a control device 100-2, an operating body 200-2, and an operation device 300.
  • the control device 100-2 includes an operation control unit 112 in addition to the communication unit 102, the sensor 104, the determination unit 106, the display control unit 108, and the display unit 110.
  • the communication unit 102 communicates with the operation device 300. Specifically, the communication unit 102 transmits a motion request to the motion device 300 and receives position and orientation information and an image from the motion device 300.
  • the operation control unit 112 controls the operation device 300 based on the position and orientation information of the operating body 200-2 as a control unit. Specifically, the motion control unit 112 generates a motion request for causing the motion device 300 to change the position and orientation according to the change in position and orientation indicated by the position and orientation information received from the operating tool 200-2. .
  • the determining unit 106 determines an image field of view related to the operation device 300. Specifically, the determining unit 106 is based on the position / orientation information of the motion device 300 received by the communication unit 102, and the image field of view of the motion device 300 (hereinafter also referred to as the image field of view of the motion device 300). ). The details of the processing are substantially the same as the image visual field determination processing of the operation tool 200-1 in the first embodiment, and thus description thereof is omitted.
  • the display control unit 108 causes the display unit 110 to display an image received from the operation device 300. Further, the display control unit 108 selects either the image field of view of the operation device 300 or the user's image field of view based on the user's aspect. Specifically, the display control unit 108 selects the image field of the user when the position and orientation of the motion device 300 and the user's head are changed in different directions. Note that the image generated based on the user's image field of view may be a wide-angle image or an omnidirectional image, and is generated by combining images obtained by imaging by a plurality of imaging units or an external imaging device. It may be an image. Details of the processing are substantially the same as the processing in the first embodiment, and thus the description thereof is omitted.
  • the operating device 300 includes a communication unit 302, a control unit 304, a sensor 306, and an imaging unit 308, as shown in FIG.
  • the communication unit 302 communicates with the control device 100-2. Specifically, the communication unit 302 receives an operation request from the control device 100-2, and transmits position and orientation information and an image to the control device 100-2. The communication unit 302 communicates with the control device 100-2 via wired communication or wireless communication.
  • the control unit 304 controls the operation of the operation device 300 as a whole. Specifically, the control unit 304 generates position and orientation information based on the change in position and orientation detected by the sensor 306, and transmits the generated position and orientation information to the control unit 100-2. Let
  • control unit 304 controls the movement of the operation device 300 based on the operation request received from the control device 100-2. For example, the control unit 304 instructs the operation device 300 to perform an operation in accordance with an operation request of the control device 100-2 by giving an operation instruction to a motor, an actuator, or the like separately provided in the operation device 300.
  • control unit 304 controls the operation of the imaging unit 308. For example, the control unit 304 causes the imaging unit 308 to transition to the imaging state or transition from the imaging state to the original state according to the operation instruction. Then, the control unit 304 causes the communication unit 302 to transmit an image obtained by imaging by the imaging unit 308 toward the control device 100-2.
  • Sensor 306 detects a change in the position and orientation of motion device 300.
  • the sensor 306 of this embodiment is substantially the same as the sensor 104 and the sensor 202 of the first embodiment, and thus detailed description thereof is omitted.
  • the imaging unit 308 images a part of the real space around the operation device 300. Specifically, the imaging unit 308 transitions to an imaging state based on an operation instruction from the control unit 304, and periodically performs imaging during the imaging state. Then, the imaging unit 308 provides the control unit 304 with an image obtained by imaging.
  • the imaging unit 308 may include an imaging optical system such as a condensing photographing lens and a zoom lens, and a signal conversion element such as a charge coupled device (CCD) or a complementary metal oxide semiconductor (CMOS). Note that the imaging unit 308 may perform wide-angle or omnidirectional imaging.
  • FIG. 11 is a flowchart conceptually showing processing of the control device 100-2 in the present embodiment. Note that description of processing that is substantially the same as that of the first embodiment is omitted.
  • control device 100-2 waits until it receives position / orientation information from the operating tool 200-2 (step S702).
  • the control device 100-2 gives an operation instruction to the operating device 300 based on the position / orientation information of the operating tool (step S704). Specifically, the motion control unit 112 generates a motion request based on the position and orientation information received from the operating tool 200-2. Then, the operation control unit 112 causes the communication unit 102 to transmit an operation request generated to the operation device 300.
  • control device 100-2 waits until it receives position / orientation information from the motion device 300 (step S706).
  • the control device 100-2 detects the image field of view of the operating device 300 based on the position / orientation information of the operating device 300 (step S708).
  • control device 100-2 acquires the position and orientation information of the control device (step S710), and determines the image field of view of the user based on the acquired position and orientation information of the control device (step S712).
  • control device 100-2 determines whether the position and orientation of the motion device 300 and the user's head have changed in different directions (step S714).
  • the control device 100-2 displays an image received from the motion device (step S716). Specifically, the communication unit 102 receives an image obtained by imaging by the imaging unit 308 from the operation device 300. When the display control unit 108 determines that the change direction of the position and orientation of the motion device 300 and the change direction of the position and orientation of the user's head are the same or the same, it is received. The image is displayed on the display unit 110.
  • the control device 100-2 displays an image corresponding to the image field of the user based on the image received from the motion device 300. Is generated (step S718), and the generated image is displayed (step S720). Specifically, when it is determined that the change direction of the position and orientation of the motion device 300 is different from the change direction of the position and orientation of the user's head, the display control unit 108 is based on an image received from the motion device 300. To generate an image. For example, the display control unit 108 combines a plurality of received images and generates one image. Then, the display control unit 108 causes the display unit 110 to display the generated image. Note that the generated image is generated based on the size of the image field of view of the user.
  • the control device 100-2 controls the display based on the image field of view of the operation device 300 controlled in accordance with the operation of the operation body 200-2. For this reason, for example, in the operation of a robot or the like, it is possible to suppress the motion sickness of the user due to the fact that the image generated based on the image field of view of the robot or the like changed by the operation does not match the movement of the user's head It becomes.
  • the image field of view includes a part of the real space. Furthermore, the image field of view includes a range of a subject in imaging by the imaging device. For this reason, it becomes possible to provide the user with a dynamic viewpoint change in a motion that exceeds the movable range of the user's head in the real space.
  • the control device 100-2 may control the width of the image field of the operation device 300.
  • the motion control unit 112 controls the size of the image field of the motion device 300 according to the operation amount of the user operation.
  • FIG. 12A and FIG. 12B are diagrams illustrating examples of images generated based on the image field of view of the operation device 300 displayed by the control device 100-2 according to the modification of the present embodiment.
  • the operation control unit 112 changes the size of the image field of the operation device 300 according to the operation amount of the operation body 200-2. Specifically, the motion control unit 112 controls the control unit 304 to change the angle of view of the imaging unit 308 included in the motion device 300 in accordance with the amount of change in the position and orientation indicated by the received position and orientation information of the operating body 200-2. To change. For example, the operation control unit 112 increases the angle of view of the imaging unit 308 in the control unit 304 and receives an image as illustrated in FIG. 12A as the change amount of the position and orientation indicated by the position and orientation information increases. Further, the operation control unit 112 causes the control unit 304 to narrow the angle of view of the imaging unit 308 and receives an image as illustrated in FIG.
  • the display control unit 108 controls the width of the image field of the operating device 300 according to the operation amount of the user operation. For this reason, by estimating the fineness of the operation and controlling the width of the image field of view, it is possible to provide the user with a display suitable for the operation and improve the convenience for the user. .
  • the display control unit 108 controls the width of the image field of the operating device 300 according to the operation amount of the user operation. For example, the display control unit 108 changes the angle of view of the virtual camera in accordance with the amount of change in position and orientation indicated by the received position and orientation information of the operating tool 200-2.
  • the display control unit 108 may change the width of the image field according to the size of the operation body 200-1.
  • the communication unit 102 receives information related to the size of the operation tool 200-1 from the operation tool 200-1, and the display control unit 108 responds to the received size of the operation tool 200-1. Change the angle of view of the virtual camera. In this case, the size of the operation body 200-1 can be experienced by the user, and the feeling of immersion in the display can be improved.
  • control device 100-2 according to the second embodiment of the present disclosure has been described.
  • control device 100-3 according to the third embodiment of the present disclosure will be described.
  • the control device 100-3 superimposes an image generated based on the image field of the operation body 200-3 on the image obtained from the operation body 200-3.
  • FIG. 13 is a block diagram illustrating a schematic functional configuration of a control system configured using the control device 100-3 according to the third embodiment of the present disclosure. Note that description of functions that are substantially the same as the functions of the first and second embodiments is omitted.
  • the operation body 200-3 includes an imaging unit 208 in addition to the sensor 202, the control unit 204, and the communication unit 206.
  • the control unit 204 controls the operation of the imaging unit 208. Specifically, the control unit 204 changes the imaging unit 208 to the imaging state or changes from the imaging state to the original state according to the operation instruction. Then, the control unit 204 causes the communication unit 206 to transmit an image obtained by imaging by the imaging unit 208 to the control device 100-3.
  • the communication unit 206 transmits an image obtained by the imaging of the imaging unit 208 to the control device 100-3 in addition to the position and orientation information.
  • the imaging unit 208 images the periphery of the operation body 200-3. Specifically, since the function of the imaging unit 308 in the second embodiment is substantially the same, the description thereof is omitted.
  • control device 100-3 The functional configuration of the control device 100-3 is substantially the same as the functional configuration of the first embodiment, but the functions of the communication unit 102 and the display control unit 108 are partially different.
  • the communication unit 102 receives an image from the operation body 200-3 in addition to the position and orientation information.
  • the display control unit 108 superimposes an image generated based on the image field of the operation tool 200-3 on the image received from the operation tool 200-3. Specifically, the display control unit 108 generates an image generated based on the image field of view of the operating tool 200-3 determined by the determination unit 106, and superimposes the generated image on the received image. For example, the virtual space and the real space can be mapped using a general AR (Augmented Reality) technique, and the coordinates of the virtual space and the real space can be associated, for example. Then, the display control unit 108 extracts, from the virtual space, a part of an image indicating the virtual space generated based on the image field of the operation tool 200-3 determined by the determining unit 106, for example, a virtual object. Then, the extracted virtual object is superimposed on the image received from the operating tool 200-3 displaying the real space according to the coordinate association.
  • FIG. 14 is a flowchart conceptually showing processing of the control device 100-3 in the present embodiment. Note that description of processes that are substantially the same as those in the first and second embodiments is omitted.
  • control device 100-3 waits until it receives position / orientation information from the operating tool 200-3 (step S802).
  • the control device 100-3 determines the image field of view of the operation body 200-3 based on the position / orientation information of the operation body 200-3 (step S804).
  • control device 100-3 generates an image generated based on the image field of view of the operation body 200-3 (step S806). Specifically, the display control unit 108 extracts a virtual object in the virtual space specified by the image field of view of the operation body 200-3.
  • control device 100-3 superimposes an image generated based on the image field of view on the image received from the operating body 200-3 (step S808), and displays the image obtained by the superposition (step S810). ). Specifically, the display control unit 108 superimposes the extracted virtual object on the received image. Then, the display control unit 108 causes the display unit 110 to display an image obtained as a result of superposition.
  • the control device 100-3 superimposes an image generated based on the image field of the operation body 200-3 on the image obtained from the operation body 200-3. To do. For this reason, an image such as the above-described virtual object generated based on the image field of view determined according to the position and orientation of the operation tool 200-3 is superimposed on an image obtained by imaging the operation tool 200-3. As a result, it is possible to improve the amount of information displayed or the feeling of dynamism without giving the user a sense of incongruity.
  • the superimposed virtual object may be changed based on the position and orientation information of the operation body 200-3.
  • the display control unit 108 displays the display position of the virtual object in accordance with the position and orientation of the operation body 200-1 that is changed by performing a gesture of the operation body 200-1, for example, a nodding operation, a caulking operation, or a jump.
  • the color or form is changed, or the displayed virtual object is changed to a different virtual object.
  • the virtual object to be superimposed may be separately generated based on the image received from the operation body 200-3.
  • the display control unit 108 uses an image recognition technique or the like to specify an object shown in the received image and generates a display object related to the specified object. Then, the display control unit 108 superimposes the generated display object on the image.
  • the display object may be acquired from an external device.
  • the control device 100-3 has a corresponding object related to a user of another control device 100-3 (hereinafter also referred to as another user) different from the user of the device. Control may be performed so that an image generated based on the image field of view is displayed. Specifically, the display control unit 108 superimposes corresponding objects related to other users, which are copied on the image received from the operation tool 200-3, on the image. Furthermore, this modification will be described in detail with reference to FIG. FIG. 15 is a diagram illustrating a configuration example of a control system using the control device 100-3 according to the second modification of the present embodiment.
  • control system can be configured by a control device 100-3, a server 400, and a wireless router 500.
  • the control device 100-3 transmits the position / orientation information of the operation tool 200-3 to the server 400 via communication.
  • the communication unit 102 of the control device 100-3A as illustrated in FIG. 15 receives the position / orientation information from the operating body 200-3A
  • the communication unit 102 transmits the position / orientation information to the server 400 via the wireless router 500A and the network 1. To do.
  • the server 400 performs transmission / reception and management of position and orientation information.
  • the server 400 stores the position and orientation information received from each of the control devices 100-3 in the storage unit. Then, the position and orientation information of the control device 100-3 other than the destination control device 100-3 is transmitted to each of the control devices 100-3 periodically or when there is a request from the control device 100-3. To do.
  • the server 400 can transmit the position and orientation information of the control device 100-3A to the control device 100-3B.
  • the position and orientation information may be information in the same spatial coordinate system.
  • the control device 100-3 When the position / orientation information of the other control device 100-3 is received, the control device 100-3 generates a corresponding object indicating another user of the other control device 100-3 based on the position / orientation information. .
  • the display control unit 108 generates a corresponding object indicating another user, for example, a humanoid object, at a position in the virtual space corresponding to the position indicated by the received position and orientation information.
  • the corresponding object is not limited to the object indicating the user, and may be an object related to the user's operation, for example, an object in which the operated doll is anthropomorphic. The corresponding object may be different for each user.
  • control device 100-3 superimposes the corresponding object on the image received from the operation body 200-3.
  • FIG. 11 shows an example in which the server 400 is connected to each of the control devices 100-3 via the wireless router 500. However, the server 400 is connected to each of the control devices 100-3 only via wires. May be.
  • the display control unit 108 controls the corresponding object related to another user to be displayed in the image generated based on the image field of the operation tool 200-3. I do. For this reason, it is possible to easily perform communication between users by grasping at a glance the user using the control device 100-3.
  • the display control unit 108 displays a corresponding object related to another user on an image generated based on the image field of the operation tool 200-1.
  • the display control unit 108 may perform control so that corresponding objects related to other users are displayed in an image generated based on the user's image field of view.
  • FIG. 16 is an explanatory diagram illustrating a hardware configuration of the control device 100 according to the present disclosure.
  • the control device 100 includes a CPU (Central Processing Unit) 132, a ROM (Read Only Memory) 134, a RAM (Random Access Memory) 136, a bridge 138, a bus 140, and an interface 142.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the CPU 132 functions as an arithmetic processing unit and a control unit, and realizes operations of the determination unit 106, the display control unit 108, the operation control unit 112, the determination unit, and the detection unit in the control device 100 in cooperation with various programs.
  • the CPU 132 may be a microprocessor.
  • the ROM 134 stores programs or calculation parameters used by the CPU 132.
  • the RAM 136 temporarily stores programs used in the execution of the CPU 132 or parameters that change as appropriate during the execution.
  • the ROM 134 and the RAM 136 realize part of the storage unit in the control device 100.
  • the CPU 132, the ROM 134, and the RAM 136 are connected to each other by an internal bus including a CPU bus.
  • the input device 144 is an input means for a user to input information, such as a mouse, keyboard, touch panel, button, microphone, switch, and lever, and an input control circuit that generates an input signal based on the input by the user and outputs the input signal to the CPU 132. Etc. A user of the control device 100 can input various data and instruct processing operations to the control device 100 by operating the input device 144.
  • the output device 146 outputs to a device such as a liquid crystal display (LCD) device, an OLED (Organic Light Emitting Diode) device, or a lamp as an example of the display unit 110 of the control device 100. Further, the output device 146 may output sound such as a speaker and headphones.
  • a device such as a liquid crystal display (LCD) device, an OLED (Organic Light Emitting Diode) device, or a lamp as an example of the display unit 110 of the control device 100. Further, the output device 146 may output sound such as a speaker and headphones.
  • LCD liquid crystal display
  • OLED Organic Light Emitting Diode
  • the storage device 148 is a device for storing data.
  • the storage device 148 may include a storage medium, a recording device that records data on the storage medium, a reading device that reads data from the storage medium, a deletion device that deletes data recorded on the storage medium, and the like.
  • the storage device 148 stores programs executed by the CPU 132 and various data.
  • the drive 150 is a storage medium reader / writer, and is built in or externally attached to the control device 100.
  • the drive 150 reads information stored in a mounted removable storage medium such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory and outputs the information to the RAM 134.
  • the drive 150 can also write information to a removable storage medium.
  • connection port 152 is, for example, a bus for connecting to a control device or a peripheral device outside the control device 100.
  • the connection port 152 may be a USB (Universal Serial Bus).
  • the communication device 154 is, for example, a communication interface configured with a communication device for connecting to a network as an example of the communication unit 102 of the control device 100.
  • the communication device 154 performs wired communication regardless of whether it is an infrared communication compatible device, a wireless LAN (Local Area Network) compatible communication device, or an LTE (Long Term Evolution) compatible communication device. It may be a wire communication device.
  • the display target of the display device can be displayed without moving the head of the user.
  • This range can be controlled as the user intends.
  • this makes it possible to provide the user with a dynamic viewpoint change in a motion that exceeds the movable range of the user's head.
  • an image generated based on an image field of view of the robot or the like changed by the operation does not match the movement of the user's head. It is possible to suppress the motion sickness of the user.
  • the virtual object generated based on the image field of view determined according to the position and orientation of the operation body 200-3 is obtained by imaging the operation body 200-3.
  • the image By superimposing on the image, it is possible to improve the amount of information displayed or the feeling of dynamism without giving the user a sense of incongruity.
  • the display control unit 108 may switch the image visual field based on an event in the virtual space.
  • the display control unit 108 can switch the image field of view to either the image field of the operating tool 200 or the user's image field of view according to the switching of the scene.
  • the display control unit 108 may switch the image view based on the movement of the user of the control device 100. For example, when the movement of the control device 100, that is, the movement of the user is detected by the sensor 104, the display control unit 108 switches from the image field of the operating tool 200 to the user's image field.
  • the angle of view of the virtual camera in the initial visual field is described as an angle of view such that the image visual field is narrower than the human visual field.
  • the angle of view of the virtual camera in the initial visual field is The angle of view may be such that the field of view is as wide as the human field of view.
  • the display control unit 108 controls the width of the image field of view according to the operation amount of the user operation. However, the display control unit 108 determines the size or type of the operation tool 200 operated by the user. Depending on the above, or the size of the image field of view may be changed for each operation tool 200.
  • the display control unit 108 may change the width of the image field based on the event in the virtual space. For example, when an event in the virtual space occurs, the display control unit 108 changes the angle of view of the virtual camera or the imaging unit to a predetermined angle of view corresponding to the generated event.
  • the display control unit 108 may change the width of the image field according to the operating body 200 and the position and orientation. For example, the display control unit 108 may narrow the image visual field when the operating tool 200 is facing downward, and may widen the image visual field when the operating tool 200 is facing upward.
  • the display control unit 108 may control the display change amount according to the width of the image field of view. For example, the display control unit 108 can reduce, for example, the speed of change in the scenery of the virtual space as the image visual field becomes narrower.
  • control device 100 is an HMD including the display unit 110.
  • control device 100 may be a control device connected to a separate display device.
  • control device 100 may be a server including the communication unit 102, the determination unit 106, and the display control unit 108.
  • the operation body 200 may include an output unit, and the control device 100 may control the operation of the output unit of the operation body 200 based on an event or the like in the virtual space. For example, when an event in the virtual space occurs, the operation control unit 112 gives an operation instruction to the output unit of the operating body 200 via communication as haptic feedback for the event.
  • the output unit can be, for example, an audio output or a vibration output.
  • the operation body 200 includes an input unit
  • the control device 100 includes an output unit different from the display unit 110
  • the output unit acquires information input to the input unit of the operation body 200 via communication, You may output based on the acquired information.
  • the input unit may be a sound collection sensor such as a stereo microphone
  • the output unit may be a speaker such as headphones.
  • the display control unit 108 may control the drawing speed of the image displayed on the display unit 110.
  • the display control unit 108 can control the delay time of rendering of an image received from the operation body 200 or the operation device 300 or an image related to the virtual space. This makes it possible to give the user an impression of delay or weight with respect to the displayed image.
  • control device 100 is applicable to a game application, mechanical manipulation, telepresence using a robot, or the like.
  • An acquisition unit that acquires position / orientation information related to the position or orientation of an object related to a user operation at a position different from the user's head, and is attached to the user's head based on the position / orientation information.
  • a control unit that controls an image visual field that is a range displayed as an image on the display device.
  • the control device according to (1) wherein the image field of view includes at least a part of a virtual space.
  • the acquisition unit acquires position and orientation information of a user's head, and the control unit is based on the user's aspect and is specified by position and orientation information of an object related to the user operation.
  • the control device wherein either the image field of view or the second image field of view specified by the position and orientation information of the user's head is selected as a range to be displayed as the image.
  • the control unit selects the second image visual field when a predetermined user operation is performed.
  • the image processing apparatus further includes a determination unit that determines whether the user is in an image sickness state, and the control unit determines the second image field of view when the determination unit determines that the user is in an image sickness state.
  • the control device according to any one of (3) to (5), which is selected.
  • the control device wherein the determination unit determines that the user is in an image sickness state when a displacement of the head of the user is equal to or greater than a threshold value.
  • the control unit selects either the first image field or the second image field based on whether the user is an operator of the first image field. ).
  • the control unit performs control so that a corresponding object corresponding to an object related to the user operation is displayed in an image generated based on the first image field of view.
  • the control device according to any one of the above.
  • the control device (10), wherein the corresponding object indicates at least a part of an object related to the user operation.
  • the control device according to (9) or (10), wherein the corresponding object differs depending on a form or type of an object related to the user operation.
  • (12) The control device according to any one of (3) to (11), wherein the control unit controls a width of the first image visual field according to an operation amount of the user operation. .
  • the object according to the user operation includes a virtual object in a virtual space, and the first image visual field includes an image visual field specified based on a position and orientation of the virtual object.
  • the control device according to any one of (12).
  • the object related to the user operation includes an operating body, and the control unit changes the position or the posture of a part of the operating body when only the position or the posture of the operating body is changed.
  • the control device wherein the speed of movement of the virtual object in the virtual space is changed according to the amount.
  • the control unit controls the first image visual field based on position and orientation information of the user's head.
  • the control unit performs control so that an object indicating another user different from the user is displayed in the first image field or the second image field.
  • the control device according to any one of the above.
  • the control device according to (1), wherein the image field of view includes a part of a real space.
  • a control system comprising: a control unit that controls, based on the control unit, an image visual field that is a range displayed as an image on the display device.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】ユーザが頭部を動かすことなく、ユーザが頭部運動をする場合のように表示を制御することが可能な制御装置、制御方法およびプログラムを提供する。 【解決手段】ユーザの頭部と異なる位置にあるユーザ操作に係る物体の位置または姿勢に係る位置姿勢情報を取得する取得部と、前記位置姿勢情報に基づいて、前記ユーザの頭部に装着される表示装置に画像として表示される範囲である画像視野を制御する制御部と、を備える制御装置。

Description

制御装置、制御方法およびプログラム
　本開示は、制御装置、制御方法およびプログラムに関する。
　近年、表示装置の軽量化および縮小化に伴い、ヘッドマウントディスプレイ（ＨＭＤ：Ｈｅａｄ　Ｍｏｕｎｔ　Ｄｉｓｐｌａｙ）等のような頭部に装着される表示装置が開発されるようになっている。さらに、ＨＭＤの表示する映像への没入感を向上させるために、ユーザの頭部運動に応じた画像をＨＭＤに表示させる技術が開発されている。
　例えば、特許文献１では、ＨＭＤに備えられる姿勢センサ等から把握される頭部の回転に応じて、ＨＭＤに表示されるパノラマ画像の視線方向を変更する表示制御技術が開示されている。
特開２０１３－２５８６１４号公報
　しかし、特許文献１で開示される技術では、ユーザが頭部を動かすことによってＨＭＤ等の表示装置の表示が変化されるため、操作を行うユーザに負担がかかる。
　そこで、本開示では、ユーザが頭部を動かすことなく、ユーザが頭部運動をする場合のように表示を制御することが可能な、新規かつ改良された制御装置、制御方法およびプログラムを提案する。
　本開示によれば、ユーザの頭部と異なる位置にあるユーザ操作に係る物体の位置または姿勢に係る位置姿勢情報を取得する取得部と、前記位置姿勢情報に基づいて、前記ユーザの頭部に装着される表示装置に画像として表示される範囲である画像視野を制御する制御部と、を備える制御装置が提供される。
　また、本開示によれば、ユーザの頭部と異なる位置にあるユーザ操作に係る物体の位置または姿勢に係る位置姿勢情報を取得することと、前記位置姿勢情報に基づいて、前記ユーザの頭部に装着される表示装置に画像として表示される範囲である画像視野を制御することと、を含む制御方法が提供される。
　また、本開示によれば、ユーザの頭部と異なる位置にあるユーザ操作に係る物体の位置または姿勢に係る位置姿勢情報を取得する取得機能と、前記位置姿勢情報に基づいて、前記ユーザの頭部に装着される表示装置に画像として表示される範囲である画像視野を制御する制御機能と、をコンピュータに実現させるためのプログラムが提供される。
　以上説明したように本開示によれば、ユーザが頭部を動かすことなく、ユーザが頭部運動をする場合のように表示を制御することが可能な制御装置、制御方法およびプログラムが提供される。
　なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の一実施形態に係る制御装置の概要を説明するための図である。 本開示の第１の実施形態に係る制御装置を用いて構成される制御システムの概略的な機能構成を示すブロック図である。 本実施形態に係る制御装置によって決定される画像視野に基づいて生成される仮想空間を示す画像の表示例を示す図である。 本実施形態に係る制御装置のユーザの頭部の動きおよび操作体の動きの例を示す図である。 本実施形態における制御装置の処理を概念的に示すフローチャートである。 操作体であると認識されるユーザ身体の部位およびその形態の例を示す図である。 操作体であると認識されるユーザ身体の部位およびその形態の例を示す図である。 操作体であると認識されるユーザ身体の部位およびその形態の例を示す図である。 操作体であると認識されるユーザ身体の部位およびその形態の例を示す図である。 本実施形態の第４の変形例に係る制御装置の表示する対応オブジェクトの例を示す図である。 本実施形態の第５の変形例に係る制御装置の処理における画像視野に基づいて生成される画像を説明するための図である。 本実施形態の第７の変形例に係る制御装置に接続される操作体の一部の姿勢変化の例を示す図である。 本開示の第２の実施形態に係る制御装置を用いて構成される制御システムの概略的な機能構成を示すブロック図である。 本実施形態における制御装置の処理を概念的に示すフローチャートである。 本実施形態の変形例に係る制御装置の表示する、動作装置の画像視野に基づいて生成される画像の例を示す図である。 本実施形態の変形例に係る制御装置の表示する、動作装置の画像視野に基づいて生成される画像の他の例を示す図である。 本開示の第３の実施形態に係る制御装置を用いて構成される制御システムの概略的な機能構成を示すブロック図である。 本実施形態における制御装置の処理を概念的に示すフローチャートである。 本実施形態の第２の変形例に係る制御装置を用いた制御システムの構成例を示す図である。 本開示に係る制御装置のハードウェア構成を示した説明図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　なお、説明は以下の順序で行うものとする。
　１．本開示の一実施形態に係る制御装置の概要
　２．第１の実施形態（操作体の位置姿勢に基づいて画像視野を制御する例）
　　２－１．制御装置の構成
　　２－２．制御装置の処理
　　２－３．変形例
　３．第２の実施形態（動作装置の位置姿勢に基づいて画像視野を制御する例）
　　３－１．制御装置の構成
　　３－２．制御装置の処理
　　３－３．変形例
　４．第３の実施形態（操作体の画像視野を利用した表示の例）
　　４－１．制御装置の構成
　　４－２．制御装置の処理
　　４－３．変形例
　５．本開示の一実施形態に係る制御装置のハードウェア構成
　６．むすび
　＜１．本開示の一実施形態に係る制御装置の概要＞
　まず、図１を参照して、本開示の一実施形態に係る制御装置の概要について説明する。図１は、本開示の一実施形態に係る制御装置の概要を説明するための図である。
　本開示の一実施形態に係る制御装置１００は、ユーザの頭部に装着され、ユーザの視野の一部または全部を覆う表示部を備える携帯可能な装置である。また、制御装置１００は、通信機能および表示制御機能を有する。通信機能は、外部装置から情報を受信し、または外部装置に情報を送信する。表示制御機能は、ディスプレイに表示させる画像の表示に係る制御を行う。このため、制御装置１００は、外部装置から画像を受信し、受信される画像をディスプレイに表示させることが可能である。
　例えば、図１に示したように、制御装置１００は、ユーザの頭部に装着される眼鏡型のＨＭＤであり得る。制御装置１００は、外部装置から画像を受信し、受信される当該画像を表示部に表示させる。
　ここで、ＨＭＤの表示する画像への没入感を向上させるために、ユーザの頭部運動に応じた画像をＨＭＤに表示させることが一般に知られている。しかし、この場合、ユーザが頭部を動かすことによってＨＭＤの表示が変更されるため、操作を行うユーザに負担がかかる。また、ＨＭＤの表示範囲は、ユーザの頭部運動が可能な範囲に留まるため、頭部の可動範囲を超えるダイナミックな視点の変化を表示させることが困難である。そこで、本開示の一実施形態に係る制御装置１００は、ユーザの頭部と異なる位置にある操作体等の位置もしくは姿勢またはその両方（以下、位置姿勢とも称する。）に係る情報（以下、位置姿勢情報とも称する。）を受信し、当該位置姿勢情報に基づいて、ユーザの頭部に装着される表示装置に画像として表示される範囲（以下、画像視野とも称する。）を制御する。
　例えば、図１に示したように、制御装置１００は、ユーザ操作可能な人形型の操作体２００と通信可能に接続され得る。制御装置１００は、操作体２００において検出される操作体２００の位置姿勢を示す位置姿勢情報を操作体２００から受信する。次に、制御装置１００は、受信される位置姿勢情報に基づいて、操作体２００の所定の位置、例えば操作体２００の顔の位置を視線元とする画像視野、例えば画角を決定する。そして、制御装置１００は、決定される画角に基づいて画像を生成し、生成される画像を表示部に表示させる。
　このように、本開示の一実施形態に係る制御装置１００は、ユーザの頭部と異なる位置にある操作体等の位置姿勢情報を受信し、当該位置姿勢情報に基づいて、ユーザの頭部に装着される表示装置に画像として表示される範囲を制御する。このため、ユーザの操作する操作体等の位置姿勢に応じた画像が表示されることにより、ユーザが頭部を動かすことなく、表示装置の表示対象となる範囲をユーザの意図通りに制御することが可能となる。なお、図１においては制御装置１００の一例として眼鏡型のＨＭＤを示しているが、制御装置１００は、帽子型またはその他の形態のＨＭＤであってもよく、表示装置を含まず表示装置と接続される装置、例えばサーバ等であってもよい。また、説明の便宜上、第１～第３の実施形態に係る制御装置１００の各々を、制御装置１００－１、制御装置１００－２のように、末尾に実施形態に対応する番号を付することにより区別する。
　＜２．第１の実施形態（操作体の位置姿勢に基づいて画像視野を制御する例）＞
　以上、本開示の一実施形態に係る制御装置１００の概要について説明した。次に、本開示の第１の実施形態に係る制御装置１００－１について説明する。
　一般的に、人間は複数の感覚を組み合わせて仮想空間を知覚しており、特に視覚および身体感覚の整合性を担保することが仮想空間の知覚において重要となる。この整合性が担保されない場合、仮想空間への没入感もしくは臨場感の減退、または映像酔い等が引き起こされ得る。これに対し、人間の頭部運動に応じた画像を提供することが一般に知られている。しかし、この場合、画像として表示される範囲は、人間の頭部運動が可能な範囲に留まるため、頭部の可動範囲を超えるダイナミックな視点の変化を表示させることが困難である。
　そこで、本開示の第１の実施形態に係る制御装置１００－１では、人間の身体運動の代わりに、人間が操作する別の物体の身体運動を利用して、表示部に仮想空間に係る画像として表示される範囲を制御する。
　　＜２－１．制御装置の構成＞
　まず、図２を参照して、本開示の第１の実施形態に係る制御装置１００－１の構成について説明する。図２は、本開示の第１の実施形態に係る制御装置１００－１を用いて構成される制御システムの概略的な機能構成を示すブロック図である。
　図２に示したように、制御システムは、制御装置１００－１および操作体２００－１で構成される。
　　　（操作体２００－１の機能構成）
　操作体２００－１は、センサ２０２、制御部２０４および通信部２０６を備える。
　センサ２０２は、操作体２００－１の位置姿勢の変化を検出する。具体的には、センサ２０２は、制御部２０４の指示に基づいて検出状態に遷移され、検出状態である間、操作体２００－１の位置姿勢の変化および変化量を検出する。例えば、センサ２０２は、加速度センサ、角速度センサ、地磁気センサまたはその他のモーションセンサであり得る。なお、本実施形態では、センサ２０２は、位置姿勢の変化を検出する。
　制御部２０４は、操作体２００－１の動作を全体的に制御する。具体的には、制御部２０４は、センサ２０２に動作指示等を行い、センサ２０２によって検出される操作体２００－１の位置姿勢の変化量を示す情報を位置姿勢情報として生成する。また、制御部２０４は、生成される位置姿勢情報を通信部２０６に送信させる。
　通信部２０６は、制御装置１００－１と通信を行う。具体的には、通信部２０６は、制御部２０４によって生成される位置姿勢情報を制御装置１００－１に送信する。例えば、通信部２０６は、ＷｉＦｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）またはＺｉｇｂｅｅ（登録商標）等を利用した無線通信を行い得る。また、通信部２０６は、有線を介して通信を行ってもよい。
　　　（制御装置１００－１の機能構成）
　また、制御装置１００－１は、図２に示したように、通信部１０２、センサ１０４、決定部１０６、表示制御部１０８および表示部１１０を備える。
　通信部１０２は、取得部として、操作体２００－１と通信を行う。具体的には、通信部１０２は、操作体２００－１から位置姿勢情報を受信する。なお、図２では、通信部１０２は受信のみ行う図を示したが、通信部１０２は位置姿勢情報等の送信要求等を操作体２００－１に送信してもよい。
　センサ１０４は、取得部として、ユーザの頭部運動を検出する。具体的には、センサ１０４は、ユーザの頭部に装着される制御装置１００－１の位置姿勢の変化および変化量を検出する。なお、本実施形態のセンサ１０４は、センサ２０２と実質的に同一であるため詳細な説明を省略する。
　決定部１０６は、制御部として、画像視野を決定する。具体的には、決定部１０６は、通信部１０２によって受信される操作体２００－１の位置姿勢情報に基づいて、第１の画像視野としての、操作体２００－１を視線元とする画像視野（以下、操作体２００－１の画像視野とも称する。）を決定する。例えば、決定部１０６は、過去の操作体２００－１の画像視野について、受信される位置姿勢情報の示す位置姿勢の変化方向および変化量に対応する方向および量の変更を行い、新たな操作体２００－１の画像視野を決定する。
　また、決定部１０６によって決定される操作体２００－１の画像視野は仮想空間の少なくとも一部を含む。例えば、決定部１０６は、制御装置１００－１の動作開始時における操作体２００－１の画像視野（以下、初期視野とも称する。）とし、位置姿勢の変化に応じて当該初期視野から操作体２００－１の画像視野を変更する。なお、初期視野は、仮想空間を構築するアプリケーション等によって決定され、または変更され得る。
　なお、操作体２００－１の画像視野は、操作体２００－１における予め決定される位置を視線元とする画像視野であり得る。例えば、操作体２００－１の画像視野は、操作体２００－１が人形型である場合、当該人形の顔または目に相当する部位を視線元とする画角であり得る。しかし、操作体２００－１の画像視野の視線元は、これに限定されず、例えばユーザ操作等によって設定され、または変更されてもよい。
　また、決定部１０６は、ユーザの頭部の位置姿勢に基づいて、第２の画像視野としての、ユーザの視野に相当する画像視野（以下、ユーザの画像視野とも称する。）を決定する。例えば、決定部１０６は、センサ１０４によって検出される制御装置１００－１、すなわちユーザの頭部の位置姿勢の変化量に基づいて、制御装置１００－１を装着するユーザの画像視野を決定する。なお、決定部１０６は、一般的なヘッドトラッキング技術を用いて特定されるユーザの頭部の位置姿勢に基づいてユーザの画像視野を決定してもよい。
　表示制御部１０８は、制御部として、表示部１１０の表示を制御する。具体的には、表示制御部１０８は、決定部１０６によって決定される操作体２００－１の画像視野に基づいて生成される仮想空間を示す画像を表示部１１０に表示させる。さらに、図３を参照して、表示制御部１０８の処理について詳細に説明する。図３は、本実施形態に係る制御装置１００－１によって決定される画像視野に基づいて生成される仮想空間を示す画像の表示例を示す図である。
　まず、表示制御部１０８は、初期視野の仮想空間を表示部１１０に表示させる。例えば、表示制御部１０８は、図３の左図に示した初期視野Ｆ０の仮想空間を示す画像１０を表示部１１０に表示させる。例えば、画像視野は、仮想空間上のカメラ（以下、仮想カメラとも称する。）の画角によって決定され得る。なお、初期視野を決定する仮想カメラの画角は、画像視野が人間の視野よりも狭くなるような画角であり得る。
　次に、表示制御部１０８は、操作体２００－１の画像視野の変化に応じて表示部１１０の表示を変更させる。例えば、表示制御部１０８は、決定部１０６によって決定される操作体２００－１の画像視野が、図３の右図に示したような初期視野Ｆ０から画像視野Ｆ１、Ｆ２およびＦ３の順に変化される場合、画像１１、１２および１３の順に表示部１１０に表示させる。なお、説明の便宜上、階段状に画像視野が変化される程度の時間間隔で操作体２００－１の画像視野が決定される例を示したが、操作体２００－１の画像視野の決定および当該画像視野に基づいて生成される画像の表示は、より滑らかに画像視野が変化される程度の時間間隔で行われ得る。
　また、表示制御部１０８は、画像視野の選択を行う。具体的には、表示制御部１０８は、ユーザの態様に基づいて、操作体２００－１の画像視野またはユーザの画像視野のいずれかを画像として表示される範囲として選択する。例えば、表示制御部１０８は、所定のユーザ操作が行われる場合、ユーザの画像視野を選択する。さらに、図４を参照して画像視野の選択処理について詳細に説明する。図４は、本実施形態に係る制御装置１００－１のユーザの頭部の動きおよび操作体２００－１の動きの例を示す図である。
　まず、上述したように、表示制御部１０８は、操作体２００－１の画像視野に基づいて生成される仮想空間を示す画像を表示部１１０に表示させる。例えば、表示制御部１０８は、図３の左図に示したような操作体２００－１の画像視野Ｆ０の仮想空間を示す画像１０を表示部１１０に表示させる。
　そして、表示制御部１０８は、操作体２００－１およびユーザの頭部の位置姿勢が互いに異なる方向に変化される場合、ユーザの画像視野を選択する。例えば、決定部１０６は、操作体２００－１およびユーザの頭部の位置姿勢が変化される場合、操作体２００－１およびユーザの頭部の位置姿勢の変化方向を特定する。そして、操作体２００－１の位置姿勢の変化方向とユーザの頭部の位置姿勢の変化方向が異なる、例えば、図４に示したように、操作体２００－１の画像視野の視線元である頭部の回転方向とユーザの頭部の回転方向とが逆方向である場合、表示制御部１０８は、ユーザの画像視野を、画像として表示される範囲として選択する。
　次に、表示制御部１０８は、選択されるユーザの画像視野に基づいて生成される仮想空間を示す画像を表示部１１０に表示させる。例えば、表示制御部１０８は、ユーザの画像視野が選択されると、例えば図３の右図のようなユーザの画像視野Ｆ４の仮想空間を示す画像１４を表示部１１０に表示させる。当該ユーザの画像視野は、操作体２００－１の画像視野よりも広くあり得る。また、ユーザの画像視野に基づいて生成される仮想空間を示す画像１４は、図３の右図に示したように、操作体２００－１の画像視野に基づいて生成される仮想空間を示す画像１０～１３の合成、すなわち表示済みの仮想空間の範囲であり得る。なお、ユーザの画像視野に基づいて生成される仮想空間を示す画像は、当該画像視野の仮想空間全体を示す画像であってもよく、既に表示された画像視野に相当する当該仮想空間全体の一部を示す画像であってもよい。
　なお、上記では、所定のユーザ操作は、操作体２００－１およびユーザの頭部の位置姿勢が異なる方向に変化される操作である例を示したが、所定のユーザ操作は、ユーザによる明示的な画像視野の切り替え操作であってもよい。例えば、表示制御部１０８は、画像視野の切り替えを示すジェスチャが行われたり、制御装置１００－１の別途備える操作部に対する操作、例えば所定のボタンの押下等が行われたりすると、ユーザの画像視野を選択する。また、別途、ユーザの画像視野から操作体２００－１の画像視野への切り替えが行われてもよい。
　また、所定のユーザ操作は、操作体２００－１の変更であってもよい。例えば、表示制御部１０８は、操作体２００－１が他の操作体２００－１に変更される場合、操作体２００－１の種類に応じて操作体２００－１の画像視野またはユーザの画像視野のいずれかに切り替える。
　ここで図２を参照して制御装置１００－１の構成の説明に戻ると、表示部１１０は、表示制御部１０８の指示に基づいて表示を行う。具体的には、表示制御部１０８によって選択される画像視野に基づいて生成される仮想空間を示す画像を表示する。例えば、表示部１１０は、液晶または有機ＥＬ（Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ）等のディスプレイであり得る。
　　＜２－２．制御装置の処理＞
　次に、図５を参照して、本実施形態における制御装置１００－１の処理について説明する。図５は、本実施形態における制御装置１００－１の処理を概念的に示すフローチャートである。
　まず、制御装置１００－１は、操作体２００－１の位置姿勢情報を受信するまで待機する（ステップＳ６０２）。具体的には、通信部１０２は、操作体２００－１において生成される操作体２００－１の位置姿勢情報を受信する。
　位置姿勢情報が受信されると、制御装置１００－１は、受信される操作体２００－１の位置姿勢情報に基づいて操作体２００－１の画像視野を決定する（ステップＳ６０４）。具体的には、決定部１０６は、受信される操作体２００－１の位置姿勢情報の示す位置姿勢の変化量に応じて操作体２００－１の画像視野を変更する。
　次に、制御装置１００－１は、制御装置１００－１の位置姿勢情報を取得する（ステップＳ６０６）。具体的には、決定部１０６は、センサ１０４によって検出される制御装置１００－１の位置姿勢の変化量を示す情報を含む位置姿勢情報をセンサ１０４から取得する。
　次に、制御装置１００－１は、取得される制御装置１００－１の位置姿勢情報に基づいてユーザの画像視野を決定する（ステップＳ６０８）。具体的には、決定部１０６は、取得される制御装置１００－１の位置姿勢情報の示す位置姿勢の変化量に応じてユーザの画像視野を変更する。
　次に、制御装置１００－１は、操作体２００－１およびユーザの頭部の位置姿勢が互いに異なる方向に変化したかを判定する（ステップＳ６１０）。具体的には、決定部１０６は、操作体２００－１の位置姿勢の変化方向とユーザの頭部の位置姿勢の変化方向とが異なるかを判定する。
　操作体２００－１およびユーザの頭部の位置姿勢が互いに異なる方向に変化したと判定される場合、制御装置１００－１は、ユーザの画像視野に基づいて画像を生成する（ステップＳ６１２）。具体的には、表示制御部１０８は、操作体２００－１の位置姿勢の変化方向とユーザの頭部の位置姿勢の変化方向とが異なると判定される場合、ユーザの画像視野に基づいて仮想空間を示す画像を生成する。
　また、操作体２００－１およびユーザの頭部の位置姿勢が互いに異なる方向に変化していないと判定される場合、制御装置１００－１は、操作体２００－１の画像視野に基づいて画像を生成する（ステップＳ６１４）。具体的には、表示制御部１０８は、操作体２００－１の位置姿勢の変化方向とユーザの頭部の位置姿勢の変化方向とが同一または同一とみなされる程度の差異であると判定される場合、操作体２００－１の画像視野に基づいて仮想空間を示す画像を生成する。なお、操作体２００－１またはユーザの頭部の位置姿勢のいずれか一方または両方が変化しない場合も、決定部１０６は上記の場合と同様に判定する。
　制御装置１００－１は、生成される画像を表示する（ステップＳ６１６）。具体的には、表示制御部１０８は、生成される画像を表示部１１０に表示させる。
　このように、本開示の第１の実施形態によれば、制御装置１００－１は、ユーザの頭部と異なる位置にあるユーザ操作に係る物体の位置姿勢に係る位置姿勢情報を受信し、当該位置姿勢情報に基づいて、ユーザの頭部に装着される表示部に画像として表示される範囲である画像視野を制御する。このため、ユーザの操作する操作体等の位置姿勢に応じた画像が表示されることにより、ユーザが頭部を動かすことなく、表示装置の表示対象となる範囲をユーザの意図通りに制御することが可能となる。また、これにより、ユーザの頭部の可動範囲を超えた動きにおけるダイナミックな視点変化をユーザに提供することが可能となる。
　また、上記の画像視野は、仮想空間の少なくとも一部を含む。このため、現実世界の操作によって仮想空間の表示される範囲が決定されることにより、仮想空間への没入感を向上させることが可能となる。
　また、制御装置１００－１は、ユーザの頭部の位置姿勢情報を取得し、ユーザの態様に基づいて、操作体２００－１の画像視野またはユーザの画像視野のいずれかを画像として表示される範囲として選択する。このため、画像視野が切り替えられることにより、ユーザにとって適した画像視野に基づいて生成される画像を表示することが可能となる。
　また、制御装置１００－１は、所定のユーザ操作が行われる場合、ユーザの画像視野を選択する。このため、ユーザの操作に起因して画像視野が切り替えられることにより、画像視野の切り替えについてユーザに唐突感を与える可能性を低下させることが可能となる。
　また、制御装置１００－１は、ユーザ操作に係る物体およびユーザの頭部の位置姿勢が互いに異なる方向に変化される場合、ユーザの画像視野を選択する。一般的には、人間が自己の視野を変更する場合、人間は自己の頭を移動または回転させる。そのため、制御装置１００－１のユーザは、操作体２００－１を操作して画像視野を変更する際に、自己の頭を移動等させ得る。ここで、操作体２００－１の画像視野の変化方向が、自己の頭の変化方向、すなわちユーザの画像視野の変化方向と異なる場合、ユーザは違和感を覚え、さらには嘔吐を催す場合がある。そこで、制御装置１００－１は、この場合にはユーザの画像視野に基づいて表示を行うことにより、ユーザの違和感等の発生を抑制することが可能となる。
　　＜２－３．変形例＞
　以上、本開示の第１の実施形態について説明した。なお、本実施形態は、上述の例に限定されない。以下に、本実施形態の第１～第７の変形例について説明する。
　　　（第１の変形例）
　本実施形態の第１の変形例として、制御装置１００－１は、ユーザが映像酔いに陥った場合、ユーザの画像視野に基づいて生成される画像に切り替えてもよい。具体的には、制御装置１００－１は、ユーザが映像酔い状態であるかを判定する判定部をさらに備え、表示制御部１０８は、当該判定部によってユーザが映像酔い状態あると判定される場合、ユーザの画像視野を選択する。より具体的には、判定部は、ユーザの頭部の変位が閾値以上である場合、ユーザが映像酔い状態であると判定する。
　例えば、判定部は、センサ１０４によって検出されるユーザの頭部の位置姿勢情報に基づいて、頭部の変位量を算出する。そして、判定部は、算出される頭部の変位量が閾値以上である場合、ユーザが映像酔い状態であると判定する。表示制御部１０８は、判定部によってユーザが映像酔い状態であると判定される場合、操作体２００－１の画像視野が選択されているときは、ユーザの画像視野を選択し、表示部１１０に当該ユーザの画像視野に基づいて生成される画像に切り替えさせる。
　このように、本実施形態の第１の変形例によれば、制御装置１００－１は、ユーザが映像酔い状態であるかを判定する判定部を備え、表示制御部１０８は、当該判定部によってユーザが映像酔い状態あると判定される場合、ユーザの画像視野を選択する。このため、ユーザの体調変化に応じて画像視野が切り替えられることにより、ユーザの体調悪化を防止することが可能となる。
　また、判定部は、ユーザの頭部の変位が閾値以上である場合、ユーザが映像酔い状態であると判定する。このため、センサ１０４によって得られる情報に基づいて映像酔い状態の判定が行われることにより、制御装置１００－１への機能追加を抑制することができ、制御装置１００－１のコストを低減することが可能となる。
　なお、判定部は、ユーザの生体情報に基づいて、ユーザが映像酔い状態であるかを判定してもよい。例えば、判定部は、ユーザの発汗または脈拍の状態等に基づいて、ユーザが映像酔い状態であるかを判定し得る。また、乗り物酔いを判定するための技術が応用されてもよい。
　　　（第２の変形例）
　本実施形態の第２の変形例として、複数のユーザが仮想空間を共有する場合、ユーザ毎に画像視野が異なってもよい。具体的には、表示制御部１０８は、ユーザが操作体２００－１の画像視野の操作者であるかに基づいて、操作体２００－１の画像視野またはユーザの画像視野のいずれかを選択する。さらに、図３を参照して本変形例の処理について詳細に説明する。
　通信部１０２は、他の制御装置１００－１と通信を行い、仮想表示の操作要求を送受信する。例えば、通信部１０２は、ユーザ操作等に基づいて操作要求を他の制御装置１００－１に送信する。また、通信部１０２は、他の制御装置１００－１から操作要求を受信すると表示制御部１０８にその旨を通知し、表示制御部１０８は、ユーザに操作要求に応じるかの判断および操作をユーザに促す表示を表示部１１０に表示させる。操作要求に応じる旨の操作が行われると、通信部１０２は、当該操作要求への応答を他の制御装置１００－１に送信する。
　そして、表示制御部１０８は、送信される操作要求への応答が他の制御装置１００－１から受信されると、操作体２００－１の画像視野に基づいて生成される画像を表示部１１０に表示させる。例えば、表示制御部１０８は、図３の左図に示したような、制御装置１００－１に接続される操作体２００－１の画像視野に基づいて生成される画像を表示部１１０に表示させる。
　その後、表示制御部１０８は、他の制御装置１００－１から操作要求が受信されると、ユーザの画像視野に基づいて生成される画像を選択する。例えば、表示制御部１０８は、他の制御装置１００－１の操作要求に応じる旨の応答が返信される場合、表示部１１０に表示される画像を図３の右図に示したようなユーザの画像視野に基づいて生成される画像に切り替えさせる。
　このように、本実施形態の第２の変形例によれば、表示制御部１０８は、ユーザが操作体２００－１の画像視野の操作者であるかに基づいて、操作体２００－１の画像視野またはユーザの画像視野のいずれかを選択する。このため、仮想空間が複数のユーザで共有される場合に、他のユーザが操作する操作体２００－１の画像視野に基づいて生成される画像が表示され、ユーザが映像酔い状態になることを防止することが可能となる。
　なお、ユーザの画像視野に基づいて生成される画像において、他のユーザの操作体２００－１の画像視野を示すオブジェクトが表示されてもよい。
　　　（第３の変形例）
　本実施形態の第３の変形例として、制御装置１００－１は、ユーザの頭部以外の身体の部位（以下、ユーザ身体の部位とも称する。）を操作体２００－１として認識してもよい。具体的には、決定部１０６は、ユーザ身体の部位の位置姿勢情報に基づいて、当該ユーザ身体の部位を視線元とする画像視野（以下、ユーザ身体の部位の画像視野とも称する。）を決定し、表示制御部１０８は、当該ユーザ身体の部位の画像視野に基づいて生成される画像を表示部１１０に表示させる。なお、ユーザ身体の部位の位置姿勢情報は、当該ユーザ身体の部位に装着されるモーションセンサから取得されてもよく、制御装置１００－１の外部装置において当該ユーザ身体の部位を被写体とする画像が解析され、当該外部装置から通信を介して取得されてもよい。さらに、図６Ａ～図６Ｄを参照して本変形例について詳細に説明する。図６Ａ～図６Ｄは、操作体２００－１であると認識されるユーザ身体の部位およびその形態の例を示す図である。
　まず、決定部１０６は、ユーザ身体の部位の形態を特定する。例えば、位置姿勢情報には、ユーザ身体の部位および当該部位の形態を示す情報（以下、部位情報とも称する。）が含まれる。そして、決定部１０６は、取得される位置姿勢情報から部位情報を取得し、取得される部位情報の示す部位および形態と、制御装置１００－１の別途備える記憶部に記憶される部位および形態のパターンとの比較を行うことにより、ユーザ身体の部位の形態を特定する。ユーザ身体の部位の形態には、例えば、図６Ａに示したような手の甲側を正面として二本の指が突き立てられる形態、図６Ｂに示したような手の平を正面として二組の二本の指がそれぞれ揃えられ、残りの指は離隔される形態、図６Ｃに示したような手の平を正面として五指のうちの一本の指が伸長される形態、図６Ｄに示したような手の甲を正面として腕を突き出す形態等が考えられる。
　次に、決定部１０６は、特定されるユーザ身体の部位の形態に基づいてユーザ身体の部位の画像視野を決定する。例えば、ユーザ身体の部位の形態に応じて視線元となる位置が予め決定され得る。例えば、図６Ａに示した形態では二本の指の根元が視線元となり、図６Ｂに示した形態では中央に揃えられる二本の指の先端部分が視線元となり、図６Ｃに示した形態では伸長される指の先端部分が視線元となり、図６Ｄに示した形態では肘と手の間における腕の所定の位置が視線元となる。そのため、決定部１０６は、ユーザ身体の部位の形態に応じて特定される位置を視線元とする画像視野をユーザ身体の部位の画像視野の初期視野とし、取得される位置姿勢情報に基づいてユーザ身体の部位の画像視野を決定する。
　そして、表示制御部１０８は、決定されるユーザ身体の部位の画像視野に基づいて生成される画像を表示部１１０に表示させる。詳細は第１の実施形態の処理と実質的に同一であるため説明を省略する。
　このように、本実施形態の第３の変形例によれば、決定部１０６は、ユーザ身体の部位の位置姿勢情報からユーザ身体の部位の画像視野を決定し、表示制御部１０８は、当該ユーザ身体の部位の画像視野に基づいて生成される画像を表示部１１０に表示させる。このため、ユーザの身体の一部が操作体とみなされることにより、操作体が装置である場合に比べてユーザはより手軽に自己の視野と異なる画像視野で操作をすることが可能となる。
　なお、上記では、ユーザ身体の部位の例として図６Ａ～図６Ｄに示される形態を説明したが、ユーザ身体の部位は、これに限定されず、ユーザの頭部運動を表現可能な様々な部位であり得る。
　　　（第４の変形例）
　本実施形態の第４の変形例として、制御装置１００－１は、操作体２００－１に対応する表示（以下、対応オブジェクトとも称する。）を操作体２００－１の画像視野に基づいて生成される画像において表示してもよい。具体的には、表示制御部１０８は、表示部１１０に、操作体２００－１の少なくとも一部を示す対応オブジェクトを操作体２００－１の画像視野に基づいて生成される画像において表示させる。さらに、図７を参照して本変形例の処理について詳細に説明する。図７は、本実施形態の第４の変形例に係る制御装置１００－１の表示する対応オブジェクトの例を示す図である。
　まず、表示制御部１０８は、操作体２００－１の形態または種類に応じた対応オブジェクトを取得する。例えば、通信部１０２は、制御装置１００－１に接続される操作体２００－１の種類を示す情報を操作体２００－１から受信する。そして、表示制御部１０８は、受信される当該情報の示す種類に対応する対応オブジェクトを記憶部から取得する。例えば、操作体２００－１が人形型である場合、対応オブジェクトは、図７に示したような人形の手および腕を示すオブジェクト２０であり得る。なお、表示制御部１０８は、通信部１０２を介して外部装置から対応オブジェクトを取得してもよい。
　次に、表示制御部１０８は、操作体２００－１の画像視野に基づいて生成される画像に対応オブジェクトが表示されるように制御する。例えば、表示部１１０の表示する操作体２００－１の画像視野に基づいて生成される画像１０に取得されるオブジェクト２０が重畳される。
　なお、仮想物体表示は、操作体２００－１の位置姿勢に応じて変化し得る。例えば、操作体２００－１が人形である場合、当該人形の手を曲げると、図７に示したようなオブジェクト２０の人形の手が曲げられる。
　このように、本実施形態の第４の変形例によれば、表示制御部１０８は、操作体２００－１に対応する対応オブジェクトが操作体２００－１の画像視野に基づいて生成される画像において表示されるように制御を行う。このため、ユーザ操作によって表示が制御されることをユーザに認識させ、ユーザの操作感覚と表示の変化との整合性を向上させることが可能となる。
　また、対応オブジェクトは、操作体２００－１の少なくとも一部を示す。このため、対応オブジェクトと操作体２００－１とが一致する印象をユーザに与えることにより、仮想空間上における操作に対する現実感を向上させることが可能となる。
　また、対応オブジェクトは、操作体２００－１の形態または種類に応じて異なる。このため、操作体２００－１と仮想物体表示とが対応付けられることにより、仮想空間上における操作に対する現実感をさらに向上させることが可能となる。
　なお、上記では、操作体２００－１は装置である例を説明したが、操作体２００－１はユーザ身体の部位であってもよい。また、対応オブジェクトは、操作体２００－１の画像視野に基づいて生成される画像において表示される例を説明したが、対応オブジェクトは、ユーザの画像視野に基づいて生成される画像において表示されてもよい。
　　　（第５の変形例）
　本実施形態の第５の変形例として、制御装置１００－１は、仮想空間上のオブジェクト（以下、仮想オブジェクトとも称する。）の位置姿勢に基づいて特定される画像視野（以下、仮想オブジェクトの画像視野とも称する。）に基づいて生成される画像を表示してもよい。具体的には、表示制御部１０８は、仮想オブジェクトの仮想空間上の移動方向を特定し、特定される移動方向を視線先とする画像視野に基づいて生成される画像を表示部１１０に表示させる。さらに、図８を参照して本変形例の処理について詳細に説明する。図８は、本実施形態の第５の変形例に係る制御装置１００－１の処理における画像視野に基づいて生成される画像を説明するための図である。
　まず、表示制御部１０８は、仮想オブジェクトを表示部１１０に表示させる。例えば、表示制御部１０８は、操作体２００－１の画像視野に基づいて生成される画像１０は、図８の左図に示したような車両等の仮想オブジェクト３０が表示され得る。
　次に、表示制御部１０８は、仮想オブジェクトを選択する操作が行われると、表示部１１０に、仮想オブジェクトを視線元とする画像視野に基づいて生成される画像に表示を切り替えさせる。例えば、図８の左図に示したような仮想オブジェクト３０をつまむ操作が行われると、表示制御部１０８は、図８の中図に示したような、表示部１１０に、当該仮想オブジェクト３０を視線元とする当該仮想オブジェクト３０の移動方向の画像視野に基づいて生成される画像１０に表示を切り替えさせる。
　次に、決定部１０６は、ユーザ操作によって仮想オブジェクトの位置姿勢が変化される場合、仮想オブジェクトの位置姿勢の変化に応じて画像視野を変更する。例えば、決定部１０６は、仮想オブジェクトの座標情報等から位置姿勢の変化を検出し、当該変化に応じて仮想オブジェクトの画像視野を変更する。
　そして、表示制御部１０８は、仮想オブジェクトの画像視野に基づいて生成される画像を表示部１１０に表示させる。詳細については上述の実施形態等と実質的に同一であるため説明を省略する。
　このように、本実施形態の第５の変形例によれば、表示制御部１０８は、仮想空間上のオブジェクトの位置姿勢に基づいて特定される画像視野に基づいて生成される画像を表示部１１０に表示させる。このため、仮想空間上でユーザによって操作される仮想オブジェクトの画像視野に基づいて生成される画像に表示が切り替えられることにより、ユーザの仮想空間への没入感を向上させることが可能となる。
　　　（第６の変形例）
　本実施形態の第６の変形例として、制御装置１００－１は、ユーザの頭部の位置姿勢情報に基づいて、第５の変形例における仮想オブジェクトの画像視野を制御してもよい。具体的には、表示制御部１０８は、ユーザの頭部の位置または姿勢の変化に応じて仮想オブジェクトの画像視野を変更する。さらに、図８を参照して本変形例の処理について詳細に説明する。
　まず、表示制御部１０８は、表示部１１０に、仮想オブジェクトを表示させ、仮想オブジェクトを選択する操作が行われると、仮想オブジェクトの画像視野に基づいて生成される画像を切り替えさせる。ここで、画像切り替えの際のユーザの頭部の位置姿勢が、切り替え後の画像に係る画像視野についての視線元の位置姿勢となり得る。なお、画像切り替え処理は第５の変形例の処理と実質的に同一であるため説明を省略する。
　次に、決定部１０６は、ユーザの頭部の位置姿勢が変化されると、当該変化に応じて仮想オブジェクトの画像視野を変更する。例えば、決定部１０６は、図８の右図に示したような、センサ１０４によって制御装置１００－１、すなわちユーザの頭部の位置姿勢の変化が検出されると、ユーザの頭部の視線元の位置姿勢からの変化量に応じて仮想オブジェクト３０の画像視野を変更する。
　そして、表示制御部１０８は、変更後の仮想オブジェクトの画像視野に基づいて生成される画像を表示部１１０に表示させる。例えば、表示制御部１０８は、図８の右図に示したような、仮想オブジェクト３０である車両の進行方向に向かって左側の風景を当該車両から見たような画像を表示部１１０に表示させる。
　このように、本実施形態の第６の変形例によれば、表示制御部１０８は、ユーザの頭部の位置姿勢情報に基づいて、第５の変形例における仮想オブジェクトの画像視野を制御する。このため、仮想オブジェクトの画像視野が現実空間におけるユーザの頭部の動きに応じて変化されることにより、仮想空間への没入感をさらに向上させることが可能となる。
　なお、上記では、仮想オブジェクトの画像視野が変化される例を説明したが、操作体２００－１の画像視野が変化されてもよい。
　　　（第７の変形例）
　本実施形態の第７の変形例として、制御装置１００－１は、仮想オブジェクトの仮想空間上の移動の速さを操作体２００－１の姿勢に応じて変化させてもよい。具体的には、操作体２００－１の一部の位置姿勢が変化される場合、表示制御部１０８は、操作体２００－１の一部の位置姿勢の変化に応じて仮想オブジェクトの仮想空間上の移動の速さを変更する。さらに、図９を参照して本変形例の処理について詳細に説明する。図９は、本実施形態の第７の変形例に係る制御装置１００－１に接続される操作体２００－１の一部の姿勢変化の例を示す図である。
　操作体２００－１は、複数の位置姿勢情報を検出する。例えば、操作体２００－１は、２つのセンサ２０２を備え、制御部２０４は、各センサ２０２において検出される位置姿勢の変化に基づいて位置姿勢情報を生成する。例えば、センサ２０２は、図９に示されるような操作体２００－１の頭部Ａおよび下部Ｂのそれぞれに備えられ得る。なお、センサ２０２の設置態様はこれに限定されず、例えばセンサ２０２はユーザの主要な間接毎に設けられ得る。また、位置姿勢情報は、センサ２０２の備えられる位置を示す情報を含む。
　表示制御部１０８は、操作体２００－１から位置姿勢情報が受信されると、操作体２００－１の一部のみの位置姿勢が変化されたかを判定する。例えば、図９に示したように、操作体２００－１が下部Ｂを中心に上半身のみが傾けられる場合、頭部Ａに備えられるセンサ２０２は姿勢が変化した旨を検出するが、下部Ｂに備えられるセンサ２０２は姿勢が変化していない、または変化していないとみなされる程度にしか変化していない旨を検出する。そのため、頭部Ａに備えられるセンサ２０２に係る位置姿勢情報は受信されるが、下部Ｂに備えられるセンサ２０２に係る位置姿勢情報は受信されない。そこで、表示制御部１０８は、位置姿勢情報の受信有無に基づいて、操作体２００－１の一部のみの位置姿勢が変化されたと判定する。ここでは、表示制御部１０８は、操作体２００－１の頭部Ａの周辺のみ姿勢が変化されたと判定する。
　そして、表示制御部１０８は、操作体２００－１の一部のみの位置姿勢が変化されたと判定される場合、仮想オブジェクトの移動の速さを変更する。例えば、表示制御部１０８は、図９に示したように、操作体２００－１の頭部Ａの周辺のみ姿勢が変化される場合、操作体２００－１の画像視野を変更することなく、仮想オブジェクトの移動の速さを向上させる。
　さらに、表示制御部１０８は、位置姿勢情報の示す位置姿勢の基準からの変化量に応じて、仮想オブジェクトの移動の速さを変更する。例えば、図９の左図に示したような、初期視野における位置姿勢が基準に設定され得る。そして、下部Ｂを中心に、図９の中図に示したような角度まで姿勢が変化されると、仮想オブジェクトの移動の速さは向上され、さらに図９の右図に示したような角度まで姿勢が変化されると、仮想オブジェクトの移動の速さはさらに向上される。
　このように、本実施形態の第７の変形例によれば、表示制御部１０８は、操作体２００－１の一部のみの位置姿勢が変化される場合、操作体２００－１の一部の位置姿勢の変化量に応じて仮想オブジェクトの仮想空間上の移動の速さを変更する。このため、仮想オブジェクトが直観的に操作されることにより、操作が原因となって仮想空間から現実空間に意識が戻されることを抑制することが可能となる。
　なお、上記では、操作体２００－１の位置姿勢が変化されない場合、位置姿勢情報が受信されない例を説明したが、センサ２０２のいずれかによって操作体２００－１の位置姿勢が変化した旨が検出される場合には、制御部２０４は、通信部２０６に各センサ２０２の位置姿勢情報を送信させてもよい。この場合、表示制御部１０８は、受信される位置姿勢情報と過去の位置姿勢情報とを比較し、位置姿勢が変化したかを判定する。
　また、上記では、１つの操作体２００－１の異なる位置における位置姿勢が変化される場合について説明したが、表示制御部１０８は、複数の操作体２００－１の各々の位置姿勢の変化に基づいて処理を行ってもよい。例えば、表示制御部１０８は、複数の操作体２００－１のうちの１つの操作体２００－１のみの位置姿勢が変化される場合、当該１つの操作体２００－１の位置姿勢の変化に応じて仮想オブジェクトの仮想空間上の移動の速さを変更する。この場合、１つの操作体２００－１の場合と比べて仮想オブジェクトの移動の速さを変更する操作が容易となり、ユーザの操作性を向上させることが可能となる。
　＜３．第２の実施形態（動作装置の位置姿勢に基づいて画像視野を制御する例）＞
　以上、本開示の第１の実施形態に係る制御装置１００－１について説明した。次に、本開示の第２の実施形態に係る制御装置１００－２について説明する。制御装置１００－２は、操作体２００－２の操作に応じて制御される動作装置３００の画像に係る画像視野を制御する。
　　＜３－１．制御装置の構成＞
　まず、図１０を参照して、本開示の第２の実施形態に係る制御装置１００－２および制御システムの構成について説明する。図１０は、本開示の第２の実施形態に係る制御装置１００－２を用いて構成される制御システムの概略的な機能構成を示すブロック図である。なお、第１の実施形態の機能と実質的に同一である機能については説明を省略する。
　図１０に示したように、第２の実施形態に係る制御システムは、制御装置１００－２、操作体２００－２および動作装置３００で構成される。
　　　（制御装置１００－２の機能構成）
　制御装置１００－２は、通信部１０２、センサ１０４、決定部１０６、表示制御部１０８および表示部１１０に加えて動作制御部１１２を備える。
　通信部１０２は、動作装置３００と通信する。具体的には、通信部１０２は、動作装置３００に動作要求を送信し、動作装置３００から位置姿勢情報および画像を受信する。
　動作制御部１１２は、制御部として、操作体２００－２の位置姿勢情報に基づいて動作装置３００の制御を行う。具体的には、動作制御部１１２は、操作体２００－２から受信される位置姿勢情報の示す位置姿勢の変化に応じた位置姿勢の変化を動作装置３００に行わせるための動作要求を生成する。
　決定部１０６は、動作装置３００に係る画像視野を決定する。具体的には、決定部１０６は、通信部１０２によって受信される動作装置３００の位置姿勢情報に基づいて、動作装置３００を視線元とする画像視野（以下、動作装置３００の画像視野とも称する。）を決定する。処理の詳細については、第１の実施形態における操作体２００－１の画像視野の決定処理と実質的に同一であるため説明を省略する。
　表示制御部１０８は、動作装置３００から受信される画像を表示部１１０に表示させる。また、表示制御部１０８は、ユーザの態様に基づいて、動作装置３００の画像視野またはユーザの画像視野のいずれかを選択する。具体的には、表示制御部１０８は、動作装置３００およびユーザの頭部の位置姿勢が互いに異なる方向に変化される場合、ユーザの画像視野を選択する。なお、ユーザの画像視野に基づいて生成される画像は、広角画像または全天球画像であってもよく、複数の撮像部または外部の撮像装置の撮像により得られる画像が合成されることにより生成される画像であってもよい。処理の詳細については、第１の実施形態における処理と実質的に同一であるため説明を省略する。
　　　（動作装置３００の機能構成）
　動作装置３００は、図１０に示したように、通信部３０２、制御部３０４、センサ３０６および撮像部３０８を備える。
　通信部３０２は、制御装置１００－２と通信する。具体的には、通信部３０２は、制御装置１００－２から動作要求を受信し、制御装置１００－２に位置姿勢情報および画像を送信する。なお、通信部３０２は、有線通信または無線通信を介して制御装置１００－２との通信を行う。
　制御部３０４は、動作装置３００の動作を全体的に制御する。具体的には、制御部３０４は、センサ３０６によって検出される位置姿勢の変化に基づいて位置姿勢情報を生成し、通信部３０２に生成される位置姿勢情報を制御装置１００－２に向けて送信させる。
　また、制御部３０４は、制御装置１００－２から受信される動作要求に基づいて動作装置３００の動きを制御する。例えば、制御部３０４は、動作装置３００の別途備えるモータおよびアクチュエータ等に動作指示を行い、制御装置１００－２の動作要求に応じた動作を動作装置３００に行わせる。
　また、制御部３０４は、撮像部３０８の動作を制御する。例えば、制御部３０４は、動作指示によって、撮像部３０８を撮像状態に遷移させ、または撮像状態から元の状態に遷移させる。そして、制御部３０４は、通信部３０２に撮像部３０８の撮像により得られる画像を制御装置１００－２に向けて送信させる。
　センサ３０６は、動作装置３００の位置姿勢の変化を検出する。なお、本実施形態のセンサ３０６は、第１の実施形態のセンサ１０４およびセンサ２０２と実質的に同一であるため詳細な説明を省略する。
　撮像部３０８は、動作装置３００の周辺の現実空間の一部を撮像する。具体的には、撮像部３０８は、制御部３０４の動作指示に基づいて撮像状態に遷移し、撮像状態中においては定期的に撮像を行う。そして、撮像部３０８は、撮像により得られる画像を制御部３０４に提供する。例えば、撮像部３０８は、集光する撮影レンズおよびズームレンズなどの撮像光学系、およびＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）またはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等の信号変換素子を備え得る。なお、撮像部３０８は、広角または全天球の撮像を行ってもよい。
　　＜３－２．制御装置の処理＞
　次に、図１１を参照して、本実施形態における制御装置１００－２の処理について説明する。図１１は、本実施形態における制御装置１００－２の処理を概念的に示すフローチャートである。なお、第１の実施形態と実質的に同一である処理については説明を省略する。
　まず、制御装置１００－２は、操作体２００－２から位置姿勢情報を受信するまで待機する（ステップＳ７０２）。
　操作体２００－２から位置姿勢情報が受信されると、制御装置１００－２は、操作体の位置姿勢情報に基づいて動作装置３００に動作指示を行う（ステップＳ７０４）。具体的には、動作制御部１１２は、操作体２００－２から受信される位置姿勢情報に基づいて動作要求を生成する。そして、動作制御部１１２は、通信部１０２に生成される動作要求を動作装置３００に向けて送信させる。
　次に、制御装置１００－２は、動作装置３００から位置姿勢情報を受信するまで待機する（ステップＳ７０６）。
　動作装置３００から位置姿勢情報が受信されると、制御装置１００－２は、動作装置３００の位置姿勢情報に基づいて動作装置３００の画像視野を検出する（ステップＳ７０８）。
　次に、制御装置１００－２は、制御装置の位置姿勢情報を取得し（ステップＳ７１０）、取得される制御装置の位置姿勢情報に基づいてユーザの画像視野を決定する（ステップＳ７１２）。
　次に、制御装置１００－２は、動作装置３００およびユーザの頭部の位置姿勢が互いに異なる方向に変化したかを判定する（ステップＳ７１４）。
　動作装置３００およびユーザの頭部の位置姿勢が互いに異なる方向に変化していないと判定される場合、制御装置１００－２は、動作装置から受信される画像を表示する（ステップＳ７１６）。具体的には、通信部１０２は、動作装置３００から撮像部３０８の撮像により得られる画像を受信する。そして、表示制御部１０８は、動作装置３００の位置姿勢の変化方向とユーザの頭部の位置姿勢の変化方向とが同一または同一とみなされる程度の差異であると判定される場合、受信される画像を表示部１１０に表示させる。
　動作装置３００およびユーザの頭部の位置姿勢が互いに異なる方向に変化したと判定される場合、制御装置１００－２は、動作装置３００から受信される画像に基づいてユーザの画像視野に相当する画像を生成し（ステップＳ７１８）、生成される画像を表示する（ステップＳ７２０）。具体的には、表示制御部１０８は、動作装置３００の位置姿勢の変化方向とユーザの頭部の位置姿勢の変化方向とが異なると判定される場合、動作装置３００から受信される画像に基づいて画像を生成する。例えば、表示制御部１０８は、受信される複数の画像を合成し、１つの画像を生成する。そして、表示制御部１０８は、生成される画像を表示部１１０に表示させる。なお、当該生成される画像は、ユーザの画像視野の広さに基づいて生成される。
　このように、本開示の第２の実施形態によれば、制御装置１００－２は、操作体２００－２の操作に応じて制御される動作装置３００の画像視野に基づいて表示を制御する。このため、例えばロボット等の操作において、操作によって変化されるロボット等の画像視野に基づいて生成される画像とユーザの頭部の動きとが一致しないことによるユーザの映像酔いを抑制することが可能となる。
　また、画像視野は、現実空間の一部を含む。さらに、画像視野は、撮像装置の撮像における被写体の範囲を含む。このため、現実空間においてユーザの頭部の可動範囲を超えた動きにおけるダイナミックな視点変化をユーザに提供することが可能となる。
　　＜３－３．変形例＞
　以上、本開示の第２の実施形態について説明した。なお、本実施形態は、上述の例に限定されない。以下に、本実施形態の変形例について説明する。
　本実施形態の変形例として、制御装置１００－２は、動作装置３００の画像視野の広さを制御してもよい。具体的には、動作制御部１１２は、ユーザ操作の操作量に応じて、動作装置３００の画像視野の広さを制御する。さらに、図１２Ａおよび図１２Ｂを参照して本変形例の処理について詳細に説明する。図１２Ａおよび図１２Ｂは、本実施形態の変形例に係る制御装置１００－２の表示する、動作装置３００の画像視野に基づいて生成される画像の例を示す図である。
　動作制御部１１２は、操作体２００－２の操作量に応じて、動作装置３００の画像視野の広さを変更する。具体的には、動作制御部１１２は、受信される操作体２００－２の位置姿勢情報の示す位置姿勢の変化量に応じて、動作装置３００に備えられる撮像部３０８の画角を制御部３０４に変更させる。例えば、動作制御部１１２は、位置姿勢情報の示す位置姿勢の変化量が大きくなる程、制御部３０４に撮像部３０８の画角を広くさせ、図１２Ａに示したような画像を受信する。また、動作制御部１１２は、位置姿勢の変化量が小さくなる程、制御部３０４に撮像部３０８の画角を狭くさせ、図１２Ｂに示したような画像を受信する。
　このように、本実施形態の変形例によれば、表示制御部１０８は、ユーザ操作の操作量に応じて動作装置３００の画像視野の広さを制御する。このため、操作の細かさを推定して画像視野の広さが制御されることにより、当該操作に適した表示をユーザに提供することができ、ユーザの利便性を向上させることが可能となる。
　なお、本変形例の処理は、第１の実施形態についても適用可能である。具体的には、表示制御部１０８は、ユーザ操作の操作量に応じて動作装置３００の画像視野の広さを制御する。例えば、表示制御部１０８は、受信される操作体２００－２の位置姿勢情報の示す位置姿勢の変化量に応じて仮想カメラの画角を変更する。　
　さらに、表示制御部１０８は、第１の実施形態において、操作体２００－１の大きさに応じて画像視野の広さを変更してもよい。具体的には、通信部１０２は操作体２００－１から操作体２００－１の大きさに係る情報を受信し、表示制御部１０８は、受信される操作体２００－１の大きさに応じて仮想カメラの画角を変更する。この場合、操作体２００－１の大きさをユーザに体感させ、表示への没入感を向上させることが可能となる。
　＜４．第３の実施形態（操作体の画像視野を利用した表示の例）＞
　以上、本開示の第２の実施形態に係る制御装置１００－２について説明した。次に、本開示の第３の実施形態に係る制御装置１００－３について説明する。制御装置１００－３は、操作体２００－３から得られる画像に、操作体２００－３の画像視野に基づいて生成される画像を重畳する。
　　＜４－１．制御装置の構成＞
　まず、図１３を参照して、本開示の第３の実施形態に係る制御装置１００－３および制御システムの構成について説明する。図１３は、本開示の第３の実施形態に係る制御装置１００－３を用いて構成される制御システムの概略的な機能構成を示すブロック図である。なお、第１および第２の実施形態の機能と実質的に同一である機能については説明を省略する。
　　　（操作体２００－３の機能構成）
　操作体２００－３は、図１３に示したように、センサ２０２、制御部２０４および通信部２０６に加えて、撮像部２０８を備える。
　制御部２０４は、撮像部２０８の動作を制御する。具体的には、制御部２０４は、動作指示によって、撮像部２０８を撮像状態に遷移させ、または撮像状態から元の状態に遷移させる。そして、制御部２０４は、通信部２０６に撮像部２０８の撮像により得られる画像を制御装置１００－３に向けて送信させる。
　通信部２０６は、位置姿勢情報に加えて、撮像部２０８の撮像により得られる画像を制御装置１００－３に送信する。
　撮像部２０８は、操作体２００－３の周辺を撮像する。具体的には、第２の実施形態における撮像部３０８の機能と実質的に同一であるため説明を省略する。
　　　（制御装置１００－３の機能構成）
　制御装置１００－３の機能構成は、第１の実施形態の機能構成と実質的に同一であるが、通信部１０２および表示制御部１０８の機能が一部異なる。
　通信部１０２は、位置姿勢情報に加えて、画像を操作体２００－３から受信する。
　表示制御部１０８は、操作体２００－３から受信される画像に操作体２００－３の画像視野に基づいて生成される画像を重畳させる。具体的には、表示制御部１０８は、決定部１０６によって決定される操作体２００－３の画像視野に基づいて生成される画像を生成し、生成される画像を受信される画像に重畳させる。例えば、一般的なＡＲ（Ａｕｇｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ）技術等を用いて仮想空間と現実空間とがマッピングされ、例えば仮想空間および現実空間の座標とが対応付けられ得る。そして、表示制御部１０８は、決定部１０６によって決定される操作体２００－３の画像視野に基づいて生成される仮想空間を示す画像の一部、例えば仮想オブジェクトを仮想空間から抽出する。そして、現実空間を表示する操作体２００－３から受信される画像に、抽出される仮想オブジェクトを座標の対応付けに従って重畳させる。
　　＜４－２．制御装置の処理＞
　次に、図１４を参照して、本実施形態における制御装置１００－３の処理について説明する。図１４は、本実施形態における制御装置１００－３の処理を概念的に示すフローチャートである。なお、第１および第２の実施形態と実質的に同一である処理については説明を省略する。
　まず、制御装置１００－３は、操作体２００－３から位置姿勢情報を受信するまで待機する（ステップＳ８０２）。
　操作体２００－３から位置姿勢情報が受信されると、制御装置１００－３は、操作体２００－３の位置姿勢情報に基づいて操作体２００－３の画像視野を決定する（ステップＳ８０４）。
　次に、制御装置１００－３は、操作体２００－３の画像視野に基づいて生成される画像を生成する（ステップＳ８０６）。具体的には、表示制御部１０８は、操作体２００－３の画像視野によって特定される仮想空間内の仮想オブジェクトを抽出する。
　次に、制御装置１００－３は、操作体２００－３から受信される画像に、画像視野に基づいて生成される画像を重畳し（ステップＳ８０８）、重畳により得られる画像を表示する（ステップＳ８１０）。具体的には、表示制御部１０８は、受信される画像に、抽出される仮想オブジェクトを重畳する。そして、表示制御部１０８は、重畳の結果として得られる画像を表示部１１０に表示させる。
　このように、本開示の第３の実施形態によれば、制御装置１００－３は、操作体２００－３から得られる画像に操作体２００－３の画像視野に基づいて生成される画像を重畳する。このため、操作体２００－３の位置姿勢に応じて決定される画像視野に基づいて生成される上述の仮想オブジェクトのような画像が、操作体２００－３の撮像により得られる画像に重畳されることにより、ユーザに違和感を与えることなく表示の情報量または躍動感等を向上させることが可能となる。
　なお、重畳される仮想オブジェクトは、操作体２００－３の位置姿勢情報に基づいて変更されてもよい。例えば、表示制御部１０８は、操作体２００－１のジェスチャ、例えばうなずく動作、かしげる動作またはジャンプ等が行われることによって変化する操作体２００－１の位置姿勢に応じて、仮想オブジェクトの表示位置、色彩もしくは形態等を変更し、または表示される仮想オブジェクトを異なる仮想オブジェクトに変更する。
　また、重畳される仮想オブジェクトは、操作体２００－３から受信される画像に基づいて別途生成されてもよい。例えば、表示制御部１０８は、画像認識技術等を用いて、受信される画像に写されている物体を特定し、特定される物体に係る表示オブジェクトを生成する。そして、表示制御部１０８は、生成される表示オブジェクトを当該画像に重畳させる。なお、表示オブジェクトは外部装置から取得されてもよい。
　　＜４－３．変形例＞
　以上、本開示の第３の実施形態について説明した。なお、本実施形態は、上述の例に限定されない。以下に、本実施形態の変形例について説明する。
　本実施形態の変形例として、制御装置１００－３は、当該装置のユーザと異なる他の制御装置１００－３のユーザ（以下、他のユーザとも称する。）に係る対応オブジェクトが操作体２００－３の画像視野に基づいて生成される画像において表示されるように制御を行ってもよい。具体的には、表示制御部１０８は、操作体２００－３から受信される画像に写される他のユーザに係る対応オブジェクトを当該画像に重畳させる。さらに、図１５を参照して本変形例について詳細に説明する。図１５は、本実施形態の第２の変形例に係る制御装置１００－３を用いた制御システムの構成例を示す図である。
　例えば、本変形例に係る制御システムは、図１５に示したように、制御装置１００－３、サーバ４００および無線ルータ５００で構成され得る。
　まず、制御装置１００－３は、通信を介してサーバ４００に操作体２００－３の位置姿勢情報を送信する。例えば、図１５に示したような制御装置１００－３Ａの通信部１０２は、操作体２００－３Ａから位置姿勢情報を受信すると、無線ルータ５００Ａおよびネットワーク１を介してサーバ４００に位置姿勢情報を送信する。
　サーバ４００は、位置姿勢情報の送受信および管理を行う。例えば、サーバ４００は、制御装置１００－３の各々から受信される位置姿勢情報を記憶部に記憶させる。そして、定期的に、または制御装置１００－３からの要求があった際に、制御装置１００－３の各々に送信先の制御装置１００－３以外の制御装置１００－３の位置姿勢情報を送信する。例えば、サーバ４００は、制御装置１００－３Ａの位置姿勢情報を制御装置１００－３Ｂに送信し得る。なお、位置姿勢情報は同一空間座標系の情報であり得る。
　他の制御装置１００－３の位置姿勢情報が受信されると、制御装置１００－３は、当該位置姿勢情報に基づいて当該他の制御装置１００－３の他のユーザを示す対応オブジェクトを生成する。例えば、表示制御部１０８は、受信される位置姿勢情報の示す位置に対応する仮想空間上の位置に他のユーザを示す対応オブジェクト、例えば人型のオブジェクトを生成する。なお、対応オブジェクトは、ユーザを示すオブジェクトに限定されず、ユーザの操作に係る物体、例えば操作される人形が擬人化されたオブジェクトであってもよい。また、対応オブジェクトはユーザ毎に異なってもよい。
　そして、制御装置１００－３は、操作体２００－３の画像視野内に生成される対応オブジェクトが位置する場合、当該対応オブジェクトを操作体２００－３から受信される画像に重畳させる。
　なお、図１１では、サーバ４００は無線ルータ５００を介して制御装置１００－３の各々と接続される例を示したが、サーバ４００は有線のみを介して制御装置１００－３の各々と接続されてもよい。
　このように、本実施形態の変形例によれば、表示制御部１０８は、操作体２００－３の画像視野に基づいて生成される画像において他のユーザに係る対応オブジェクトが表示されるように制御を行う。このため、制御装置１００－３の利用ユーザが一目で把握されることにより、ユーザ間でコミュニケーションが行われ易くすることが可能となる。
　なお、本変形例の処理は、第１の実施形態についても適用可能である。例えば、表示制御部１０８は、操作体２００－１の画像視野に基づいて生成される画像に他のユーザに係る対応オブジェクトを表示する。
　さらに、表示制御部１０８は、第１の実施形態において、ユーザの画像視野に基づいて生成される画像において他のユーザに係る対応オブジェクトが表示されるように制御を行ってもよい。
　＜５．本開示の一実施形態に係る制御装置のハードウェア構成＞
　以上、本開示の実施形態を説明した。上述した制御装置１００の処理は、ソフトウェアと、以下に説明する制御装置１００のハードウェアとの協働により実現される。
　図１６は、本開示に係る制御装置１００のハードウェア構成を示した説明図である。図１６に示したように、制御装置１００は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）１３２と、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）１３４と、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）１３６と、ブリッジ１３８と、バス１４０と、インターフェース１４２と、入力装置１４４と、出力装置１４６と、ストレージ装置１４８と、ドライブ１５０と、接続ポート１５２と、通信装置１５４とを備える。
　ＣＰＵ１３２は、演算処理部および制御部として機能し、各種プログラムと協働して制御装置１００内の決定部１０６、表示制御部１０８、動作制御部１１２、判定部および検出部の動作を実現する。また、ＣＰＵ１３２は、マイクロプロセッサであってもよい。ＲＯＭ１３４は、ＣＰＵ１３２が使用するプログラムまたは演算パラメータ等を記憶する。ＲＡＭ１３６は、ＣＰＵ１３２の実行にいて使用するプログラムまたは実行において適宜変化するパラメータ等を一時記憶する。ＲＯＭ１３４およびＲＡＭ１３６により、制御装置１００内の記憶部の一部を実現する。ＣＰＵ１３２、ＲＯＭ１３４およびＲＡＭ１３６は、ＣＰＵバスなどから構成される内部バスにより相互に接続されている。
　入力装置１４４は、マウス、キーボード、タッチパネル、ボタン、マイクロホン、スイッチおよびレバーなどユーザが情報を入力するための入力手段、ならびにユーザによる入力に基づいて入力信号を生成し、ＣＰＵ１３２に出力する入力制御回路などから構成されている。制御装置１００のユーザは、入力装置１４４を操作することにより、制御装置１００に対して各種のデータを入力したり処理動作を指示したりすることができる。
　出力装置１４６は、例えば、制御装置１００の表示部１１０の一例として、液晶ディスプレイ（ＬＣＤ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ　Ｌｉｇｈｔ　Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ）装置、ランプなどの装置への出力を行う。さらに、出力装置１４６は、スピーカおよびヘッドフォンなどの音声出力を行ってもよい。
　ストレージ装置１４８は、データ格納用の装置である。ストレージ装置１４８は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置等を含んでもよい。ストレージ装置１４８は、ＣＰＵ１３２が実行するプログラムや各種データを格納する。
　ドライブ１５０は、記憶媒体用リーダライタであり、制御装置１００に内蔵、あるいは外付けされる。ドライブ１５０は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体に記憶されている情報を読み出して、ＲＡＭ１３４に出力する。また、ドライブ１５０は、リムーバブル記憶媒体に情報を書込むこともできる。
　接続ポート１５２は、例えば、制御装置１００の外部の制御装置または周辺機器と接続するためのバスである。また、接続ポート１５２は、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）であってもよい。
　通信装置１５４は、例えば、制御装置１００の通信部１０２の一例として、ネットワークに接続するための通信デバイスで構成された通信インターフェースである。また、通信装置１５４は、赤外線通信対応装置であっても、無線ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）対応通信装置であっても、ＬＴＥ（Ｌｏｎｇ　Ｔｅｒｍ　Ｅｖｏｌｕｔｉｏｎ）対応通信装置であっても、有線による通信を行うワイヤー通信装置であってもよい。
　＜６．むすび＞
　以上、本開示の第１の実施形態によれば、ユーザの操作する操作体等の位置姿勢に応じた画像が表示されることにより、ユーザが頭部を動かすことなく、表示装置の表示対象となる範囲をユーザの意図通りに制御することが可能となる。また、これにより、ユーザの頭部の可動範囲を超えた動きにおけるダイナミックな視点変化をユーザに提供することが可能となる。また、本開示の第２の実施形態によれば、例えばロボット等の操作において、操作によって変化されるロボット等の画像視野に基づいて生成される画像とユーザの頭部の動きとが一致しないことによるユーザの映像酔いを抑制することが可能となる。また、本開示の第３の実施形態によれば、操作体２００－３の位置姿勢に応じて決定される画像視野に基づいて生成される仮想オブジェクトが、操作体２００－３の撮像により得られる画像に重畳されることにより、ユーザに違和感を与えることなく表示の情報量または躍動感等を向上させることが可能となる。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　例えば、上記実施形態では、表示制御部１０８はユーザの態様等に基づいて画像視野を切り替える例を説明したが、表示制御部１０８は仮想空間上のイベントに基づいて画像視野を切り替えてもよい。例えば、表示制御部１０８は場面の切り替えに応じて操作体２００の画像視野またはユーザの画像視野のうちのいずれかに画像視野を切り替え得る。
　また、表示制御部１０８は、制御装置１００のユーザの移動に基づいて画像視野を切り替えてもよい。例えば、表示制御部１０８は、センサ１０４によって制御装置１００の移動、すなわちユーザの移動が検出されると、操作体２００の画像視野からユーザの画像視野に切り替える。
　また、上記実施形態では、初期視野における仮想カメラの画角は、画像視野が人間の視野よりも狭くなるような画角である例を説明したが、初期視野における仮想カメラの画角は、画像視野が人間の視野と同じ広さとなるような画角であってもよい。
　また、上記実施形態では、表示制御部１０８はユーザ操作の操作量に応じて画像視野の広さを制御する例を説明したが、表示制御部１０８はユーザの操作する操作体２００のサイズもしくは種類に応じて、または操作体２００毎に画像視野の広さを変更してもよい。
　また、表示制御部１０８は、仮想空間上のイベントに基づいて画像視野の広さを変更してもよい。例えば、表示制御部１０８は、仮想空間上のイベントが発生すると、仮想カメラまたは撮像部の画角を当該発生イベントに対応する予め決定される画角に変更する。
　また、表示制御部１０８は、操作体２００等と位置姿勢に応じて画像視野の広さを変更してもよい。例えば、表示制御部１０８は、操作体２００が下方を向いている場合、画像視野を狭くしてもよく、操作体２００が上方を向いている場合、画像視野を広くしてもよい。
　また、表示制御部１０８は、画像視野の広さに応じて表示の変化量を制御してもよい。例えば、表示制御部１０８は、画像視野が狭くなる程に、例えば仮想空間の景色の変化の速さを低下させ得る。
　また、上記実施形態では、制御装置１００は、表示部１１０を備えるＨＭＤである例を説明したが、制御装置１００は、別体の表示装置と接続される制御装置であってもよい。例えば、制御装置１００は、通信部１０２、決定部１０６および表示制御部１０８を備えるサーバであってもよい。
　また、操作体２００は出力部を備え、制御装置１００は、仮想空間上のイベント等に基づいて操作体２００の出力部の動作を制御してもよい。例えば、動作制御部１１２は、仮想空間上のイベントが発生すると、当該イベントに対するハプティクスフィードバックとして、通信を介して操作体２００の出力部に動作指示を行う。なお、出力部は、例えば音声出力または振動出力等であり得る。
　また、操作体２００は入力部を備え、制御装置１００は、表示部１１０とは異なる出力部を備え、出力部は、通信を介して操作体２００の入力部に入力される情報を取得し、取得される情報に基づいて出力を行ってもよい。例えば、入力部はステレオマイク等の集音センサであり、出力部はヘッドフォン等のスピーカであり得る。
　また、表示制御部１０８は、表示部１１０に表示させる画像の描画の速さを制御してもよい。例えば、表示制御部１０８は、操作体２００もしくは動作装置３００から受信される画像、または仮想空間に係る画像のレンダリングの遅延時間を制御し得る。これにより、表示される画像に対してユーザに遅さまたは重さの印象を与えることが可能となる。
　また、本開示の各実施形態に係る制御装置１００は、ゲームアプリケーション、メカニカルマニピュレーションまたはロボットを用いたテレプレゼンス等に適用可能である。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　なお、以下のような構成も本開示の技術的範囲に属する。
（１）ユーザの頭部と異なる位置にあるユーザ操作に係る物体の位置または姿勢に係る位置姿勢情報を取得する取得部と、前記位置姿勢情報に基づいて、前記ユーザの頭部に装着される表示装置に画像として表示される範囲である画像視野を制御する制御部と、を備える制御装置。
（２）前記画像視野は、仮想空間の少なくとも一部を含む、前記（１）に記載の制御装置。
（３）前記取得部は、ユーザの頭部の位置姿勢情報を取得し、前記制御部は、前記ユーザの態様に基づいて、前記ユーザ操作に係る物体の位置姿勢情報により特定される第１の画像視野または前記ユーザの頭部の位置姿勢情報により特定される第２の画像視野のいずれかを前記画像として表示される範囲として選択する、前記（２）に記載の制御装置。
（４）前記制御部は、所定のユーザ操作が行われる場合、前記第２の画像視野を選択する、前記（３）に記載の制御装置。
（５）前記制御部は、前記ユーザ操作に係る物体および前記ユーザの頭部の位置または姿勢が互いに異なる方向に変化される場合、前記第２の画像視野を選択する、前記（４）に記載の制御装置。
（６）前記ユーザが映像酔い状態であるかを判定する判定部をさらに備え、前記制御部は、前記判定部によって前記ユーザが映像酔い状態あると判定される場合、前記第２の画像視野を選択する、前記（３）～（５）のいずれか１項に記載の制御装置。
（７）前記判定部は、前記ユーザの頭部の変位が閾値以上である場合、前記ユーザが映像酔い状態であると判定する、前記（６）に記載の制御装置。
（８）前記制御部は、前記ユーザが前記第１の画像視野の操作者であるかに基づいて、前記第１の画像視野または前記第２の画像視野のいずれかを選択する、前記（３）に記載の制御装置。
（９）前記制御部は、前記ユーザ操作に係る物体に対応する対応オブジェクトが前記第１の画像視野に基づいて生成される画像に表示されるように制御を行う、前記（３）～（８）のいずれか１項に記載の制御装置。
（１０）前記対応オブジェクトは、前記ユーザ操作に係る物体の少なくとも一部を示す、前記（９）に記載の制御装置。
（１１）前記対応オブジェクトは、前記ユーザ操作に係る物体の形態または種類に応じて異なる、前記（９）または（１０）に記載の制御装置。
（１２）前記制御部は、前記ユーザ操作の操作量に応じて、前記第１の画像視野の広さを制御する、前記（３）～（１１）のいずれかの１項に記載の制御装置。
（１３）前記ユーザ操作に係る物体は、仮想空間上の仮想オブジェクトを含み、前記第１の画像視野は、前記仮想オブジェクトの位置姿勢に基づいて特定される画像視野を含む、前記（３）～（１２）のいずれか１項に記載の制御装置。
（１４）前記ユーザ操作に係る物体は、操作体を含み、前記制御部は、前記操作体の一部のみの位置または姿勢が変化される場合、前記操作体の一部の位置または姿勢の変化量に応じて前記仮想オブジェクトの仮想空間上の移動の速さを変更する、前記（１３）に記載の制御装置。
（１５）前記制御部は、前記ユーザの頭部の位置姿勢情報に基づいて、前記第１の画像視野を制御する、前記（１３）に記載の制御装置。
（１６）前記制御部は、前記第１の画像視野または前記第２の画像視野において、前記ユーザと異なる他のユーザを示すオブジェクトが表示されるように制御を行う、前記（９）～（１５）のいずれか１項に記載の制御装置。
（１７）前記画像視野は、現実空間の一部を含む、前記（１）に記載の制御装置。
（１８）ユーザの頭部と異なる位置にあるユーザ操作に係る物体の位置または姿勢に係る位置姿勢情報を受信することと、前記位置姿勢情報に基づいて、前記ユーザの頭部に装着される表示装置に画像として表示される範囲である画像視野を制御することと、を含む制御方法。
（１９）ユーザの頭部と異なる位置にあるユーザ操作に係る物体の位置または姿勢に係る位置姿勢情報を受信する受信機能と、前記位置姿勢情報に基づいて、前記ユーザの頭部に装着される表示装置に画像として表示される範囲である画像視野を制御する制御機能と、をコンピュータに実現させるためのプログラム。
（２０）ユーザの頭部に装着される表示装置と、前記ユーザの頭部と異なる位置にあるユーザ操作に係る物体の位置または姿勢に係る位置姿勢情報を取得する取得部と、前記位置姿勢情報に基づいて、前記表示装置に画像として表示される範囲である画像視野を制御する制御部と、を有する制御装置と、を備える制御システム。
　１００　　制御装置
　１０２　　通信部
　１０４　　センサ
　１０６　　決定部
　１０８　　表示制御部
　１１０　　表示部
　１１２　　動作制御部
　２００　　操作体
　２０２　　センサ
　２０４　　制御部
　２０６　　通信部
　２０８　　撮像部
　３００　　動作装置
　４００　　サーバ
 

Claims (20)

  1. 　ユーザの頭部と異なる位置にあるユーザ操作に係る物体の位置または姿勢に係る位置姿勢情報を取得する取得部と、
    　前記位置姿勢情報に基づいて、前記ユーザの頭部に装着される表示装置に画像として表示される範囲である画像視野を制御する制御部と、
    　を備える制御装置。
  2. 　前記画像視野は、仮想空間の少なくとも一部を含む、請求項１に記載の制御装置。
  3. 　前記取得部は、ユーザの頭部の位置姿勢情報を取得し、
    　前記制御部は、前記ユーザの態様に基づいて、前記ユーザ操作に係る物体の位置姿勢情報により特定される第１の画像視野または前記ユーザの頭部の位置姿勢情報により特定される第２の画像視野のいずれかを前記画像として表示される範囲として選択する、請求項２に記載の制御装置。
  4. 　前記制御部は、所定のユーザ操作が行われる場合、前記第２の画像視野を選択する、請求項３に記載の制御装置。
  5. 　前記制御部は、前記ユーザ操作に係る物体および前記ユーザの頭部の位置または姿勢が互いに異なる方向に変化される場合、前記第２の画像視野を選択する、請求項４に記載の制御装置。
  6. 　前記ユーザが映像酔い状態であるかを判定する判定部をさらに備え、
    　前記制御部は、前記判定部によって前記ユーザが映像酔い状態あると判定される場合、前記第２の画像視野を選択する、請求項３に記載の制御装置。
  7. 　前記判定部は、前記ユーザの頭部の変位が閾値以上である場合、前記ユーザが映像酔い状態であると判定する、請求項６に記載の制御装置。
  8. 　前記制御部は、前記ユーザが前記第１の画像視野の操作者であるかに基づいて、前記第１の画像視野または前記第２の画像視野のいずれかを選択する、請求項３に記載の制御装置。
  9. 　前記制御部は、前記ユーザ操作に係る物体に対応する対応オブジェクトが前記第１の画像視野に基づいて生成される画像に表示されるように制御を行う、請求項３に記載の制御装置。
  10. 　前記対応オブジェクトは、前記ユーザ操作に係る物体の少なくとも一部を示す、請求項９に記載の制御装置。
  11. 　前記対応オブジェクトは、前記ユーザ操作に係る物体の形態または種類に応じて異なる、請求項９に記載の制御装置。
  12. 　前記制御部は、前記ユーザ操作の操作量に応じて、前記第１の画像視野の広さを制御する、請求項３に記載の制御装置。
  13. 　前記ユーザ操作に係る物体は、仮想空間上の仮想オブジェクトを含み、
    　前記第１の画像視野は、前記仮想オブジェクトの位置姿勢に基づいて特定される画像視野を含む、請求項３に記載の制御装置。
  14. 　前記ユーザ操作に係る物体は、操作体を含み、
    　前記制御部は、前記操作体の一部のみの位置または姿勢が変化される場合、前記操作体の一部の位置または姿勢の変化量に応じて前記仮想オブジェクトの仮想空間上の移動の速さを変更する、請求項１３に記載の制御装置。
  15. 　前記制御部は、前記ユーザの頭部の位置姿勢情報に基づいて、前記第１の画像視野を制御する、請求項１３に記載の制御装置。
  16. 　前記制御部は、前記第１の画像視野または前記第２の画像視野において、前記ユーザと異なる他のユーザを示すオブジェクトが表示されるように制御を行う、請求項９に記載の制御装置。
  17. 　前記画像視野は、現実空間の一部を含む、請求項１に記載の制御装置。
  18. 　前記画像視野は、撮像装置の撮像における被写体の範囲を含む、請求項１７に記載の制御装置。
  19. 　ユーザの頭部と異なる位置にあるユーザ操作に係る物体の位置または姿勢に係る位置姿勢情報を取得することと、
    　前記位置姿勢情報に基づいて、前記ユーザの頭部に装着される表示装置に画像として表示される範囲である画像視野を制御することと、
    　を含む制御方法。
  20. 　ユーザの頭部と異なる位置にあるユーザ操作に係る物体の位置または姿勢に係る位置姿勢情報を取得する取得機能と、
    　前記位置姿勢情報に基づいて、前記ユーザの頭部に装着される表示装置に画像として表示される範囲である画像視野を制御する制御機能と、
    　をコンピュータに実現させるためのプログラム。
     
PCT/JP2015/067152 2014-09-19 2015-06-15 制御装置、制御方法およびプログラム WO2016042862A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201580048384.7A CN106687888A (zh) 2014-09-19 2015-06-15 控制设备、控制方法和程序
KR1020177003570A KR20170062439A (ko) 2014-09-19 2015-06-15 제어 장치, 제어 방법 및 프로그램
JP2016548589A JP6601402B2 (ja) 2014-09-19 2015-06-15 制御装置、制御方法およびプログラム
EP15842184.2A EP3196734B1 (en) 2014-09-19 2015-06-15 Control device, control method, and program
US15/510,557 US10579109B2 (en) 2014-09-19 2015-06-15 Control device and control method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014-192006 2014-09-19
JP2014192006 2014-09-19

Publications (1)

Publication Number Publication Date
WO2016042862A1 true WO2016042862A1 (ja) 2016-03-24

Family

ID=55532907

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/067152 WO2016042862A1 (ja) 2014-09-19 2015-06-15 制御装置、制御方法およびプログラム

Country Status (6)

Country Link
US (1) US10579109B2 (ja)
EP (1) EP3196734B1 (ja)
JP (1) JP6601402B2 (ja)
KR (1) KR20170062439A (ja)
CN (1) CN106687888A (ja)
WO (1) WO2016042862A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018219688A1 (de) * 2017-05-29 2018-12-06 Audi Ag Verfahren zum betreiben eines virtual-reality-systems und virtual-reality-system
JP2018194889A (ja) * 2017-05-12 2018-12-06 株式会社コロプラ 情報処理方法、コンピュータ及びプログラム
CN110300994A (zh) * 2017-02-23 2019-10-01 索尼公司 图像处理装置、图像处理方法以及图像系统
WO2020235191A1 (ja) * 2019-05-21 2020-11-26 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理装置の制御方法、及びプログラム

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180018211A (ko) * 2016-08-12 2018-02-21 엘지전자 주식회사 자가 학습 로봇
CN108854072A (zh) * 2018-06-22 2018-11-23 北京心智互动科技有限公司 一种声音提示方法及装置
CN110868581A (zh) * 2018-08-28 2020-03-06 华为技术有限公司 一种图像的显示方法、装置及系统
JP2022051972A (ja) * 2019-02-06 2022-04-04 ソニーグループ株式会社 情報処理装置および方法、並びにプログラム
TWI813907B (zh) * 2020-09-30 2023-09-01 優派國際股份有限公司 觸控顯示裝置及其操作方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06289773A (ja) * 1993-04-05 1994-10-18 Toshiba Corp 発電所運転訓練装置
JPH08117440A (ja) * 1994-10-24 1996-05-14 Namco Ltd ３次元シミュレータ装置及び画像合成方法
JP2004258123A (ja) * 2003-02-24 2004-09-16 Canon Inc 表示制御方法、及び表示制御装置
WO2007116743A1 (ja) * 2006-03-31 2007-10-18 Brother Kogyo Kabushiki Kaisha 画像表示装置
US20140268356A1 (en) * 2013-03-15 2014-09-18 University Of Southern California Dynamic field of view throttling as a means of improving user experience in head mounted virtual environments

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06270076A (ja) * 1993-03-25 1994-09-27 Nippon Steel Corp 遠隔操作用カメラ制御装置
US6603491B2 (en) * 2000-05-26 2003-08-05 Jerome H. Lemelson System and methods for controlling automatic scrolling of information on a display or screen
US6497649B2 (en) * 2001-01-21 2002-12-24 University Of Washington Alleviating motion, simulator, and virtual environmental sickness by presenting visual scene components matched to inner ear vestibular sensations
WO2006020846A2 (en) * 2004-08-11 2006-02-23 THE GOVERNMENT OF THE UNITED STATES OF AMERICA as represented by THE SECRETARY OF THE NAVY Naval Research Laboratory Simulated locomotion method and apparatus
JP4642538B2 (ja) * 2005-04-20 2011-03-02 キヤノン株式会社 画像処理方法および画像処理装置
JP4914123B2 (ja) * 2005-07-15 2012-04-11 キヤノン株式会社 画像処理装置及び方法
CN100590660C (zh) * 2005-07-15 2010-02-17 佳能株式会社 图像处理设备和设计方法
JP4757115B2 (ja) * 2006-06-28 2011-08-24 キヤノン株式会社 画像処理装置、画像処理方法
JP6026088B2 (ja) * 2011-08-09 2016-11-16 株式会社トプコン 遠隔操作システム
JP5990998B2 (ja) * 2012-04-23 2016-09-14 セイコーエプソン株式会社 虚像表示装置
JP2013258614A (ja) 2012-06-13 2013-12-26 Sony Computer Entertainment Inc 画像生成装置および画像生成方法
JP6066676B2 (ja) * 2012-11-06 2017-01-25 株式会社ソニー・インタラクティブエンタテインメント ヘッドマウントディスプレイおよび映像提示システム
US20140168261A1 (en) * 2012-12-13 2014-06-19 Jeffrey N. Margolis Direct interaction system mixed reality environments
CN103927005B (zh) * 2014-04-02 2017-02-01 北京智谷睿拓技术服务有限公司 显示控制方法及显示控制装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06289773A (ja) * 1993-04-05 1994-10-18 Toshiba Corp 発電所運転訓練装置
JPH08117440A (ja) * 1994-10-24 1996-05-14 Namco Ltd ３次元シミュレータ装置及び画像合成方法
JP2004258123A (ja) * 2003-02-24 2004-09-16 Canon Inc 表示制御方法、及び表示制御装置
WO2007116743A1 (ja) * 2006-03-31 2007-10-18 Brother Kogyo Kabushiki Kaisha 画像表示装置
US20140268356A1 (en) * 2013-03-15 2014-09-18 University Of Southern California Dynamic field of view throttling as a means of improving user experience in head mounted virtual environments

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110300994A (zh) * 2017-02-23 2019-10-01 索尼公司 图像处理装置、图像处理方法以及图像系统
EP3588447A4 (en) * 2017-02-23 2020-02-26 Sony Corporation IMAGE PROCESSING DEVICE, IMAGE PROCESSING METHOD AND IMAGE SYSTEM
US10969861B2 (en) 2017-02-23 2021-04-06 Sony Corporation Image processing device, image processing method, and image system
CN110300994B (zh) * 2017-02-23 2023-07-04 索尼公司 图像处理装置、图像处理方法以及图像系统
JP2018194889A (ja) * 2017-05-12 2018-12-06 株式会社コロプラ 情報処理方法、コンピュータ及びプログラム
WO2018219688A1 (de) * 2017-05-29 2018-12-06 Audi Ag Verfahren zum betreiben eines virtual-reality-systems und virtual-reality-system
CN110692033A (zh) * 2017-05-29 2020-01-14 奥迪股份公司 用于运行虚拟现实系统的方法和虚拟现实系统
CN110692033B (zh) * 2017-05-29 2020-08-14 奥迪股份公司 用于运行虚拟现实系统的方法和虚拟现实系统
US10955910B2 (en) 2017-05-29 2021-03-23 Audi Ag Method for operating a virtual reality system, and virtual reality system
WO2020235191A1 (ja) * 2019-05-21 2020-11-26 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理装置の制御方法、及びプログラム

Also Published As

Publication number Publication date
KR20170062439A (ko) 2017-06-07
EP3196734A4 (en) 2018-04-18
CN106687888A (zh) 2017-05-17
US10579109B2 (en) 2020-03-03
JPWO2016042862A1 (ja) 2017-07-06
US20170285694A1 (en) 2017-10-05
JP6601402B2 (ja) 2019-11-06
EP3196734B1 (en) 2019-08-14
EP3196734A1 (en) 2017-07-26

Similar Documents

Publication Publication Date Title
JP6601402B2 (ja) 制御装置、制御方法およびプログラム
JP6093473B1 (ja) 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム
KR102276173B1 (ko) 공간-의존 콘텐츠를 위한 햅틱 효과 생성
US10179407B2 (en) Dynamic multi-sensor and multi-robot interface system
US11380021B2 (en) Image processing apparatus, content processing system, and image processing method
US20210069894A1 (en) Remote control system, information processing method, and non-transitory computer-readable recording medium
JP6822410B2 (ja) 情報処理システム及び情報処理方法
EP3262505A1 (en) Interactive system control apparatus and method
JP6822413B2 (ja) サーバ装置及び情報処理方法、並びにコンピュータ・プログラム
JP6220937B1 (ja) 情報処理方法、当該情報処理方法をコンピュータに実行させるためのプログラム及びコンピュータ
US20180218631A1 (en) Interactive vehicle control system
US20220291744A1 (en) Display processing device, display processing method, and recording medium
WO2019142560A1 (ja) 視線を誘導する情報処理装置
WO2017064926A1 (ja) 情報処理装置及び情報処理方法
JP2022184958A (ja) アニメーション制作システム
US20230359422A1 (en) Techniques for using in-air hand gestures detected via a wrist-wearable device to operate a camera of another device, and wearable devices and systems for performing those techniques
US11768546B1 (en) Method and device for positional/rotational information of a finger-wearable device
JP2019197478A (ja) プログラム、及び情報処理装置
US8307295B2 (en) Method for controlling a computer generated or physical character based on visual focus
JP6122194B1 (ja) 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム
JP2018029969A (ja) 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム
WO2024075565A1 (ja) 表示制御装置および表示制御方法
JP2018026099A (ja) 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム
JP2022184456A (ja) 画像処理装置、画像処理方法、及びプログラム
CN117032465A (zh) 基于用户标识的用户界面和设备设置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15842184

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2016548589

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 20177003570

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15510557

Country of ref document: US

REEP Request for entry into the european phase

Ref document number: 2015842184

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2015842184

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE