WO2016158080A1 - 情報処理装置、情報処理方法およびプログラム - Google Patents

情報処理装置、情報処理方法およびプログラム Download PDF

Info

Publication number
WO2016158080A1
WO2016158080A1 PCT/JP2016/055006 JP2016055006W WO2016158080A1 WO 2016158080 A1 WO2016158080 A1 WO 2016158080A1 JP 2016055006 W JP2016055006 W JP 2016055006W WO 2016158080 A1 WO2016158080 A1 WO 2016158080A1
Authority
WO
WIPO (PCT)
Prior art keywords
information processing
processing apparatus
unit
region
display
Prior art date
Application number
PCT/JP2016/055006
Other languages
English (en)
French (fr)
Inventor
一郎 隈田
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Publication of WO2016158080A1 publication Critical patent/WO2016158080A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/02—Viewing or reading apparatus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/64—Constructional details of receivers, e.g. cabinets or dust covers

Definitions

  • This technology relates to an information processing apparatus. Specifically, the present invention relates to an information processing apparatus and an information processing method for displaying an image, and a program for causing a computer to execute the method.
  • an information processing apparatus that provides an image to a user while being worn on a part of the user's body.
  • an image display device has been proposed in which a spectacle-type device main body including a light source and a liquid crystal panel is attached to the face and an image on the liquid crystal panel can be viewed (see, for example, Patent Document 1).
  • the user wants to check the situation around the user while viewing the image. For example, assume that the user wants to see a coffee cup at hand or a friend on the back side.
  • the sensor when a sudden movement or the like is detected by the sensor, the outside world can be seen, but the display of the video in the main body or the sound is stopped.
  • the closed state of the shielding portion is maintained. For this reason, it is necessary to remove the video display device from the face in order to see the coffee cup at hand or a friend on the back side. Therefore, the removal and remounting operation of the video display device required every time the external status is confirmed becomes complicated.
  • This technology has been created in view of such a situation, and aims to easily confirm the situation around the user.
  • the present technology has been made to solve the above-described problems, and the first aspect thereof corresponds to the line-of-sight direction of the person wearing the information processing apparatus among the images corresponding to the three-dimensional space.
  • the image included in the first area to be displayed is changed in accordance with the movement of the person's head, and the second area in the three-dimensional space set based on the position of the information processing apparatus and the first
  • An information processing apparatus including a display processing unit that displays a captured image acquired by an imaging unit in a region overlapping with the region, an information processing method thereof, and a program that causes a computer to execute the method.
  • the image included in the first area corresponding to the person's line-of-sight direction is displayed while being changed according to the movement of the person's head, and the first area and the second area are displayed. This brings about the effect that the captured image is displayed in an area overlapping with the area.
  • the imaging unit may be arranged in the information processing apparatus so that the line-of-sight direction of the person and the optical axis direction of the imaging unit substantially coincide. This brings about the effect
  • the display unit is arranged so that the display surface of the display unit faces the eyes of the person when the information processing apparatus is attached to the person.
  • the imaging unit may be arranged in the information processing apparatus so that an imaging direction is on a side opposite to a display surface of the display unit.
  • the display processing unit may combine the translucent captured image with an image corresponding to the three-dimensional space and display the image on the display unit.
  • an effect is obtained in which a translucent captured image is overwritten and combined with an image corresponding to the three-dimensional space and displayed on the display unit.
  • the display processing unit may use the translucent captured image having a predetermined transmittance or a transmittance based on a user operation. This brings about the effect
  • a setting unit that sets the transmittance based on the pressing time of the operation member may be further provided. This brings about the effect
  • a setting unit for setting the second area may be further provided. This brings about the effect
  • the setting unit may set the second region corresponding to a solid angle including a point immediately below the information processing apparatus. This brings about the effect
  • the setting unit may set the second region by increasing or decreasing the solid angle based on a user operation. This brings about the effect
  • the setting unit may set the second area corresponding to a solid angle including a horizontal direction of the information processing apparatus. This brings about the effect
  • the setting unit may set the second region by designating a direction of the solid angle based on a user operation and increasing or decreasing the solid angle. This brings about the effect that the second region is set by designating the direction of the solid angle based on the user operation and increasing or decreasing the solid angle.
  • the setting unit may set the size of the second region based on the pressing time of the operation member. This brings about the effect
  • the display processing unit may display the captured image when the specific mode is set and the first area and the second area overlap.
  • FIG. 12 is a flowchart illustrating an example of a processing procedure of image display processing by the information processing apparatus 100 according to the embodiment of the present technology. 12 is a flowchart illustrating an example of a processing procedure of external image display area setting processing by the information processing apparatus 100 according to the embodiment of the present technology.
  • Embodiment Example in which when a main image display area and an external image display area overlap, an external image acquired by an imaging unit is displayed together with the main image in the overlap area
  • FIG. 1 is a perspective view illustrating an external configuration of an information processing apparatus 100 according to an embodiment of the present technology.
  • the information processing apparatus 100 is a head mounted display (head mounted display, Head Mounted Display) that is used by being mounted on the user's head.
  • the information processing apparatus 100 when the information processing apparatus 100 is attached to the user's head, the information processing apparatus 100 completely covers the user's eyes.
  • the head mounted display that completely covers the eyes of the user is referred to as a non-transmissive head mounted display, an immersive head mounted display, a goggle type head mounted display, or the like.
  • the information processing apparatus 100 is fixedly mounted on the user's head when in use, the information processing apparatus 100 moves in conjunction with the movement of the user's head.
  • the information processing apparatus 100 is a non-transmissive head mounted display with a head tracking function that has a head tracking function.
  • the head tracking detects the orientation and movement of the user's head with a sensor and extracts a part of the recorded image or changes the display area of the computer graphics image based on the sensor information. This means that the image is displayed as if it were on the spot.
  • a non-transparent head-mounted display with a head tracking function is mounted on a user's head, detects the direction and movement of the head, and based on the direction and movement, displays a display area of a computer graphics image.
  • the non-transmissive head mounted display with a head tracking function includes a sensor, a display, a lens, and the like for head tracking.
  • the information processing apparatus 100 includes a housing 101 and a head mounting unit 102.
  • the head mounting part 102 is a mounting member for fixing and mounting the information processing apparatus 100 on the user's head.
  • the head mounting part 102 is composed of, for example, a headband. Moreover, since the housing
  • the housing 101 includes a first imaging unit 121, a second imaging unit 122, switches 131 to 134, and a display unit 180.
  • the first imaging unit 121 and the second imaging unit 122 are imaging units (for example, camera modules) arranged at positions corresponding to both eyes of the user. That is, the first imaging unit 121 and the second imaging unit 122 are configured so that the user's line-of-sight direction and the optical axis directions of the first imaging unit 121 and the second imaging unit 122 match (or substantially match). Are arranged in the information processing apparatus 100. In addition, each of the first imaging unit 121 and the second imaging unit 122 is arranged in the information processing apparatus 100 so that the opposite side of the display surface of the display unit 180 is the imaging direction.
  • the first imaging unit 121 and the second imaging unit 122 image a subject to generate image data (imaging data), and supply the image data to the merge processing unit 170 (shown in FIG. 2).
  • imaging units for example, imaging devices such as CMOS (Complementary Metal Oxide Semiconductor Image Sensor) and CCD (Charge Coupled Device) can be used.
  • CMOS Complementary Metal Oxide Semiconductor Image Sensor
  • CCD Charge Coupled Device
  • the head tracking is physically performed. For this reason, the image data generated by each of the first imaging unit 121 and the second imaging unit 122 is directly sent to the merge processing unit 170.
  • the first imaging unit 121 and the second imaging unit 122 an example in which two wide-angle camera modules are installed on the front surface of the information processing apparatus 100 corresponding to the position of the user's eyes. Show. However, one or three or more imaging units may be installed on the front surface of the information processing apparatus 100. Further, one or more imaging units may be installed at other positions where the outside of the information processing apparatus 100 can be imaged.
  • the switches 131 to 134 are command input devices that accept user operations, and output operation information regarding the accepted operations to the merge processing unit 170 (shown in FIG. 2).
  • FIG. 1 shows an example in which the information processing apparatus 100 includes four push switches (switches 131 to 134) as a command input device, an operation member included in an external device may be used as the command input device. Good. In this case, the information processing apparatus 100 can accept operation information from an external apparatus via wireless or wired communication.
  • the display unit 180 is a display unit that displays an image supplied from the merge processing unit 170 (shown in FIG. 2). In addition, the display unit 180 is arranged so that the display surface of the display unit 180 faces the user's eyes when the information processing apparatus 100 is mounted on the user.
  • a display panel such as an organic EL (Electro Luminescence) panel or an LCD (Liquid Crystal Display) panel can be used.
  • FIG. 2 is a block diagram illustrating a functional configuration example of the information processing apparatus 100 according to the embodiment of the present technology.
  • the information processing apparatus 100 includes a sensor 110, an imaging unit 120, an operation receiving unit 130, a setting unit 140, an image supply unit 150, a head tracking processing unit 160, a merge processing unit 170, and a display unit 180.
  • the imaging unit 120 corresponds to the first imaging unit 121 and the second imaging unit 122 illustrated in FIG.
  • the operation receiving unit 130 corresponds to the switches 131 to 134 shown in FIG.
  • the display unit 180 corresponds to the display unit 180 illustrated in FIG.
  • the sensor 110 is a sensor for detecting the state of the information processing apparatus 100, and outputs detected sensor information to the setting unit 140, the head tracking processing unit 160, and the merge processing unit 170. Thereby, each of the setting unit 140, the head tracking processing unit 160, and the merge processing unit 170 can grasp the state of the information processing apparatus 100.
  • the sensor 110 may be one or more of various sensors such as an acceleration sensor, a gyro sensor, and a direction sensor. For example, when the acceleration sensor detects gravity, the vertical direction of the information processing apparatus 100 can be detected.
  • the image capturing unit 120 captures a subject, generates image data, and supplies the image data to the merge processing unit 170.
  • the operation accepting unit 130 is a command input device that accepts an operation by a user, and outputs operation information regarding the accepted operation to the setting unit 140.
  • the setting unit 140 performs various settings based on the sensor information output from the sensor 110 and the operation information output from the operation receiving unit 130. For example, the setting unit 140 uses the operation information output from the operation reception unit 130 (or also uses the sensor information output from the sensor 110), and the three-dimensional case where the position of the information processing apparatus 100 is used as a reference. Sets an external image display area in space. For example, the setting unit 140 sets the transmittance of the image to be displayed based on the operation information output from the operation receiving unit 130. Then, the setting unit 140 outputs information regarding the set content (for example, the external image display area) to the merge processing unit 170.
  • the external image display area setting method will be described in detail with reference to FIGS. A method for setting the transmittance will be described in detail with reference to FIG.
  • the image supply unit 150 supplies image data corresponding to the image displayed on the display unit 180 to the head tracking processing unit 160.
  • the image supply unit 150 stores the image data corresponding to the image displayed on the display unit 180, acquires the image data of the image displayed on the display unit 180 from the external device, and acquires the head tracking processing unit 160. It is realized by the interface that supplies to
  • the head tracking processing unit 160 performs a cutting process of the image data supplied from the image supply unit 150 based on the sensor information output from the sensor 110. That is, the head tracking processing unit 160 corresponds to image data included in a display area (display area in the user's viewing direction) to be displayed on the display unit 180 among the image data supplied from the image supply unit 150. Process to cut out. Then, the head tracking processing unit 160 outputs the cut image data to the merge processing unit 170. An image corresponding to the image data cut out in this way is displayed on the display unit 180 as a main image.
  • the merge processing unit 170 performs a merge process on the image data output from the head tracking processing unit 160 and the image data output from the imaging unit 120 based on the sensor information output from the sensor 110. Then, the merge processing unit 170 supplies the image data generated by the merge processing to the display unit 180.
  • the merge processing unit 170 selects an area that overlaps the external image display area set by the setting unit 140 from the image data output from the head tracking processing unit 160. Identify. Then, the merge processing unit 170 replaces the image data corresponding to the overlapping area in the image data output from the head tracking processing unit 160 with the image data generated by the imaging unit 120.
  • the merge processing unit 170 is an example of a display processing unit described in the claims.
  • the information processing apparatus 100 includes the imaging unit 120 (for example, a camera module) integrated with the information processing apparatus 100 and the switches 131 to 134 (command input device) for the user to input commands. .
  • the information processing apparatus 100 includes a processing device and software for displaying a main image and an external image acquired by the imaging unit 120 in accordance with a command.
  • the user can switch between the normal mode and the mixed display mode using the command input device.
  • the normal mode is a mode in which only the main image is displayed.
  • the main image means an image (game, movie, video recording, photograph, computer graphics, image via the network, etc.) that is to be displayed by the information processing apparatus 100.
  • the mixed display mode is a mode in which the main image and the external image are mixed and displayed.
  • this mixed display mode a part of the external image display area that is considered to have entered the user's field of view by head tracking is displayed in a manner replaced with the main image.
  • the external image display area is an area specified by an initial setting (default) or an area indicated by a solid angle with the information processing apparatus 100 designated by the user using a command input device as a vertex. It is.
  • the solid angle is an extension of the concept of a two-dimensional angle (planar angle) to three dimensions. This is expressed by the size of the surface area of a sphere obtained by cutting a conical surface from a sphere having a radius of 1 centered on a vertex.
  • the solid angle can be an area of a spherical surface cut by a cone having a vertex at the center of the sphere in a three-dimensional space.
  • a cone in addition to a cone, a quadrangular pyramid or an elliptical pyramid may be used, or another cone (for example, a complex cone) may be used.
  • the external image display area will be described in detail with reference to FIG.
  • a part of the display area of the information processing apparatus 100 can be displayed like a see-through.
  • FIG. 3 is a diagram schematically illustrating an example of the relationship between the main image display area and the external image display area set in the information processing apparatus 100 according to the embodiment of the present technology.
  • the display area of the main image displayed on the display unit 180 is schematically shown as a main image display area 200 with a dotted circle.
  • the main image display area 200 is a sphere centered on the position 20 of the information processing apparatus 100.
  • the position 20 of the information processing apparatus 100 can be the position of the display screen displayed on the eyes of the user 10 or the display unit 180.
  • a position in the main image display area 200 that is directly below the position 20 of the information processing apparatus 100 (a position on the lower side in the vertical direction) is a starting point 30, and a range including the starting point 30 is an external image display area.
  • An example of 210 is shown. That is, an example in which the foot of the user 10 is the starting point 30 is shown.
  • the main image display area 200 is an example of a first area described in the claims.
  • the external image display area 210 is an example of a second area described in the claims.
  • the direction to be the starting point 30 can be determined by detecting gravity with a sensor 110 (for example, an acceleration sensor), for example.
  • a sensor 110 for example, an acceleration sensor
  • FIG. 3 shows an example in which an external image display area 210 is an area having a solid angle as a cone.
  • the range corresponding to the angle A1 in the main image display area 200 is shown as an external image display area 210 (thick dotted line), and the range in the horizontal plane is shown as an external image display area 211.
  • the range of the external image display area 210 can be increased or decreased based on an instruction by a user operation.
  • the relationship between the user operation and the increase / decrease in the range of the external image display area 210 will be described with reference to FIG.
  • the setting unit 140 increases the solid angle of the external image display area 210 in proportion to the pressed time. That is, the angle A1 is increased.
  • the setting unit 140 decreases the solid angle of the external image display area 210 in proportion to the pressed time. That is, the angle A1 is decreased.
  • FIG. 3 shows an example in which the external image display area 210 including the starting point 30 is increased or decreased based on a user operation so that the external image display area 210 becomes a point symmetry area.
  • FIG. 3 shows an example in which a region having a solid angle of a cone is an external image display region 210, but another continuous solid angle region (for example, a region having a solid angle of a pyramid) is an external image display region. It may be 210.
  • FIGS. 4 and 5 are diagrams illustrating display examples of images displayed on the display unit 180 of the information processing apparatus 100 according to the embodiment of the present technology. 4 and 5 show examples of images displayed when the user 10 is playing a car racing game (for example, a game for operating the car 301).
  • a car racing game for example, a game for operating the car 301.
  • FIG. 4 shows a display example of an image displayed on the display unit 180 when the head of the user 10 wearing the information processing apparatus 100 is facing forward.
  • the line of sight of the user 10 is above the external image display area 210.
  • the external image display area 210 is not included in the line of sight of the user 10.
  • only the main image 300 is displayed on the display unit 180, and no external image is displayed. That is, as shown in FIG. 4, the image viewed by the user is only the main image 300.
  • FIG. 5 shows a table of images displayed on the display unit 180 when the head of the user 10 wearing the information processing apparatus 100 is facing down (when the user 10 tilts the head down).
  • the external image display area 210 is included in the line of sight of the user 10.
  • the main image 305 and the external image 310 are displayed on the display unit 180.
  • an area in the external image display area 210 designated by the user operation and considered to be included in the user's field of view is replaced with the main image 305. Is displayed.
  • the display range of the external image 310 increases as the user 10 faces downward.
  • the external image 310 is see-through along with the main image 305 including the automobile 301.
  • the user 10 can see the coffee cup 12 held in the hand 11 while playing the game.
  • the merge processing unit 170 extracts the image included in the main image display area corresponding to the line of sight of the user 10 to which the information processing apparatus 100 is worn, from among the images corresponding to the three-dimensional space. It can be displayed while changing according to the movement of the part.
  • the merge processing unit 170 displays the captured image acquired by the imaging unit 120 in the overlapping region. be able to.
  • the merge processing unit 170 sets a specific mode (mixed display mode) and, when the main image display area and the external image display area overlap, the captured image acquired by the imaging unit 120 is displayed in the overlapping area. Can be displayed.
  • the display of the display unit 180 is limited to the visual field range of the user 10. For this reason, it is not necessary for the imaging unit 120 to always capture the image including the rear side, as long as it can capture at least the field of view of the user 10.
  • an image for practicing jazz dance is displayed as a main image, and a plurality of users are viewing the main image at the same time.
  • the users check each other's position and the like so as not to dance and collide with other users.
  • another user can be displayed in the external image display region by setting the region on the side or rear side of the user as the external image display region. For this reason, the user and other users can easily confirm each other's position and the like. Therefore, in the following, an example in which the rear side area of the user is the external image display area will be described. The same applies to the case where the lateral side of the user or another area is used as the external image display area.
  • FIG. 6 is a diagram schematically illustrating an example of the relationship between the main image display area and the external image display area set in the information processing apparatus 100 according to the embodiment of the present technology.
  • FIG. 6 is a modification of FIG. That is, in FIG. 6, in the example shown in FIG. 3, instead of the user's vertical direction (foot direction) being the external image display area, the user's back direction (right direction in FIG. 6) is the external image display area. An example is shown. For this reason, parts common to those in FIG.
  • the position in the main image display area 200 and including the position 20 of the information processing apparatus 100 on the horizontal plane is set as the starting point 50, and the range including the starting point 50 (corresponding to the angle B ⁇ b> 1).
  • the external image display area 220 is set as the range to be displayed.
  • the direction that becomes the starting point 50 is the display direction of the display unit 180 of the information processing apparatus 100. Therefore, for example, it can be determined by detecting the horizontal direction with the sensor 110 (for example, an acceleration sensor).
  • the sensor 110 for example, an acceleration sensor
  • the range of the external image display area 220 can be increased or decreased based on an instruction by a user operation.
  • the relationship between the user operation and the increase / decrease in the range of the external image display area 220 will be described with reference to FIG.
  • the setting unit 140 sets the horizontal level at the time when the switch is pressed. Record the azimuth as the starting point.
  • the setting unit 140 increases the solid angle of the external image display area including the direction in proportion to the time when the switch 133 ( ⁇ mark) is pressed after the switch 133 ( ⁇ mark) is pressed. To do. That is, the angle B1 is increased.
  • the setting unit 140 decreases the solid angle of the external image display area in proportion to the pressed time. That is, the angle B1 is decreased.
  • an example of the increase / decrease method for increasing / decreasing the external image display area in proportion to the pressing time of each switch has been described.
  • other increase / decrease methods may be used.
  • an increase / decrease method that discretely changes the value each time the switch is pressed can be used.
  • the roles of the switches 131 to 134 may be assigned to one switch, and the role of one switch and change of values may be cyclically performed.
  • the value may be set using another operation member (for example, a volume or a slide bar). Further, for example, a touch pad or a touch panel that can perform the same operation as the switches 131 to 134 may be used. Alternatively, the value may be changed using an external device of the information processing apparatus 100 (for example, a wireless device capable of communicating with the information processing apparatus 100 using wireless communication).
  • another operation member for example, a volume or a slide bar.
  • a touch pad or a touch panel that can perform the same operation as the switches 131 to 134 may be used.
  • the value may be changed using an external device of the information processing apparatus 100 (for example, a wireless device capable of communicating with the information processing apparatus 100 using wireless communication).
  • the back direction of the user 10 (the right side direction in FIG. 6) can be set as the external image display area 220. Thereby, the user 10 can see the main image displayed in the front, and can see the external image by looking back as necessary.
  • FIG. 7 is a diagram illustrating a display example of an image displayed on the display unit 180 of the information processing apparatus 100 according to the embodiment of the present technology.
  • FIG. 7 shows an example of an image displayed when the user 10 is playing a car racing game (for example, a game for operating the car 321).
  • FIG. 7 shows an image displayed on the display unit 180 when the head of the user 10 wearing the information processing apparatus 100 is facing down (when the user 10 tilts the head down).
  • a display example is shown.
  • the line of sight of the user 10 includes the external image display area 210 shown in FIG. Therefore, the main image 320 and the external image 330 are displayed on the display unit 180.
  • the external image 330 is displayed as a translucent image. That is, the external image 330 is displayed on the main image 320 as a semi-transparent image having a preset value or a transmittance of a value designated by the user using the command input device.
  • the merge processing unit 170 can cause the display unit 180 to display image data obtained by adding a coefficient to each of the image data of the main image and the image data generated by the imaging unit 120.
  • the transmittance (transparency) is set by, for example, an alpha value ( ⁇ value).
  • the alpha value is a numerical value representing transmittance
  • the transmittance of RGB Red, Green, Blue
  • an external image 330 can be displayed together with a main image 320 including an automobile 321 and instruments 322 and 323.
  • the user 10 can see the cup 12 held in the hand 11 while looking at the translucent instruments 322 and 323 included in the external image display area.
  • the merge processing unit 170 can synthesize the translucent external image over the main image corresponding to the three-dimensional space and display it on the display unit 180.
  • the merge processing unit 170 can use a translucent captured image having a predetermined transmittance or a transmittance based on a user operation.
  • the setting unit 140 can set the transmittance based on the pressing time of the operation member.
  • a translucent external image having a predetermined transmittance or a transmittance designated by the user using the command input device is used as the main image. Can be displayed in an overlapping manner.
  • FIG. 8 is a flowchart illustrating an example of a processing procedure of image display processing by the information processing apparatus 100 according to the embodiment of the present technology.
  • the head tracking processing unit 160 calculates the display area of the main image based on the sensor information from the sensor 110 (step S801). Subsequently, the head tracking processing unit 160 extracts the image data of the region to be displayed from the image data supplied from the image supply unit 150 based on the display region of the main image obtained by the calculation ( Step S802). Then, the head tracking processing unit 160 outputs the extracted image data to the merge processing unit 170.
  • the merge processing unit 170 determines whether or not the external image display area set by the setting unit 140 is larger than 0 (step S803). If the external image display area is larger than 0 (step S803), the merge processing unit 170 calculates an area that falls within the user's field of view from the external image display area based on the sensor information from the sensor 110 ( Step S804). Subsequently, based on the sensor information from the sensor 110, the merge processing unit 170 determines whether the display target area and the external image display area overlap (step S805).
  • step S805 If the display target area and the external image display area overlap (step S805), the merge processing unit 170 replaces a part of the main image (the overlapping area) with the external image (step S806). The image and the external image are displayed on the display unit 180 (step S807). If the display target area and the external image display area do not overlap (step S805), the process proceeds to step S807.
  • the merge processing unit 170 causes the display unit 180 to display an image based on the image data output from the head tracking processing unit 160 as a main image (step S807). .
  • steps S801 to S803 and S807 are an example of a first procedure described in the claims. Steps S801 to S807 are an example of a second procedure described in the claims.
  • FIG. 9 is a flowchart illustrating an example of a processing procedure of external image display area setting processing by the information processing apparatus 100 according to the embodiment of the present technology. It is assumed that the image display process shown in FIG. 8 and the external image display area setting process shown in FIG. 9 are processed in parallel. For example, the external image display area set in the external image display area setting process shown in FIG. 9 is used in the determination process (steps S803 and S805) and the external image display area calculation process (step S804) shown in FIG.
  • the determination process steps S803 and S805
  • step S804 the external image display area calculation process
  • FIG. 9 shows an example in which the external image display area is increased or decreased in proportion to the time the switch is pressed.
  • the setting unit 140 initializes the external image display area (solid angle) to 0 (step S811).
  • the setting unit 140 determines whether or not the switch 131 ( ⁇ mark) is pressed (step S812).
  • the setting unit 140 increases the external image display area (solid angle) in the vertical direction (step S813).
  • the setting unit 140 determines whether the switch 132 ( ⁇ mark) is pressed (step S814). When the switch 132 ( ⁇ mark) is pressed (step S814), the setting unit 140 decreases the external image display area (solid angle) in the vertical direction (step S815). If the external image display area (solid angle) is 0, the external image display area (solid angle) is not reduced.
  • the setting unit 140 determines whether or not the switch 133 ( ⁇ mark) is pressed (step S816).
  • the setting unit 140 increases the horizontal external image display area (solid angle) (step S817).
  • the external image display area (solid angle) is 0, the horizontal orientation of the information processing apparatus 100 at the time when the switch 133 ( ⁇ ) is pressed is recorded as the starting point.
  • the setting unit 140 determines whether the switch 134 (marked with
  • step S820 the setting unit 140 waits for a predetermined time (step S820). Subsequently, the setting unit 140 determines whether or not a display end instruction operation has been performed by the user (step S821). If the display end instruction operation has not been performed (step S821), the process returns to step S812. On the other hand, when the display end instruction operation is performed (step S821), the operation of the external image display area setting process is ended.
  • the setting unit 140 can set the external image display area corresponding to the solid angle including the point immediately below the information processing apparatus 100.
  • the setting unit 140 can set the external image display area by increasing or decreasing the solid angle based on a user operation.
  • the setting unit 140 can set an external image display area corresponding to a solid angle including the horizontal orientation of the information processing apparatus 100.
  • the setting unit 140 can set the external image display region by designating the solid angle direction and increasing or decreasing the solid angle based on a user operation.
  • the setting unit 140 can set the size of the external image display area based on the pressing time of the operation member (switches 131 to 134).
  • the transmittance when an external image is displayed as a transparent image, the transmittance can be changed.
  • the command input for changing the transmittance can also be performed in the same manner as each switch operation described above.
  • any of the switches 131 to 134 described above may be used as an operation member for inputting a command for changing the transmittance, or another operation member may be used.
  • the external image display area is increased / decreased or transmitted based on the time for which the touch pad is pressed.
  • the rate can be increased or decreased.
  • the size and transmittance of the external image display area may be instructed based on an operation on the volume, slide bar, or equivalent touch pad.
  • the imaging unit 120 (for example, a camera module) is provided in the information processing apparatus 100 (for example, a non-transmissive head mounted display with a head tracking function). Then, the main image can be changed according to the orientation and movement of the user's head, and the image (external image) generated by the imaging unit 120 and the main image can be mixed and displayed. Thereby, the user 10 can easily see the feet, the back, and the like like see-through.
  • a predetermined operation for example, switch operation
  • ON / OFF of the mixed display and increase / decrease of the range (solid angle) where the outside can be seen can be performed.
  • the user 10 can obtain a high sense of realism by using the information processing apparatus 100. Further, the user 10 of the information processing apparatus 100 can visually recognize the surrounding conditions such as the feet and the back together with the main image of the information processing apparatus 100 by performing a simple operation. As described above, since the outside of the information processing apparatus 100 can be displayed and provided to the user 10, since the outside cannot be visually recognized, inconveniences such as difficulty in confirming the surrounding situation can be solved.
  • command input for setting the external image display area can be performed at a low cost with a simple operation.
  • command input can be performed by an intuitive command input.
  • the information processing apparatus 100 in order to perform head tracking, includes image data for generating a display image corresponding to the sensor output, and a processing device and software for processing the image data.
  • An example is shown.
  • the information processing apparatus 100 includes an image data processing apparatus and software for displaying the main image and the external image together is shown.
  • some or all of these may be provided in an external device other than the information processing apparatus 100.
  • a part or all of these may be provided in a plurality of devices (for example, a device such as a PC (Personal Computer) connected by wire or wirelessly).
  • the information processing apparatus 100 appropriately performs acquisition of image data from the external apparatus, image display based on control from the external apparatus, and the like. .
  • the processing procedure described in the above embodiment may be regarded as a method having a series of these procedures, and a program for causing a computer to execute these series of procedures or a recording medium storing the program. You may catch it.
  • a recording medium for example, a CD (Compact Disc), an MD (MiniDisc), a DVD (Digital Versatile Disc), a memory card, a Blu-ray disc (Blu-ray (registered trademark) Disc), or the like can be used.
  • this technique can also take the following structures.
  • Processing equipment (2) The information processing apparatus according to (1), wherein the imaging unit is arranged in the information processing apparatus so that a line-of-sight direction of the person and an optical axis direction of the imaging unit substantially coincide with each other.
  • the display unit is arranged such that when the information processing apparatus is attached to the person, the display surface of the display unit is positioned to face the eyes of the person,
  • the display processing unit overwrites and composites the captured image that is translucent to an image corresponding to the three-dimensional space and displays the image on the display unit.
  • the information processing apparatus further including a setting unit that sets the transmittance based on a pressing time of the operation member.
  • the information processing apparatus sets the second region corresponding to a solid angle including a point immediately below the information processing apparatus.
  • the setting unit sets the second region by increasing or decreasing the solid angle based on a user operation.
  • 1 procedure A second procedure for displaying a captured image acquired by the imaging unit in a region where the second region and the first region in a three-dimensional space set with reference to the position of the information processing apparatus overlap.
  • Information processing method (15) Among images corresponding to a three-dimensional space, an image included in a first region corresponding to the line-of-sight direction of the person wearing the information processing apparatus is displayed while being changed according to the movement of the person's head.
  • 1 procedure A second procedure for causing the computer to display a captured image acquired by the imaging unit in a region where the second region and the first region in a three-dimensional space set with reference to the position of the information processing apparatus overlap.
  • the program to be executed.

Abstract

ユーザの周囲の状況を容易に確認する。　情報処理装置は、表示処理部を具備する情報処理装置である。この表示処理部は、３次元空間に対応する画像のうち、情報処理装置が装着されている人物の視線方向に対応する第１領域に含まれる画像を、人物の頭部の動きに応じて変化させながら表示させる。また、表示処理部は、情報処理装置の位置を基準として設定されている３次元空間における第２領域と第１領域とが重複する領域に、撮像部により取得された撮像画像を表示させる。

Description

情報処理装置、情報処理方法およびプログラム
　本技術は、情報処理装置に関する。詳しくは、画像を表示させる情報処理装置および情報処理方法ならびに当該方法をコンピュータに実行させるプログラムに関する。
　従来、ユーザの身体の一部に装着された状態でユーザに画像を提供する情報処理装置が存在する。例えば、光源および液晶パネルを備える眼鏡型の装置本体を顔面に装着し、液晶パネルの映像を見ることができる映像表示装置が提案されている（例えば、特許文献１参照。）。
特開平０５－３０４６４６号公報
　上述の従来技術では、センサが急激な動き、衝撃または所定レベルの音を感知した時に、本体内の映像の表示または音声等を中止するとともに、遮蔽部を開にして外界を見えるようにする。
　ここで、ユーザが画像を見ている間に、ユーザの周囲の状況を確認しようとする場合を想定する。例えば、ユーザが手元の珈琲カップや後側にいる友人を見ようとする場合を想定する。この場合に、上述の従来技術では、センサにより急激な動き等が感知された場合には外界を見ることができるが、本体内の映像の表示または音声等が中止されてしまう。一方、センサにより急激な動き等が感知されない場合には、遮蔽部の閉の状態が維持される。このため、手元の珈琲カップや後側にいる友人を見るためには、映像表示装置を顔面から取り外す必要がある。したがって、外部状況確認のたびに必要な映像表示装置の取り外しおよび再装着作業が煩雑となる。
　本技術はこのような状況に鑑みて生み出されたものであり、ユーザの周囲の状況を容易に確認することを目的とする。
　本技術は、上述の問題点を解消するためになされたものであり、その第１の側面は、３次元空間に対応する画像のうち、情報処理装置が装着されている人物の視線方向に対応する第１領域に含まれる画像を、上記人物の頭部の動きに応じて変化させながら表示させ、上記情報処理装置の位置を基準として設定されている３次元空間における第２領域と上記第１領域とが重複する領域に、撮像部により取得された撮像画像を表示させる表示処理部を具備する情報処理装置およびその情報処理方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、３次元空間に対応する画像のうち、人物の視線方向に対応する第１領域に含まれる画像を、人物の頭部の動きに応じて変化させながら表示させ、第１領域と第２領域とが重複する領域に撮像画像を表示させるという作用をもたらす。
　また、この第１の側面において、上記撮像部は、上記人物の視線方向と上記撮像部の光軸方向とが略一致するように上記情報処理装置に配置されるようにしてもよい。これにより、人物の視線方向と撮像部の光軸方向とが略一致するように情報処理装置に配置される撮像部を用いるという作用をもたらす。
　また、この第１の側面において、上記表示部は、上記人物に上記情報処理装置が装着された場合に、上記表示部の表示面が上記人物の目に対向する位置となるように配置され、上記撮像部は、上記表示部の表示面とは反対側を撮像方向とするように上記情報処理装置に配置されるようにしてもよい。これにより、人物に情報処理装置が装着された場合に、表示部の表示面が人物の目に対向する位置となるように配置される表示部と、表示部の表示面とは反対側を撮像方向とするように情報処理装置に配置される撮像部とを用いるという作用をもたらす。
　また、この第１の側面において、上記表示処理部は、上記３次元空間に対応する画像に半透明の上記撮像画像を上書き合成して上記表示部に表示させるようにしてもよい。これにより、３次元空間に対応する画像に半透明の撮像画像を上書き合成して表示部に表示させるという作用をもたらす。
　また、この第１の側面において、上記表示処理部は、所定の透過率またはユーザ操作に基づく透過率となる半透明の上記撮像画像を用いるようにしてもよい。これにより、所定の透過率またはユーザ操作に基づく透過率となる半透明の撮像画像を用いるという作用をもたらす。
　また、この第１の側面において、操作部材の押下時間に基づいて上記透過率を設定する設定部をさらに具備するようにしてもよい。これにより、操作部材の押下時間に基づいて、透過率を設定するという作用をもたらす。
　また、この第１の側面において、上記第２領域を設定する設定部をさらに具備するようにしてもよい。これにより、第２領域を設定するという作用をもたらす。
　また、この第１の側面において、上記設定部は、上記情報処理装置の直下の点を含む立体角に対応する上記第２領域を設定するようにしてもよい。これにより、情報処理装置の直下の点を含む、立体角に対応する第２領域を設定するという作用をもたらす。
　また、この第１の側面において、上記設定部は、ユーザ操作に基づいて上記立体角を増減させることにより上記第２領域を設定するようにしてもよい。これにより、ユーザ操作に基づいて立体角を増減させることにより第２領域を設定するという作用をもたらす。
　また、この第１の側面において、上記設定部は、上記情報処理装置の水平方位を含む立体角に対応する上記第２領域を設定するようにしてもよい。これにより、情報処理装置の水平方位を含む、立体角に対応する第２領域を設定するという作用をもたらす。
　また、この第１の側面において、上記設定部は、ユーザ操作に基づいて上記立体角の方位を指定して上記立体角を増減させることにより上記第２領域を設定するようにしてもよい。これにより、ユーザ操作に基づいて立体角の方位を指定して立体角を増減させることにより第２領域を設定するという作用をもたらす。
　また、この第１の側面において、上記設定部は、操作部材の押下時間に基づいて上記第２領域のサイズを設定するようにしてもよい。これにより、操作部材の押下時間に基づいて第２領域のサイズを設定するという作用をもたらす。
　また、この第１の側面において、上記表示処理部は、特定モードが設定され、上記第１領域と上記第２領域とが重複する場合に、上記撮像画像を表示させるようにしてもよい。これにより、特定モードが設定され、第１領域と第２領域とが重複する場合に、撮像画像を表示させるという作用をもたらす。
　本技術によれば、ユーザの周囲の状況を容易に確認することができるという優れた効果を奏し得る。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本技術の実施の形態における情報処理装置１００の外観構成を示す斜視図である。 本技術の実施の形態における情報処理装置１００の機能構成例を示すブロック図である。 本技術の実施の形態における情報処理装置１００において設定される主画像表示領域および外部画像表示領域の関係例を簡略化して示す図である。 本技術の実施の形態における情報処理装置１００の表示部１８０に表示される画像の表示例を示す図である。 本技術の実施の形態における情報処理装置１００の表示部１８０に表示される画像の表示例を示す図である。 本技術の実施の形態における情報処理装置１００において設定される主画像表示領域および外部画像表示領域の関係例を簡略化して示す図である。 本技術の実施の形態における情報処理装置１００の表示部１８０に表示される画像の表示例を示す図である。 本技術の実施の形態における情報処理装置１００による画像表示処理の処理手順の一例を示すフローチャートである。 本技術の実施の形態における情報処理装置１００による外部画像表示領域設定処理の処理手順の一例を示すフローチャートである。
　以下、本技術を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
　１．実施の形態（主画像の表示領域と外部画像表示領域とが重複する場合に、撮像部により取得された外部画像をその重複領域に主画像とともに表示させる例）
　＜１．実施の形態＞
　［情報処理装置の外観構成例］
　図１は、本技術の実施の形態における情報処理装置１００の外観構成を示す斜視図である。
　情報処理装置１００は、ユーザの頭部に装着して使用するヘッドマウントディスプレイ（頭部装着ディスプレイ、Ｈｅａｄ　Ｍｏｕｎｔｅｄ　Ｄｉｓｐｌａｙ）である。また、情報処理装置１００がユーザの頭部に装着された場合に、情報処理装置１００によりユーザの目が完全に覆われるようになる。このように、ユーザの目を完全に覆うヘッドマウントディスプレイは、非透過型ヘッドマウントディスプレイ、没入型ヘッドマウントディスプレイ、ゴーグル型ヘッドマウントディスプレイ等と称される。
　また、情報処理装置１００は、使用時にユーザの頭部に固定して装着されるため、ユーザの頭部の動きに連動して動く。また、情報処理装置１００は、ヘッドトラッキング機能を備えるヘッドトラッキング機能付非透過型ヘッドマウントディスプレイである。
　ここで、ヘッドトラッキングは、ユーザの頭部の向きや動きをセンサで検出し、そのセンサ情報に基づいて、記録画像の一部を抜き出したり、コンピュータグラフィックス画像の表示領域を変更したりして、その場にいるような画像表示を行うことを意味する。また、ヘッドトラッキング機能付非透過型ヘッドマウントディスプレイは、ユーザの頭部に装着して、その頭部の向きや動きを検出し、その向きや動きに基づいて、コンピュータグラフィックス画像の表示領域を変更する機器である。また、ヘッドトラッキング機能付非透過型ヘッドマウントディスプレイは、内部にヘッドトラッキングのためのセンサ、ディスプレイ、レンズ等を備える。
　情報処理装置１００は、筐体１０１および頭部装着部１０２を備える。
　頭部装着部１０２は、情報処理装置１００をユーザの頭部に固定して装着するための装着部材である。頭部装着部１０２は、例えば、ヘッドバンド等で構成される。また、筐体１０１は、頭部装着部１０２に連結されているため、ユーザの頭部の動きに連動して動く。
　筐体１０１は、第１撮像部１２１と、第２撮像部１２２と、スイッチ１３１乃至１３４と、表示部１８０とを備える。
　第１撮像部１２１および第２撮像部１２２は、ユーザの両目に相当する位置に配置される撮像部（例えば、カメラモジュール）である。すなわち、第１撮像部１２１および第２撮像部１２２は、ユーザの視線方向と、第１撮像部１２１および第２撮像部１２２のそれぞれの光軸方向とが一致（または、略一致）するように、情報処理装置１００に配置される。また、第１撮像部１２１および第２撮像部１２２のそれぞれは、表示部１８０の表示面とは反対側を撮像方向とするように、情報処理装置１００に配置される。
　また、第１撮像部１２１および第２撮像部１２２は、被写体を撮像して画像データ（撮像データ）を生成し、その画像データをマージ処理部１７０（図２に示す）に供給する。なお、これらの撮像部として、例えば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor Image Sensor）やＣＣＤ（Charge Coupled Device）等の撮像素子を用いることができる。
　ここで、第１撮像部１２１および第２撮像部１２２は、表示部１８０を備える筐体１０１と一体化しているため、物理的にヘッドトラッキングしていることになる。このため、第１撮像部１２１および第２撮像部１２２のそれぞれにより生成された画像データは、マージ処理部１７０に直接送られる。
　なお、図１では、第１撮像部１２１および第２撮像部１２２として、２つの広画角のカメラモジュールをユーザの目の位置に対応させて情報処理装置１００の前面に設置する場合の例を示す。ただし、１または３以上の撮像部を情報処理装置１００の前面に設置するようにしてもよい。また、１または２以上の撮像部を情報処理装置１００の外部を撮像できる他の位置に設置するようにしてもよい。
　スイッチ１３１乃至１３４は、ユーザによる操作を受け付けるコマンド入力装置であり、受け付けられた操作に関する操作情報をマージ処理部１７０（図２に示す）に出力する。なお、図１では、コマンド入力装置として、４つのプッシュスイッチ（スイッチ１３１乃至１３４）を情報処理装置１００が備える例を示すが、外部装置が備える操作部材をコマンド入力装置として使用するようにしてもよい。この場合には、情報処理装置１００は、無線または有線を介して、外部装置からの操作情報を受け付けることができる。
　表示部１８０は、マージ処理部１７０（図２に示す）から供給される画像を表示する表示部である。また、表示部１８０は、ユーザに情報処理装置１００が装着された場合に、表示部１８０の表示面がユーザの目に対向する位置となるように配置される。なお、表示部１８０として、例えば、有機ＥＬ（Electro Luminescence）パネル、ＬＣＤ（Liquid Crystal Display）パネル等の表示パネルを用いることができる。
　［情報処理装置の機能構成例］
　図２は、本技術の実施の形態における情報処理装置１００の機能構成例を示すブロック図である。
　情報処理装置１００は、センサ１１０と、撮像部１２０と、操作受付部１３０と、設定部１４０と、画像供給部１５０と、ヘッドトラッキング処理部１６０と、マージ処理部１７０と、表示部１８０とを備える。なお、撮像部１２０は、図１に示す第１撮像部１２１および第２撮像部１２２に対応する。また、操作受付部１３０は、図１に示すスイッチ１３１乃至１３４に対応する。また、表示部１８０は、図１に示す表示部１８０に対応する。
　センサ１１０は、情報処理装置１００の状態を検出するためのセンサであり、検出されたセンサ情報を、設定部１４０、ヘッドトラッキング処理部１６０およびマージ処理部１７０に出力する。これにより、設定部１４０、ヘッドトラッキング処理部１６０およびマージ処理部１７０のそれぞれは、情報処理装置１００の状態を把握することができる。なお、センサ１１０は、例えば、加速度センサ、ジャイロセンサ、方位センサ等の各種センサのうちの１つまたは複数を用いることができる。例えば、加速度センサが重力を検出することにより、情報処理装置１００の鉛直方向を検出することができる。
　撮像部１２０は、被写体を撮像して画像データを生成し、その画像データをマージ処理部１７０に供給するものである。
　操作受付部１３０は、ユーザによる操作を受け付けるコマンド入力装置であり、受け付けられた操作に関する操作情報を設定部１４０に出力する。
　設定部１４０は、センサ１１０から出力されたセンサ情報と、操作受付部１３０から出力された操作情報とに基づいて、各種の設定を行うものである。例えば、設定部１４０は、操作受付部１３０から出力された操作情報（または、センサ１１０から出力されたセンサ情報も用いて）に基づいて、情報処理装置１００の位置を基準とする場合における３次元空間における外部画像表示領域を設定する。また、例えば、設定部１４０は、操作受付部１３０から出力された操作情報に基づいて、表示対象となる画像の透過率を設定する。そして、設定部１４０は、設定された内容（例えば、外部画像表示領域）に関する情報をマージ処理部１７０に出力する。なお、外部画像表示領域の設定方法については、図３、図９を参照して詳細に説明する。また、透過率の設定方法については、図７を参照して詳細に説明する。
　画像供給部１５０は、表示部１８０に表示される画像に対応する画像データをヘッドトラッキング処理部１６０に供給するものである。例えば、画像供給部１５０は、表示部１８０に表示される画像に対応する画像データを記憶する記憶部、表示部１８０に表示される画像の画像データを外部装置から取得してヘッドトラッキング処理部１６０に供給するインターフェースにより実現される。
　ヘッドトラッキング処理部１６０は、センサ１１０から出力されたセンサ情報に基づいて、画像供給部１５０から供給される画像データの切り出し処理を行うものである。すなわち、ヘッドトラッキング処理部１６０は、画像供給部１５０から供給される画像データのうち、表示部１８０の表示対象となる表示領域（ユーザの視野方向の表示領域）に含まれる画像に対応する画像データを切り出す処理を行う。そして、ヘッドトラッキング処理部１６０は、その切り出された画像データをマージ処理部１７０に出力する。このように切り出された画像データに対応する画像は、主画像として表示部１８０に表示される。
　マージ処理部１７０は、センサ１１０から出力されたセンサ情報に基づいて、ヘッドトラッキング処理部１６０から出力された画像データと、撮像部１２０から出力された画像データとについてマージ処理を行うものである。そして、マージ処理部１７０は、マージ処理により生成された画像データを表示部１８０に供給する。
　例えば、マージ処理部１７０は、センサ１１０から出力されたセンサ情報に基づいて、ヘッドトラッキング処理部１６０から出力された画像データのうち、設定部１４０により設定された外部画像表示領域と重複する領域を特定する。そして、マージ処理部１７０は、ヘッドトラッキング処理部１６０から出力された画像データのうち、その重複領域に相当する画像データを、撮像部１２０により生成された画像データと置き換える。なお、マージ処理部１７０は、特許請求の範囲に記載の表示処理部の一例である。
　このように、情報処理装置１００は、情報処理装置１００と一体化された撮像部１２０（例えば、カメラモジュール）と、ユーザがコマンドを入力するためのスイッチ１３１乃至１３４（コマンド入力装置）とを備える。また、情報処理装置１００は、コマンドに従って主画像と撮像部１２０により取得される外部画像とを混合表示するための処理装置およびソフトウェアを備える。
　また、情報処理装置１００は、ユーザがコマンド入力装置を用いて通常モードと混合表示モードとを切り替えることができる。ここで、通常モードは、主画像のみを表示するモードである。ここで、主画像は、情報処理装置１００が表示対象とする画像（ゲーム、映画、ビデオ録画、写真、コンピュータグラフィックス、ネット経由の画像等）を意味する。
　また、混合表示モードは、主画像および外部画像を混合表示するモードである。この混合表示モードでは、外部画像表示領域のうち、ヘッドトラッキングによってユーザの視野に入ったとみなされた部分を主画像と入れ替えて表示する。ここで、外部画像表示領域は、初期設定（default）で特定される領域、または、ユーザがコマンド入力装置を用いて指定した情報処理装置１００を頂点とする立体角（solid angle）で示される領域である。ここで、立体角は、二次元における角（平面角）の概念を三次元に拡張したものであり、空間上の角の頂点から出る半直線が動いてつくる錐面の開き具合を、角の頂点を中心とする半径１の球から錐面が切り取った球の表面積の大きさで表したものである。例えば、立体角は、３次元空間において、球の中心を頂点とする円錐により切り取られる球面の面積とすることができる。また、例えば、円錐以外に、四角錐や楕円錐とするようにしてもよく、他の錐（例えば、複雑な錐）とするようにしてもよい。また、外部画像表示領域については、図３を参照して詳細に説明する。
　このように、混合表示モードにおいて主画像および外部画像を混合表示することにより、情報処理装置１００の表示領域の一部をシースルーのように表示することができる。
　［主画像表示領域および外部画像表示領域の関係例］
　図３は、本技術の実施の形態における情報処理装置１００において設定される主画像表示領域および外部画像表示領域の関係例を簡略化して示す図である。
　図３では、表示部１８０に表示される主画像の表示領域を主画像表示領域２００として点線の円で模式的に示す。なお、主画像表示領域２００は、情報処理装置１００の位置２０を中心とする球であるものとする。なお、情報処理装置１００の位置２０は、ユーザ１０の目または表示部１８０に表示される表示画面の位置とすることができる。
　図３では、主画像表示領域２００における位置であって、情報処理装置１００の位置２０の直下の位置（鉛直方向の下側の位置）を起点３０とし、起点３０を含む範囲を外部画像表示領域２１０とする例を示す。すなわち、ユーザ１０の足元を起点３０とする例を示す。なお、主画像表示領域２００は、特許請求の範囲に記載の第１領域の一例である。また、外部画像表示領域２１０は、特許請求の範囲に記載の第２領域の一例である。
　ここで、起点３０となる方向は、例えば、センサ１１０（例えば、加速度センサ）により重力を検出することにより定めることができる。
　また、図３では、立体角を円錐とする領域を外部画像表示領域２１０とする例を示す。具体的には、図３では、主画像表示領域２００における角度Ａ１に対応する範囲を外部画像表示領域２１０（太い点線）として示し、水平面における範囲を外部画像表示領域２１１として示す。
　また、外部画像表示領域２１０の範囲は、ユーザ操作による指示に基づいて、増減させることが可能である。ここでは、図１を参照して、ユーザ操作と外部画像表示領域２１０の範囲の増減との関係について説明する。
　例えば、ユーザ１０によりスイッチ１３１（↑印）が押下された場合には、設定部１４０は、その押下された時間に比例して、外部画像表示領域２１０の立体角を増大させるようにする。すなわち、角度Ａ１を増大させるようにする。一方、スイッチ１３２（↓印）が押下された場合には、設定部１４０は、その押下された時間に比例して、外部画像表示領域２１０の立体角を減少させるようにする。すなわち、角度Ａ１を減少させるようにする。
　なお、スイッチ１３３、１３４の使用例については、図６を参照して詳細に説明する。
　なお、図３では、ユーザ操作に基づいて、外部画像表示領域２１０が点対称領域となるように、起点３０を含む外部画像表示領域２１０の増減をする例を示すが、外部画像表示領域２１０は、必ずしも起点３０を中心とする点対称領域とする必要はない。
　また、図３では、立体角を円錐とする領域を外部画像表示領域２１０とする例を示すが、他の連続する立体角の領域（例えば、立体角を角錐とする領域）を外部画像表示領域２１０とするようにしてもよい。
　次に、表示部１８０に表示される画像の例を示す。
　［画像の表示例］
　図４および図５は、本技術の実施の形態における情報処理装置１００の表示部１８０に表示される画像の表示例を示す図である。図４および図５では、ユーザ１０が自動車レースのゲーム（例えば、自動車３０１を操作するゲーム）をしている場合に表示される画像の一例を示す。
　図４には、情報処理装置１００を装着しているユーザ１０の頭部が前方を向いている場合に表示部１８０に表示される画像の表示例を示す。この場合には、ユーザ１０の視線は、外部画像表示領域２１０よりも上側となる。このため、ユーザ１０の視線には、外部画像表示領域２１０が含まれない。この場合、表示部１８０には主画像３００のみが表示され、外部画像は表示されない。すなわち、図４に示すように、ユーザが見る画像は、主画像３００のみとなる。
　図５には、情報処理装置１００を装着しているユーザ１０の頭部が下を向いている場合（ユーザ１０が頭部を下に傾けた場合）に表示部１８０に表示される画像の表示例を示す。この場合には、ユーザ１０の視線には、外部画像表示領域２１０が含まれることになる。このため、表示部１８０には、主画像３０５および外部画像３１０が表示される。例えば、撮像部１２０により生成された画像データのうち、ユーザ操作により指定された外部画像表示領域２１０内であり、かつ、ユーザの視野に含まれるとみなされた領域が、主画像３０５と置き換えて表示される。また、外部画像３１０は、ユーザ１０が下を向くほど、その表示範囲が広がることになる。
　例えば、図５に示すように、自動車３０１を含む主画像３０５とともに、外部画像３１０がシースルーであるような表示を行うことができる。この場合に、ユーザ１０は、ゲームをしながら、手１１に持っている珈琲カップ１２を見ることができる。
　このように、マージ処理部１７０は、３次元空間に対応する画像のうち、情報処理装置１００が装着されているユーザ１０の視線に対応する主画像表示領域に含まれる画像を、ユーザ１０の頭部の動きに応じて変化させながら表示させることができる。また、マージ処理部１７０は、設定部１４０により設定された外部画像表示領域と、主画像表示領域とが重複する場合に、撮像部１２０により取得された撮像画像を、その重複する領域に表示させることができる。
　また、マージ処理部１７０は、特定モード（混合表示モード）が設定され、主画像表示領域と外部画像表示領域とが重複する場合に、撮像部１２０により取得された撮像画像を、その重複する領域に表示させることができる。
　なお、図３に示す例では、外部画像表示領域２１０がユーザ１０の後ろ側にも広がっている例を示す。ただし、表示部１８０の表示は、ユーザ１０の視野範囲に限定される。このため、撮像部１２０は常に後ろ側も含めて撮像する必要はなく、少なくともユーザ１０の視野範囲を撮像できればよい。
　［主画像表示領域および外部画像表示領域の関係例］
　以上では、ユーザ１０の足元を外部画像表示領域とする例を示した。ただし、ユーザ１０の足元以外の領域を外部画像表示領域とすることもできる。
　例えば、ジャズダンスの練習をするための画像が主画像として表示され、複数のユーザでその主画像を同時に見ている場合を想定する。この場合には、ユーザがジャズダンスの先生の話や動作を見る場合には前側を向くことになる。また、例えば、ユーザが、他のユーザと一緒に踊ってぶつからないようにお互いの位置等を確認することも想定される。この場合に、例えば、ユーザの横側や後側の領域を外部画像表示領域とすることにより、外部画像表示領域に他のユーザを表示させることができる。このため、ユーザおよび他のユーザは、お互いの位置等を容易に確認することができる。そこで、以下では、ユーザの後側の領域を外部画像表示領域とする例を示す。なお、ユーザの横側や他の領域を外部画像表示領域とする場合も同様である。
　図６は、本技術の実施の形態における情報処理装置１００において設定される主画像表示領域および外部画像表示領域の関係例を簡略化して示す図である。
　図６は、図３の変形例である。すなわち、図６には、図３に示す例において、ユーザの鉛直方向（足元方向）を外部画像表示領域とする代わりに、ユーザの背後方向（図６の右側方向）を外部画像表示領域とする例を示す。このため、図３と共通する部分には、同一の符号を付してこれらの説明の一部を省略する。
　図６では、主画像表示領域２００における位置であって、情報処理装置１００の位置２０を含む水平面における位置（ユーザ１０の真後ろの位置）を起点５０とし、起点５０を含む範囲（角度Ｂ１に対応する範囲）を外部画像表示領域２２０とする例を示す。
　ここで、起点５０となる方向は、情報処理装置１００の表示部１８０の表示方向となる。このため、例えば、センサ１１０（例えば、加速度センサ）により水平方向を検出することにより定めることができる。
　また、外部画像表示領域２２０の範囲は、ユーザ操作による指示に基づいて、増減させることが可能である。ここでは、図１を参照して、ユーザ操作と外部画像表示領域２２０の範囲の増減との関係について説明する。
　例えば、外部画像表示領域が無い状態（すなわち、立体角が０の状態）で、ユーザ１０によりスイッチ１３３（□印）が押下された場合には、設定部１４０は、その押下された瞬間の水平方位を起点として記録する。また、設定部１４０は、スイッチ１３３（□印）の押下以降に、スイッチ１３３（□印）が押下された時間に比例して、その方向を含む外部画像表示領域の立体角を増大させるようにする。すなわち、角度Ｂ１を増大させるようにする。一方、スイッチ１３４（｜印）が押下された場合には、設定部１４０は、その押下された時間に比例して、外部画像表示領域の立体角を減少させるようにする。すなわち、角度Ｂ１を減少させるようにする。
　なお、本技術の実施の形態では、各スイッチの押下時間に比例して、外部画像表示領域を増減させる増減方法の例を示したが、他の増減方法を用いるようにしてもよい。例えば、スイッチを１回押す毎に離散的に値を変化させる増減方法を用いることができる。
　また、スイッチ１３１乃至１３４の役割を１つのスイッチに割り当て、１つのスイッチの役割や値の変化を循環的に行うようにしてもよい。
　また、スイッチの代わりに、他の操作部材（例えば、ボリューム、スライドバー）を用いて値を設定するようにしてもよい。また、例えば、スイッチ１３１乃至１３４と同等の操作が可能なタッチパッドやタッチパネルを用いるようにしてもよい。また、情報処理装置１００の外部装置（例えば、情報処理装置１００と無線通信を利用して通信可能な無線機器）を用いて値を変化させるようにしてもよい。
　このように、ユーザ１０の背後方向（図６の右側方向）を外部画像表示領域２２０とすることができる。これにより、ユーザ１０は、前方に表示される主画像を見ることができ、必要に応じて、振り返ることにより、外部画像を見ることができる。
　［外部画像を半透明で表示する例］
　以上では、主画像の表示領域の一部に外部画像を表示する例を示した。ここで、例えば、外部画像を表示する領域に、主画像を見ているユーザにとって必要となる画像（例えば、自動車レースのゲームの計器類）が表示されていることも想定される。この場合には、外部画像を見るとともに、その必要となる画像を見ることも重要である。そこで、以下では、外部画像を半透明画像として表示する例を示す。
　図７は、本技術の実施の形態における情報処理装置１００の表示部１８０に表示される画像の表示例を示す図である。図７では、ユーザ１０が自動車レースのゲーム（例えば、自動車３２１を操作するゲーム）をしている場合に表示される画像の一例を示す。
　また、図７には、情報処理装置１００を装着しているユーザ１０の頭部が下を向いている場合（ユーザ１０が頭部を下に傾けた場合）に表示部１８０に表示される画像の表示例を示す。この場合には、ユーザ１０の視線には、図３に示す外部画像表示領域２１０が含まれることになる。このため、表示部１８０には、主画像３２０および外部画像３３０が表示される。
　この場合に、外部画像３３０は、半透明画像として表示される。すなわち、外部画像３３０は、予め設定された値、または、ユーザがコマンド入力装置で指定した値の透過率を有する半透明画像として主画像３２０に重ねて表示される。例えば、マージ処理部１７０は、主画像の画像データと撮像部１２０により生成された画像データとのそれぞれに係数をかけて加算した画像データを表示部１８０に表示させることができる。
　ここで、透過率（透明度）は、例えば、アルファ値（α値）により設定される。ここで、アルファ値は、透過率を表す数値であり、ＲＧＢ（赤（Red）、緑（Green）、青（Blue））の透過率を０乃至１の範囲内で変更するものである。例えば、α＝０が設定されている場合には対象画像が不透明となり、数値が大きくなるに応じて対象画像の透過率が上がる。そして、α＝１が設定された場合には対象画像が完全な透明となる。すなわち、画像の透過率を変更する場合に、このα値を変更することにより所望の透過率に変更することができる。
　例えば、図７に示すように、自動車３２１、計器３２２、３２３を含む主画像３２０とともに、外部画像３３０を表示することができる。この場合に、ユーザ１０は、外部画像表示領域に含まれる半透明の計器３２２、３２３を見ながら、手１１に持っている珈琲カップ１２を見ることができる。
　このように、マージ処理部１７０は、３次元空間に対応する主画像に半透明の外部画像を上書き合成して表示部１８０に表示させることができる。この場合に、マージ処理部１７０は、所定の透過率またはユーザ操作に基づく透過率となる半透明の撮像画像を用いることができる。
　また、設定部１４０は、操作部材の押下時間に基づいて、その透過率を設定することができる。
　このように、情報処理装置１００において混合表示モードが設定されている場合に、予め決められた透過率、または、ユーザがコマンド入力装置を用いて指定した透過率の半透明な外部画像を主画像に重ねて表示することができる。
　［情報処理装置の動作例］
　図８は、本技術の実施の形態における情報処理装置１００による画像表示処理の処理手順の一例を示すフローチャートである。
　最初に、ヘッドトラッキング処理部１６０は、センサ１１０からのセンサ情報に基づいて、主画像の表示領域を計算する（ステップＳ８０１）。続いて、ヘッドトラッキング処理部１６０は、その計算により求められた主画像の表示領域に基づいて、画像供給部１５０から供給される画像データのうちから、表示対象となる領域の画像データを抜き出す（ステップＳ８０２）。そして、ヘッドトラッキング処理部１６０は、その抜き出された画像データをマージ処理部１７０に出力する。
　続いて、マージ処理部１７０は、設定部１４０により設定された外部画像表示領域が０よりも大きいか否かを判断する（ステップＳ８０３）。外部画像表示領域が０よりも大きい場合には（ステップＳ８０３）、マージ処理部１７０は、センサ１１０からのセンサ情報に基づいて、外部画像表示領域のうち、ユーザの視野に入る領域を計算する（ステップＳ８０４）。続いて、マージ処理部１７０は、センサ１１０からのセンサ情報に基づいて、表示対象となる領域と、外部画像表示領域とが重複するか否かを判断する（ステップＳ８０５）。
　表示対象となる領域と外部画像表示領域とが重複する場合には（ステップＳ８０５）、マージ処理部１７０は、主画像の一部（その重複する領域）を外部画像に置き換え（ステップＳ８０６）、主画像および外部画像を表示部１８０に表示させる（ステップＳ８０７）。表示対象となる領域と外部画像表示領域とが重複しない場合には（ステップＳ８０５）、ステップＳ８０７に進む。
　外部画像表示領域が０である場合には（ステップＳ８０３）、マージ処理部１７０は、ヘッドトラッキング処理部１６０から出力された画像データに基づく画像を主画像として表示部１８０に表示させる（ステップＳ８０７）。
　続いて、ユーザにより表示の終了指示操作が行われたか否かを判断する（ステップＳ８０８）。そして、表示の終了指示操作が行われていない場合には（ステップＳ８０８）、ステップＳ８０１に戻る。一方、表示の終了指示操作が行われた場合には（ステップＳ８０８）、画像表示処理の動作を終了する。なお、ステップＳ８０１乃至Ｓ８０３、Ｓ８０７は、特許請求の範囲に記載の第１手順の一例である。また、ステップＳ８０１乃至Ｓ８０７は、特許請求の範囲に記載の第２手順の一例である。
　図９は、本技術の実施の形態における情報処理装置１００による外部画像表示領域設定処理の処理手順の一例を示すフローチャートである。なお、図８に示す画像表示処理と、図９に示す外部画像表示領域設定処理とは、並列処理されるものとする。例えば、図９に示す外部画像表示領域設定処理において設定された外部画像表示領域が、図８に示す判断処理（ステップＳ８０３、Ｓ８０５）、外部画像の表示領域の計算処理（ステップＳ８０４）に使用される。
　また、図９では、スイッチが押下された時間に比例して外部画像表示領域の増減を行う例を示す。
　最初に、設定部１４０は、外部画像表示領域（立体角）を初期化して０とする（ステップＳ８１１）。
　続いて、設定部１４０は、スイッチ１３１（↑印）が押下されているか否かを判断する（ステップＳ８１２）。スイッチ１３１（↑印）が押下されている場合には（ステップＳ８１２）、設定部１４０は、鉛直方向の外部画像表示領域（立体角）を増加させる（ステップＳ８１３）。
　スイッチ１３１（↑印）が押下されていない場合には（ステップＳ８１２）、設定部１４０は、スイッチ１３２（↓印）が押下されているか否かを判断する（ステップＳ８１４）。スイッチ１３２（↓印）が押下されている場合には（ステップＳ８１４）、設定部１４０は、鉛直方向の外部画像表示領域（立体角）を減少させる（ステップＳ８１５）。なお、外部画像表示領域（立体角）が０である場合には、外部画像表示領域（立体角）の減少を行わない。
　スイッチ１３２（↓印）が押下されていない場合には（ステップＳ８１４）、設定部１４０は、スイッチ１３３（□印）が押下されているか否かを判断する（ステップＳ８１６）。スイッチ１３３（□印）が押下されている場合には（ステップＳ８１６）、設定部１４０は、水平方向の外部画像表示領域（立体角）を増加させる（ステップＳ８１７）。なお、外部画像表示領域（立体角）が０である場合には、スイッチ１３３（□印）が押下された時点の情報処理装置１００の水平方位を起点として記録する。
　スイッチ１３３（□印）が押下されていない場合には（ステップＳ８１６）、設定部１４０は、スイッチ１３４（｜印）が押下されているか否かを判断する（ステップＳ８１８）。スイッチ１３４（｜印）が押下されている場合には（ステップＳ８１８）、設定部１４０は、水平方向の外部画像表示領域（立体角）を減少させる（ステップＳ８１９）。なお、外部画像表示領域（立体角）が０である場合には、外部画像表示領域（立体角）の減少を行わない。
　スイッチ１３４（｜印）が押下されていない場合には（ステップＳ８１８）、設定部１４０は、一定時間待機する（ステップＳ８２０）。続いて、設定部１４０は、ユーザにより表示の終了指示操作が行われたか否かを判断する（ステップＳ８２１）。そして、表示の終了指示操作が行われていない場合には（ステップＳ８２１）、ステップＳ８１２に戻る。一方、表示の終了指示操作が行われた場合には（ステップＳ８２１）、外部画像表示領域設定処理の動作を終了する。
　このように、設定部１４０は、情報処理装置１００の直下の点を含む、立体角に対応する外部画像表示領域を設定することができる。この場合に、設定部１４０は、ユーザ操作に基づいて、立体角を増減させることにより、外部画像表示領域を設定することができる。
　また、設定部１４０は、情報処理装置１００の水平方位を含む、立体角に対応する外部画像表示領域を設定することができる。この場合に、設定部１４０は、ユーザ操作に基づいて、立体角の方位を指定して立体角を増減させることにより、外部画像表示領域を設定することができる。
　このように、設定部１４０は、操作部材（スイッチ１３１乃至１３４）の押下時間に基づいて、外部画像表示領域のサイズを設定することができる。
　なお、図７に示すように、外部画像を透明画像として表示する場合には、その透過率を変更することができる。この透過率を変更するためのコマンド入力についても、上述した各スイッチ操作と同様に行うことができる。この場合に、透過率を変更するためのコマンド入力を行うための操作部材として、上述したスイッチ１３１乃至１３４の何れかを用いるようにしてもよく、他の操作部材を用いるようにしてもよい。
　また、例えば、スイッチ１３１乃至１３４と同等の操作（等価な動作）が可能なタッチパッド（または、タッチパネル）を用いる場合には、タッチパッドを押している時間に基づいて外部画像表示領域の増減や透過率の増減を指示することができる。
　また、例えば、ボリュームやスライドバー、または、それらと等価なタッチパッド上の操作に基づいて、外部画像表示領域のサイズや透過率を指示するようにしてもよい。
　このように、本技術の実施の形態では、情報処理装置１００（例えば、ヘッドトラッキング機能付非透過型ヘッドマウントディスプレイ）に撮像部１２０（例えば、カメラモジュール）を設ける。そして、ユーザの頭部の向きや動きに応じて、主画像を変化させ、撮像部１２０により生成された画像（外部画像）と主画像とを混合表示することができる。これにより、ユーザ１０は、足元や背後等をシースルーのように容易に見ることができる。また、所定操作（例えば、スイッチ操作）により、その混合表示のＯＮ／ＯＦＦや外部が見える範囲（立体角）の増減をすることができる。
　このように、本技術の実施の形態では、情報処理装置１００を使用することにより、ユーザ１０は高い臨場感が得られる。また、情報処理装置１００のユーザ１０は、簡単な操作をすることにより、足元や背後等の周囲状況を情報処理装置１００の主画像とともに混合表示して視認することができる。このように、情報処理装置１００の外部を表示してユーザ１０に提供することができるため、外部が視認できないため、周囲状況の確認が困難となる等の不都合を解消することができる。
　これにより、情報処理装置１００を着脱せず装着したままで下を向くだけでメモを取ったり、飲み物を飲んだり、足元の確認を容易に行うことができる。また、足元の確認を容易に行うことができるため、足元が見えないための転倒や周囲の人との衝突を回避することができる。
　また、情報処理装置１００を着脱せず装着したままで背後を振り返る、または、横を向くという動作で背後や横方向の外部状況を確認することができる。
　また、情報処理装置１００を高頻度で脱着する必要がないため、脱着の間、主画像の視聴が中断されてしまうことを回避することができる。すなわち、外部状況の確認をしながら、主画像の情報を欠損することなく見ることができる。
　また、外部画像表示領域の設定を行うためのコマンド入力を安価に簡単な操作で行うことができる。また、そのコマンド入力を、直観的なコマンド入力により行うことができる。
　なお、本技術の実施の形態では、ヘッドトラッキングを行うため、センサ出力に対応した表示画像を生成するための画像データと、画像データを処理するための処理装置およびソフトウェアとを情報処理装置１００が備える例を示した。また、主画像および外部画像を混合表示するための画像データ処理装置やソフトウェアも情報処理装置１００が備える例を示した。
　ただし、これらの一部または全部を情報処理装置１００以外の外部装置に備えるようにしてもよい。また、これらの一部または全部を複数の機器（例えば、有線または無線で接続されるＰＣ（Personal Computer）等の機器）に備えるようにしてもよい。このように、それらの一部または全部を外部装置に備える場合には、情報処理装置１００は、外部装置からの画像データの取得、外部装置からの制御に基づく画像表示等を適宜行うようにする。
　なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。
　また、上述の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disc）、メモリカード、ブルーレイディスク（Blu-ray（登録商標）Disc）等を用いることができる。
　なお、本明細書に記載された効果はあくまで例示であって、限定されるものではなく、また、他の効果があってもよい。
　なお、本技術は以下のような構成もとることができる。
（１）
　３次元空間に対応する画像のうち、情報処理装置が装着されている人物の視線方向に対応する第１領域に含まれる画像を、前記人物の頭部の動きに応じて変化させながら表示させ、前記情報処理装置の位置を基準として設定されている３次元空間における第２領域と前記第１領域とが重複する領域に、撮像部により取得された撮像画像を表示させる表示処理部を具備する情報処理装置。
（２）
　前記撮像部は、前記人物の視線方向と前記撮像部の光軸方向とが略一致するように前記情報処理装置に配置される前記（１）に記載の情報処理装置。
（３）
　前記表示部は、前記人物に前記情報処理装置が装着された場合に、前記表示部の表示面が前記人物の目に対向する位置となるように配置され、
　前記撮像部は、前記表示部の表示面とは反対側を撮像方向とするように前記情報処理装置に配置される
前記（１）または（２）に記載の情報処理装置。
（４）
　前記表示処理部は、前記３次元空間に対応する画像に半透明の前記撮像画像を上書き合成して前記表示部に表示させる前記（１）から（３）のいずれかに記載の情報処理装置。
（５）
　前記表示処理部は、所定の透過率またはユーザ操作に基づく透過率となる半透明の前記撮像画像を用いる前記（４）に記載の情報処理装置。
（６）
　操作部材の押下時間に基づいて前記透過率を設定する設定部をさらに具備する前記（５）に記載の情報処理装置。
（７）
　前記第２領域を設定する設定部をさらに具備する前記（１）から（５）のいずれかに記載の情報処理装置。
（８）
　前記設定部は、前記情報処理装置の直下の点を含む立体角に対応する前記第２領域を設定する前記（７）に記載の情報処理装置。
（９）
　前記設定部は、ユーザ操作に基づいて前記立体角を増減させることにより前記第２領域を設定する前記（８）に記載の情報処理装置。
（１０）
　前記設定部は、前記情報処理装置の水平方位を含む立体角に対応する前記第２領域を設定する前記（７）に記載の情報処理装置。
（１１）
　前記設定部は、ユーザ操作に基づいて前記立体角の方位を指定して前記立体角を増減させることにより前記第２領域を設定する前記（１０）に記載の情報処理装置。
（１２）
　前記設定部は、操作部材の押下時間に基づいて前記第２領域のサイズを設定する前記（７）に記載の情報処理装置。
（１３）
　前記表示処理部は、特定モードが設定され、前記第１領域と前記第２領域とが重複する場合に、前記撮像画像を表示させる前記（１）から（１２）のいずれかに記載の情報処理装置。
（１４）
　３次元空間に対応する画像のうち、情報処理装置が装着されている人物の視線方向に対応する第１領域に含まれる画像を、前記人物の頭部の動きに応じて変化させながら表示させる第１手順と、
　前記情報処理装置の位置を基準として設定されている３次元空間における第２領域と前記第１領域とが重複する領域に、撮像部により取得された撮像画像を表示させる第２手順と
を具備する情報処理方法。
（１５）
　３次元空間に対応する画像のうち、情報処理装置が装着されている人物の視線方向に対応する第１領域に含まれる画像を、前記人物の頭部の動きに応じて変化させながら表示させる第１手順と、
　前記情報処理装置の位置を基準として設定されている３次元空間における第２領域と前記第１領域とが重複する領域に、撮像部により取得された撮像画像を表示させる第２手順と
をコンピュータに実行させるプログラム。
　１００　情報処理装置
　１０１　筐体
　１０２　頭部装着部
　１１０　センサ
　１２０　撮像部
　１２１　第１撮像部
　１２２　第２撮像部
　１３０　操作受付部
　１３１～１３４　スイッチ
　１４０　設定部
　１５０　画像供給部
　１６０　ヘッドトラッキング処理部
　１７０　マージ処理部
　１８０　表示部

Claims (15)

  1. 　３次元空間に対応する画像のうち、情報処理装置が装着されている人物の視線方向に対応する第１領域に含まれる画像を、前記人物の頭部の動きに応じて変化させながら表示させ、前記情報処理装置の位置を基準として設定されている３次元空間における第２領域と前記第１領域とが重複する領域に、撮像部により取得された撮像画像を表示させる表示処理部を具備する情報処理装置。
  2. 　前記撮像部は、前記人物の視線方向と前記撮像部の光軸方向とが略一致するように前記情報処理装置に配置される請求項１記載の情報処理装置。
  3. 　前記表示部は、前記人物に前記情報処理装置が装着された場合に、前記表示部の表示面が前記人物の目に対向する位置となるように配置され、
    　前記撮像部は、前記表示部の表示面とは反対側を撮像方向とするように前記情報処理装置に配置される
    請求項１記載の情報処理装置。
  4. 　前記表示処理部は、前記３次元空間に対応する画像に半透明の前記撮像画像を上書き合成して前記表示部に表示させる請求項１記載の情報処理装置。
  5. 　前記表示処理部は、所定の透過率またはユーザ操作に基づく透過率となる半透明の前記撮像画像を用いる請求項４記載の情報処理装置。
  6. 　操作部材の押下時間に基づいて前記透過率を設定する設定部をさらに具備する請求項５記載の情報処理装置。
  7. 　前記第２領域を設定する設定部をさらに具備する請求項１記載の情報処理装置。
  8. 　前記設定部は、前記情報処理装置の直下の点を含む立体角に対応する前記第２領域を設定する請求項７記載の情報処理装置。
  9. 　前記設定部は、ユーザ操作に基づいて前記立体角を増減させることにより前記第２領域を設定する請求項８記載の情報処理装置。
  10. 　前記設定部は、前記情報処理装置の水平方位を含む立体角に対応する前記第２領域を設定する請求項７記載の情報処理装置。
  11. 　前記設定部は、ユーザ操作に基づいて前記立体角の方位を指定して前記立体角を増減させることにより前記第２領域を設定する請求項１０記載の情報処理装置。
  12. 　前記設定部は、操作部材の押下時間に基づいて前記第２領域のサイズを設定する請求項７記載の情報処理装置。
  13. 　前記表示処理部は、特定モードが設定され、前記第１領域と前記第２領域とが重複する場合に、前記撮像画像を表示させる請求項１記載の情報処理装置。
  14. 　３次元空間に対応する画像のうち、情報処理装置が装着されている人物の視線方向に対応する第１領域に含まれる画像を、前記人物の頭部の動きに応じて変化させながら表示させる第１手順と、
    　前記情報処理装置の位置を基準として設定されている３次元空間における第２領域と前記第１領域とが重複する領域に、撮像部により取得された撮像画像を表示させる第２手順と
    を具備する情報処理方法。
  15. 　３次元空間に対応する画像のうち、情報処理装置が装着されている人物の視線方向に対応する第１領域に含まれる画像を、前記人物の頭部の動きに応じて変化させながら表示させる第１手順と、
    　前記情報処理装置の位置を基準として設定されている３次元空間における第２領域と前記第１領域とが重複する領域に、撮像部により取得された撮像画像を表示させる第２手順と
    をコンピュータに実行させるプログラム。
PCT/JP2016/055006 2015-03-30 2016-02-22 情報処理装置、情報処理方法およびプログラム WO2016158080A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-068652 2015-03-30
JP2015068652 2015-03-30

Publications (1)

Publication Number Publication Date
WO2016158080A1 true WO2016158080A1 (ja) 2016-10-06

Family

ID=57004927

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/055006 WO2016158080A1 (ja) 2015-03-30 2016-02-22 情報処理装置、情報処理方法およびプログラム

Country Status (1)

Country Link
WO (1) WO2016158080A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023094945A1 (ja) * 2021-11-26 2023-06-01 株式会社半導体エネルギー研究所 表示装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0678247A (ja) * 1992-08-24 1994-03-18 Olympus Optical Co Ltd 頭部装着式ディスプレイ装置
JP2002244074A (ja) * 2001-02-15 2002-08-28 Mixed Reality Systems Laboratory Inc 画像表示装置
JP2005172851A (ja) * 2003-12-05 2005-06-30 Sony Corp 画像表示装置
JP2006107437A (ja) * 2004-09-07 2006-04-20 Canon Inc 情報処理方法及び装置
JP2014093704A (ja) * 2012-11-06 2014-05-19 Sony Computer Entertainment Inc ヘッドマウントディスプレイ、および動き検出方法
US20140364212A1 (en) * 2013-06-08 2014-12-11 Sony Computer Entertainment Inc. Systems and methods for transitioning between transparent mode and non-transparent mode in a head mounted dipslay

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0678247A (ja) * 1992-08-24 1994-03-18 Olympus Optical Co Ltd 頭部装着式ディスプレイ装置
JP2002244074A (ja) * 2001-02-15 2002-08-28 Mixed Reality Systems Laboratory Inc 画像表示装置
JP2005172851A (ja) * 2003-12-05 2005-06-30 Sony Corp 画像表示装置
JP2006107437A (ja) * 2004-09-07 2006-04-20 Canon Inc 情報処理方法及び装置
JP2014093704A (ja) * 2012-11-06 2014-05-19 Sony Computer Entertainment Inc ヘッドマウントディスプレイ、および動き検出方法
US20140364212A1 (en) * 2013-06-08 2014-12-11 Sony Computer Entertainment Inc. Systems and methods for transitioning between transparent mode and non-transparent mode in a head mounted dipslay

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023094945A1 (ja) * 2021-11-26 2023-06-01 株式会社半導体エネルギー研究所 表示装置

Similar Documents

Publication Publication Date Title
US10948977B2 (en) Information processing apparatus and information processing method
US10620699B2 (en) Head mounted display, mobile information terminal, image processing apparatus, display control program, display control method, and display system
US10229541B2 (en) Methods and systems for navigation within virtual reality space using head mounted display
US9375639B2 (en) Image display system and head-mounted display device
US20170289533A1 (en) Head mounted display, control method thereof, and computer program
JP2018101019A (ja) 表示装置及び表示装置の制御方法
JP2018142168A (ja) 頭部装着型表示装置、プログラム、及び頭部装着型表示装置の制御方法
JP2018142857A (ja) 頭部装着型表示装置、プログラム、及び頭部装着型表示装置の制御方法
WO2016013272A1 (ja) 情報処理装置及び情報処理方法、並びに画像表示システム
US20160109703A1 (en) Head mounted display, method for controlling head mounted display, and computer program
JP2019128693A (ja) 頭部装着型表示装置、及び頭部装着型表示装置の制御方法
US11327317B2 (en) Information processing apparatus and information processing method
JP2018137505A (ja) 表示装置およびその制御方法
JP2018124721A (ja) 頭部装着型表示装置、及び頭部装着型表示装置の制御方法
JP6303274B2 (ja) 頭部装着型表示装置および頭部装着型表示装置の制御方法
JP2017182228A (ja) 入力装置、入力方法、コンピュータープログラム
JP6638392B2 (ja) 表示装置、表示システム、表示装置の制御方法、及び、プログラム
WO2017022769A1 (ja) ヘッドマウントディスプレイ、表示制御方法及びプログラム
JP6996115B2 (ja) 頭部装着型表示装置、プログラム、及び頭部装着型表示装置の制御方法
JP6740613B2 (ja) 表示装置、表示装置の制御方法、及び、プログラム
WO2016158080A1 (ja) 情報処理装置、情報処理方法およびプログラム
GB2517008A (en) Head-mountable apparatus and systems
JP6932917B2 (ja) 頭部装着型表示装置、プログラム、及び頭部装着型表示装置の制御方法
JP6159455B1 (ja) 仮想空間を提供する方法、プログラム、および記録媒体
EP4222550A1 (en) Augmented reality gaming using virtual eyewear beams

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16771964

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16771964

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP