WO2016129549A1 - ヘッドマウント・ディスプレイを用いたコンテンツ視聴のための装置およびシステム - Google Patents

ヘッドマウント・ディスプレイを用いたコンテンツ視聴のための装置およびシステム Download PDF

Info

Publication number
WO2016129549A1
WO2016129549A1 PCT/JP2016/053645 JP2016053645W WO2016129549A1 WO 2016129549 A1 WO2016129549 A1 WO 2016129549A1 JP 2016053645 W JP2016053645 W JP 2016053645W WO 2016129549 A1 WO2016129549 A1 WO 2016129549A1
Authority
WO
WIPO (PCT)
Prior art keywords
content
virtual
viewing
display
unit
Prior art date
Application number
PCT/JP2016/053645
Other languages
English (en)
French (fr)
Inventor
功淳 馬場
傑 小林
Original Assignee
株式会社コロプラ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2015025469A external-priority patent/JP5961291B1/ja
Priority claimed from JP2015110102A external-priority patent/JP5882517B1/ja
Application filed by 株式会社コロプラ filed Critical 株式会社コロプラ
Priority to CN201680010010.0A priority Critical patent/CN107211195B/zh
Publication of WO2016129549A1 publication Critical patent/WO2016129549A1/ja
Priority to US15/376,883 priority patent/US9958937B2/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842Selection of displayed objects or displayed text elements
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14Display of multiple viewports
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/4104Peripherals receiving signals from specially adapted client devices
    • H04N21/4122Peripherals receiving signals from specially adapted client devices additional display device, e.g. video projector
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42222Additional components integrated in the remote control device, e.g. timer, speaker, sensors for detecting position, direction or movement of the remote control, microphone or battery charging device
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/482End-user interface for program selection
    • H04N21/4821End-user interface for program selection using a grid, e.g. sorted out by channel and broadcast time
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/048023D-info-object: information is displayed on the internal or external surface of a three dimensional manipulable object, e.g. on the faces of a cube that can be rotated by the user
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/454Content or additional data filtering, e.g. blocking advertisements

Definitions

  • the present invention relates to a content viewing system, method, and computer program that allow a user to view content on a virtual display in a virtual space using a head-mounted display.
  • a head-mounted display (Head-Mounted Display; hereinafter referred to as “HMD”) is known that is mounted on the user's head and can present an image in a virtual space to the user by a display or the like placed in front of the user.
  • the technique disclosed in Patent Document 1 is that when a user wearing an HMD rotates his / her head, the viewing direction of a 360-degree panoramic image can be changed accordingly, and the user's sense of immersion in the video world is enhanced. It is.
  • JP, 2013-258614 A The information on the user's head movement acquired by the sensor is expected not only to specify the line-of-sight direction of the panoramic image but also to be used in many applications to be developed in the future.
  • an application that displays on a HMD a virtual display arranged in a three-dimensional virtual reality space (hereinafter also referred to as “three-dimensional virtual space”, “virtual space”, or “virtual reality space”) Is assumed.
  • Video content such as a TV program can be displayed on the virtual display, and the user can view the video content through the HMD.
  • a controller operation like a TV remote control is impossible.
  • the present invention has an object of applying a head movement by an HMD as an alternative to a conventional remote control operation by a user.
  • a display unit that displays a plurality of virtual displays arranged in a virtual space on a head-mounted display, and a detector that the head-mounted display includes A selection unit that selects one of the virtual displays according to the detected motion, and a playback unit that plays back the content associated with the selected virtual display so that the plurality of virtual displays follow the celestial sphere.
  • An apparatus for viewing content wherein one of the virtual displays associated with the grid is selected by specifying one of the grids on the celestial sphere according to the detected movement in the selection unit, arranged on the provided grid Is obtained.
  • a content viewing system using a head mounted display, and a plurality of content viewing apparatuses each connected to a separate head mounted display, and a plurality of content viewing devices via a network.
  • a server device connected to the content viewing device, and each content viewing device is a display unit that displays a plurality of virtual displays arranged in the virtual space on the head mounted display, and the head mounted display includes An arbitrary virtual display can be selected according to the motion detected by the detector, a playback unit that plays back each of a plurality of received contents in association with any of the virtual displays, and a server device Of content being played on a specific virtual display for transmission
  • a user viewing data acquisition unit that acquires user viewing data
  • the server device includes a viewing data characteristic determination unit that determines viewing data characteristics based on each user viewing data transmitted from each content viewing device.
  • a plurality of virtual displays are arranged in association with the grid provided along the celestial sphere, and the grid is identified by identifying the grid according
  • the conventional remote control operation when playing back video and audio content in a multi-virtual television environment in a virtual space, the conventional remote control operation can be replaced with the head operation of the HMD.
  • the conventional remote control operation when selecting one from a plurality of video / audio contents, it is possible to provide a simple operability in which the zapping operation by the conventional remote control operation can be substituted by the head operation of the HMD.
  • FIG. 1A is a schematic diagram of an example HMD system used in a content viewing system according to an embodiment of the present invention.
  • FIG. 1B is a schematic diagram of another example HMD system used in a content viewing system according to an embodiment of the present invention.
  • FIG. 2 is a schematic diagram of a plurality of detection points virtually provided on the HMD, which are detected by the infrared sensor used in FIG. 1B.
  • FIG. 3 is a block diagram relating to the functional configuration of the entire content viewing system according to the embodiment of the present invention.
  • FIG. 4 shows an orthogonal coordinate system in a three-dimensional space defined around the head of the user wearing the HMD shown in FIG. 1A or 1B.
  • FIG. 1A is a schematic diagram of an example HMD system used in a content viewing system according to an embodiment of the present invention.
  • FIG. 1B is a schematic diagram of another example HMD system used in a content viewing system according to an embodiment of the present invention.
  • FIG. 2 is a schematic diagram of
  • FIG. 5A is a three-dimensional schematic diagram showing an arrangement example of a user and a virtual display in a virtual space realized by the content viewing system according to the embodiment of the present invention.
  • FIG. 5B is a three-dimensional schematic diagram showing another arrangement example of the user and the virtual display in the virtual space realized by the content viewing system according to the embodiment of the present invention.
  • FIG. 6A is a schematic plan view of an example showing a broadcast station content display example of a multi-virtual display in a virtual space realized by the content viewing system according to the embodiment of the present invention.
  • FIG. 6B is a schematic plan view of an example showing a broadcast station content display example of a multi-virtual display in a virtual space realized by the content viewing system according to the embodiment of the present invention.
  • FIG. 7A is a schematic plan view of an example showing another broadcast station content display example of a multi-virtual display in a virtual space realized by the content viewing system according to the embodiment of the present invention.
  • FIG. 7B is a schematic plan view of an example showing another broadcast station content display example of a multi-virtual display in a virtual space realized by the content viewing system according to the embodiment of the present invention.
  • FIG. 8A is a schematic plan view reflecting an example of viewing data characteristics regarding a content display example of a multi-virtual display in a virtual space realized by the content viewing system according to the embodiment of the present invention.
  • FIG. 8A is a schematic plan view reflecting an example of viewing data characteristics regarding a content display example of a multi-virtual display in a virtual space realized by the content viewing system according to the embodiment of the present invention.
  • FIG. 8B is a schematic plan view reflecting another example of viewing data characteristics regarding a content display example of a multi-virtual display in a virtual space realized by the content viewing system according to the embodiment of the present invention.
  • FIG. 9 is a block diagram of a functional configuration in the content viewing unit provided in the content viewing apparatus provided in the content viewing system according to the embodiment of the present invention.
  • FIG. 10 is a block diagram of a functional configuration of the viewing data characteristic determination unit included in the server device included in the content viewing system according to the embodiment of the present invention.
  • FIG. 11 is a flowchart showing an example of the flow of processing between the HMD related to content viewing and the content viewing apparatus in the content viewing system according to the embodiment of the present invention.
  • FIG. 12 is a flowchart illustrating an example of a process flow between the content viewing apparatus and the server apparatus related to content viewing in the content viewing system according to the embodiment of the present invention.
  • FIG. 13 is a flowchart of another example showing the flow of processing between the content viewing apparatus and the server apparatus related to content viewing in the content viewing system according to the embodiment of the present invention.
  • FIG. 14 is an example screen image implemented in a content viewing application according to an embodiment of the present invention.
  • a display unit for displaying a plurality of virtual displays arranged in a virtual space on a head-mounted display; A selection unit for selecting one of the virtual displays according to a motion detected by a detector included in the head-mounted display; A playback unit for playing back content associated with the selected virtual display; The plurality of virtual displays are aligned on a grid provided along the celestial sphere, An apparatus for viewing content, wherein in the selection unit, one virtual display associated with the lattice is selected by identifying one of the lattices on the celestial sphere according to the detected movement.
  • Playing the content with restrictions includes disabling audio output and playing video / audio content, The apparatus of claim 2, wherein playing the content comprises enabling the audio output of video and audio content with the audio output disabled.
  • a determination unit that determines whether the reproduced content has been continuously reproduced for a given time; From the item 1, further comprising: a content replacing unit that replaces the content being played back with the content associated with the virtual display arranged at a predetermined position when it is determined that the content has been played continuously for a given time. 5.
  • the apparatus according to any one of 4 above.
  • the viewing data characteristic is a broadcast station content audience rating rated at a predetermined timing
  • the viewing data characteristic associating unit performs visual processing in the virtual space on the virtual display reproducing the content rated high in the broadcast station content audience rating, and causes the display unit to display the virtual display , Item 8 device.
  • a content viewing system using a head-mounted display A plurality of content viewing devices each connected to a separate head-mounted display; A server device connected to the plurality of content viewing devices via a network, Each of the content viewing devices A display unit for displaying a plurality of virtual displays arranged in a virtual space on the head-mounted display, and the arbitrary virtual display is selected according to movement detected by a detector included in the head-mounted display A display that is possible; A reproduction unit that reproduces each of the received plurality of contents in association with any of the virtual displays; A user viewing data acquisition unit for acquiring user viewing data of the content being played on the specific virtual display for transmission to the server device; The server device is A viewing data characteristic determining unit that determines a viewing data characteristic based on each user viewing data transmitted from each content viewing device; In the virtual space, the plurality of virtual displays are arranged in association with a grid provided along the celestial sphere, and the grid is identified by identifying the grid according to the movement detected by the detector.
  • the content viewing system wherein one
  • FIG. 1A is a schematic diagram of an example HMD system 100 used in a content viewing system according to a first embodiment of the present invention.
  • the HMD system 100 is a client system and can communicate with a server system via a network.
  • the HMD system 100 includes an HMD 110 on which a display 112 and a sensor 114 are mounted, and a control circuit unit 120.
  • the display 112 included in the HMD 110 is a non-transmissive display device configured to completely cover the user's field of view, and the user can observe only the screen displayed on the display 112. Since the user wearing the non-transmissive HMD 110 loses all of the external field of view, the user is completely immersed in the virtual space displayed by the application executed in the control circuit unit 120.
  • the sensor 114 included in the HMD 110 is fixed near the display 112.
  • the sensor 114 includes a geomagnetic sensor, an acceleration sensor, and / or an angular velocity (gyro) sensor, and can detect various movements of the HMD 110 attached to the user's head through one or more of them.
  • an angular velocity sensor the angular velocity around the three axes of the HMD 110 can be detected over time according to the movement of the HMD 110, and the time change of the angle (tilt) around each axis can be determined (in FIG. 4). Later).
  • control circuit unit 120 is provided in the user terminal as a content viewing device.
  • the user terminal can be a general personal computer such as a desktop computer or a laptop computer, and includes a processor, a main memory, an external memory, a user interface, a communication unit, a disk drive, and the like, and a bus. Are electrically connected to each other.
  • the control circuit unit 120 may be mounted inside the HMD 110, or the functions of the content viewing apparatus may be distributed between the user terminal and the HMD. It should be noted that any one or more of the content viewing apparatuses may be configured to function as a server apparatus.
  • FIG. 1B is a schematic diagram of an HMD system 100 'according to another example of the present invention.
  • the HMD system 100 ′ includes an infrared sensor 130 that is communicably connected to the control circuit unit 120.
  • the HMD 110 may or may not include the sensor 114 of FIG. 1A.
  • the infrared sensor 130 has a position tracking function. As shown in FIG. 2, the position tracking function is provided virtually on the HMD 110, and positions of a plurality of detection points for detecting infrared rays in the real space corresponding to the user's movement over time. Detect. Then, based on the temporal change of the position in the real space detected by the infrared sensor 130, the time change of the angle around each axis according to the movement of the HMD 110 can be determined.
  • the HMD systems 100 and 100 ′ can incorporate headphones 116 in the HMD 110 or the content viewing device (control circuit unit 120).
  • the headphones 116 may be an external type instead of a built-in type.
  • a television receiver 115 is built in or externally attached to the content viewing apparatus.
  • the television receiver may be any device as long as it can receive video / audio data for television broadcasting.
  • the video / audio data includes visual content and audio content.
  • a portable terminal such as a known smartphone held by the user can be used as the controller of the HMD 110, and can be connected to and interact with the control circuit unit 120.
  • FIG. 3 is a functional block diagram showing the overall outline of the content viewing system using the HMD according to the embodiment of the present invention.
  • a content viewing apparatus (control circuit) 120 and a server apparatus 500 connected to the plurality of content viewing apparatuses 120 interact via a network.
  • a separate HMD is connected to each of the plurality of content viewing apparatuses.
  • the content viewing apparatus 120 includes a view field generation unit 210, a motion detection unit 220, and a content viewing unit (display unit) 230.
  • the functional blocks 210, 220, and 230 cooperate with various tables stored in the spatial information storage unit 250, the content information storage unit 260, and the like.
  • the server device 500 includes a viewing data characteristic determination unit 510 and cooperates with various tables stored in the total viewing data storage unit 520 and the like.
  • the visual field generation unit 210 of the content viewing apparatus is a user who has been immersed in the three-dimensional virtual space based on the three-dimensional virtual space information stored in the spatial information storage unit 250 and the visual field direction detection information acquired from the sensor 114/130.
  • a view image that can be seen from is generated.
  • the view image can be a part of a 360 degree panoramic image.
  • the motion detection unit 220 measures motion data of the HMD 110 attached to the user's head in response to input of motion information from the sensor 114/130.
  • angle information data detected over time by an angular velocity (gyro) sensor is determined.
  • XYZ coordinates are defined around the head of the user wearing the HMD.
  • the vertical direction in which the user stands upright is the Y axis
  • the direction orthogonal to the Y axis and connecting the center of the display 112 and the user is the Z axis
  • the Y axis and the axis perpendicular to the Z axis are the X axes.
  • an angle around each axis that is, a yaw angle indicating rotation about the Y axis, a pitch angle indicating rotation about the X axis, and a roll angle indicating rotation about the Z axis
  • the motion detection unit 220 determines angle (tilt) information data as view information based on the change over time.
  • the content viewing unit (display unit) 230 of the content viewing apparatus displays a plurality of virtual displays arranged in the virtual space on the HMD.
  • one of a plurality of virtual displays arranged in the three-dimensional virtual space is selected based on the content information stored in the content information storage unit 260 and the tilt angle determined by the motion detection unit 220. Specify by selection.
  • the video / audio content on the selected virtual display is reproduced and output to the display 112 and the headphones 116.
  • the content can be in any format such as a still image, a moving image, or audio.
  • the content may be broadcast station content of a television program received by the television receiver 115.
  • the viewing data characteristic determination unit 510 of the server device totals each user viewing data transmitted from each content viewing device via the network, determines the viewing data characteristics based on the user viewing data, and stores the total viewing data Stored in the unit 520. Also, the viewing data characteristic is transmitted so as to be returned to the content viewing apparatus. Furthermore, the server device 500 also manages various user information and affiliation groups, user viewing data history management, and the like.
  • each element described as a functional block for performing various processes in FIG. 3 can be configured by a CPU (Central Processing Unit), a memory, and other integrated circuits in terms of hardware. It is realized by various programs loaded in the memory. Therefore, those skilled in the art will understand that these functional blocks can be realized by hardware, software, or a combination thereof (the same applies to the block diagrams of FIGS. 9 and 10 described later).
  • CPU Central Processing Unit
  • FIG. 5A and FIG. 5B schematically show examples of the arrangement relationship between the user 1 and the virtual display immersed in the three-dimensional virtual space.
  • Each of the plurality of virtual displays surrounded by the dotted line is arranged along the spherical surface 3 of the omnidirectional sphere, and the broadcasting station contents A to I are displayed on each virtual display.
  • 5A and 5B differ in that the user is virtually located at the center of the sphere or away from the center in the virtual space.
  • 5A corresponds to the case where the HMD system 100 of the example shown in FIG. 1A is adopted, and FIG.
  • 5B corresponds to the case where the HMD system 100 'of another example of FIG. 1B is adopted. That is, when position tracking by the infrared sensor 130 is performed as in the example of FIG. 1B, the user does not need to be positioned at the center of the sphere, and the user can determine whether or not the sphere is based on the positional relationship between the infrared sensor 130 and the HMD 110. It is possible to move on the plane.
  • a plurality of virtual displays are arranged on the spherical surface 3 of the omnidirectional sphere having a radius R in the three-dimensional virtual space. More specifically, a plurality of grids 2 are provided along the celestial sphere, and nine (3 ⁇ 3) virtual displays are arranged in association with the grids. That is, the virtual display is a spherical display. Note that the shape of the lattice is not limited to a quadrangle, and a triangular shape may be used. Multiple grids may be associated with one virtual display. Broadcast station contents A to I associated with all virtual displays included in the user's field of view are simultaneously reproduced with restrictions at the same time as an initial state. As an example, the broadcast station content reproduction is a mode in which only the visual content is reproduced and the audio content is invalidated (muted) in the broadcast station content.
  • the user wearing the HMD can simultaneously see the visual contents of the broadcast station contents A to I on the nine virtual displays. Thereafter, the user can specify one of the nine virtual displays by selection by rotating the head and tilting the HMD.
  • the HMD is tilted in the direction of the virtual display arranged in the upper left grid, and is directed in a specific direction.
  • the virtual display arranged in association with the grid # 1 (1) shown in FIG. 6A is specified.
  • the “x” marks shown in FIG. 6A indicate the points on the grid on which the HMD is directed, but may be displayed on the HMD or not displayed.
  • the broadcast station content A is reproduced (without restriction). That is, at present, the broadcast station content A is in a state where not only visual content but also audio content is validated and reproduced. Meanwhile, for the broadcast station contents B to I on the displays other than the virtual display of the grid # 1 (1), only the visual contents are continuously reproduced at the same time. Furthermore, for example, it is assumed that another virtual display (for example, # 3 (3)) is specified and activated by moving the head and tilting the HMD. In this case, this time, the audio content of the content A is invalidated (muted) and the audio content of the content I is validated and reproduced.
  • another virtual display for example, # 3 (3)
  • the user can sequentially switch the audio content to be played back by tilting the mounted HMD and specifying one of the virtual displays. That is, the user's zapping operation on the multi-virtual display arranged in the virtual space can be realized only by the operation of tilting the HMD without requiring any remote control operation.
  • the state when the state where the user views the content A in FIG. 6A is continued for a certain period of time, the state can be shifted to the state in FIG. 6B. More specifically, as shown in the figure, the content A can be shifted to a display on the virtual display (main virtual display) associated with the grid # 2 (2) corresponding to the center of the user's field of view. Instead, by shifting the content E that has been reproduced with restriction on the virtual display associated with the grid # 2 (2) to the display on the virtual display (sub-virtual display) associated with the grid # 1 (1). Also, the visual contents are replaced. As the audio content, the state in which the content A is reproduced is maintained. The inventor considers that when the viewing state continues for a certain period of time, the transition processing can be assumed that the user has transitioned from zapping to viewing operation, and viewing content should be displayed in the center of the field of view. It is based on.
  • the audio content of the content A of the main virtual display and the content I of the sub virtual display without suddenly invalidating (muting) the audio content of the content A of the main virtual display.
  • the audio contents may be reproduced simultaneously while adjusting the respective volumes.
  • the volume ratio of each audio content may be adjusted to be a predetermined value, or the audio content of the content A of the main virtual display is gradually volumed down as time passes and the sub-virtual display
  • the audio content of the content I may be gradually increased in volume.
  • the output of each audio content may be associated with the right ear output and the left ear output of the headphones 115.
  • FIGS. 6A and 6B show examples of arrangement of other multi-virtual displays corresponding to FIGS. 6A and 6B and broadcast station content display examples.
  • the virtual displays may be arranged at an arbitrary distance, and the main virtual display arranged at the center of the user's field of view is arbitrarily large so as to be larger than the sub virtual display. May be arranged.
  • the multi-virtual display of the present embodiment can be in any position, size, and / or shape as long as each virtual display is associated with at least one grid provided along the spherical surface 3 of the omnidirectional sphere. These may be arranged and may be configured to be user-configurable.
  • FIG. 7A a total of seven virtual displays are arranged centering on the main virtual display in the center, and the user's HMD is directed to the sub-virtual display displaying the broadcast station content A.
  • both the audio content and the visual content are reproduced for the broadcast station content A, and only the visual content is reproduced for the other broadcast station contents B to F (the audio content is invalidated).
  • the state can be shifted to the state of FIG. 7B. More specifically, as shown in the figure, the broadcast station content A is shifted to display on the main virtual display corresponding to the center of the user's field of view.
  • the visual content is also replaced by shifting the broadcast station content D that has been played back with restriction on the main virtual display to the display on the sub virtual display. Naturally, the state where the content of the broadcast station content A is reproduced as the audio content is maintained.
  • a simple operation of the head of the user wearing the HMD can provide the user with a zapping operation mode that could not be considered in the past for multi-virtual displays. That is, the user's zapping operation can be realized on the multi-virtual display arranged in the virtual space without requiring any remote control operation due to the movement of the user's head, which is different from the real world. Screen operability can be provided to the user.
  • FIG. 7B is a display example of a multi-virtual display in which one user is viewing with an HMD.
  • FIG. 8A and FIG. 8B it is assumed that a large number of users are viewing a multi-virtual display by wearing their own HMDs using a similar application.
  • the content viewing data of the multi-virtual display viewed by each user is transmitted to the server device 500 via the network using the content viewing device 120 at an arbitrary timing (for example, periodically).
  • broadcast station content here, broadcast station content A
  • the server that receives the content viewing data from each content viewing device aggregates the content viewing data of the broadcast station content and calculates the viewing data characteristics such as the viewing rate for each broadcast station. Then, the viewing data characteristic is rated and fed back to each content viewing apparatus.
  • each content viewing device that has received the rated viewing data characteristics associates the viewing data characteristics with one or more of the plurality of virtual displays. More specifically, in the virtual space, visual processing is performed on the virtual display that is playing the highly rated broadcast station content, and is displayed on the HMD.
  • FIG. 8A is a display example of a multi-virtual display that receives feedback and performs visual processing. As shown in the figure, the user is watching the broadcast station content A on the main virtual display.
  • the server device 500 Based on the user ID received together with the content viewing data from the content viewing device 120, the server device 500 extracts the content viewing data of the users 1 to 3 belonging to the same group and sends them back together with the icon images of the users 1 to 3.
  • the icon images of the users 1 to 3 are displayed near the virtual display.
  • the user views the broadcast station content on the multi-virtual display, while viewing the broadcast station content, and which broadcast station content is viewed by the members of the user group. It is possible to grasp in real time the characteristics of viewing data such as
  • FIG. 9 is a detailed functional block diagram illustrating the content viewing unit 230 included in the content viewing apparatus described with reference to FIG.
  • FIG. 10 is a detailed functional block diagram illustrating the viewing data characteristic determination unit 510 included in the server apparatus described in FIG.
  • FIG. 11 is a detailed exemplary flowchart between the HMD and the content viewing apparatus regarding content viewing processing.
  • FIG. 12 is a detailed exemplary flowchart between the content viewing apparatus and the server apparatus regarding the content viewing process.
  • the content viewing unit 230 includes a content playback unit 300 including a visual content playback unit (restricted content playback unit) 301 and an audio content playback unit 302, a virtual display selection unit 303, and a content viewing determination unit. 304, a content replacement unit 305, an output unit (display unit) 306, a user / content viewing data acquisition unit 307, and a viewing data characteristic association unit 308.
  • the reproduction unit 300 reproduces each of the plurality of broadcast station contents received by the television receiver in association with one of the virtual displays.
  • the visual content playback unit 301 performs limited playback of only visual content at the same time for the video and audio content associated with each of the plurality of virtual displays displayed on the HMD. In particular, for a video content with sound of a TV program received through a television receiver (for example, video / audio content of a broadcasting station), the audio content is invalidated (that is, muted), and only the visual content is displayed. Reproduce.
  • the audio content reproduction unit 302 reproduces the entire content by validating the audio content associated with the virtual display selected by the virtual display selection unit 303 and invalidated by the visual content reproduction unit 301. That is, the content playback unit 300 superimposes a plurality of audio contents played back by the visual content playback unit 301 and one audio content played back by the audio content playback unit 302, and outputs the output unit 306. And let the user watch.
  • the virtual display selection unit 303 selects any one virtual display according to the movement detected by the sensor (114/130) included in the HMD. More specifically, as described above, the sensor may be an angular velocity sensor, and the detected movement of the HMD includes tilt information. Then, as shown in FIGS.
  • the virtual display associated with the lattice is selected and specified. Can do.
  • the content viewing determination unit 304 determines whether the user has continuously viewed the audio content that has been validated and reproduced by the audio content reproduction unit 302 for a certain period of time. That is, it is determined whether or not the broadcast station content has been reproduced continuously for a given time.
  • the fact that the content has been continuously played for a given time means that the user's action is determined to shift from zapping to viewing mode.
  • the content replacement unit 305 replaces the broadcast station content being played back with the broadcast station content associated with the virtual display arranged at a predetermined position, and outputs it to the output unit 306. In particular, it is preferable to replace it with the broadcast station content of the main virtual display corresponding to the center of view.
  • the user content viewing data acquisition unit 307 acquires the user viewing data of the broadcast station content being reproduced on the main virtual display at a predetermined timing, and provides it to the server device together with the user ID.
  • the user viewing data may include the broadcast station information and content number of the broadcast station content being reproduced on the main virtual display, the broadcast station content arrangement order of the main virtual display and the sub virtual display, and the like.
  • the timing is preferably the timing when the trigger message is received from the server. However, it should be understood by those skilled in the art that the present invention is not limited thereto.
  • the viewing data characteristic associating unit 308 associates the viewing data characteristic with one or more of the plurality of virtual displays in the virtual space after receiving the viewing data characteristic from the server device via the network.
  • the viewing data characteristic includes, for example, a broadcast station content viewing rate.
  • the viewing data characteristic associating unit 308 performs visual processing in the virtual space as illustrated in FIG. 8A on the virtual display reproducing the broadcast station content rated high in the broadcast station content audience rating.
  • the viewing data characteristic is broadcast station content information displayed on the main virtual display by another user belonging to the same user group in his / her virtual space.
  • the viewing data characteristic associating unit 308 displays the icon of the other user in the vicinity of the virtual display playing the broadcast station content viewed by the other user. Visual processing in the virtual space is performed and displayed on the HMD.
  • the output unit 306 displays the entire visual field based on the virtual space on the HMD display 112, and also displays the audio content on the HMD display 112 together with the virtual space image and the visual content of the plurality of virtual displays arranged in the virtual space. Further output to the headphone 115 of the HMD.
  • the viewing data characteristic determination unit 510 included in the server device 500 includes a terminal trigger unit 511, an audience rating calculation unit 512, a rating data generation unit 513, a user management unit 514, and a user viewing information management unit. .
  • the terminal trigger unit 511 transmits a trigger message to each content viewing device at a predetermined timing such as every minute to synchronize each content viewing device.
  • each content viewing apparatus is instructed to acquire user viewing data. It should be understood by those skilled in the art that the terminal trigger unit 511 may not be provided on the server device 500 side if each content viewing device includes other means such as a timer that can synchronize each content viewing device. It is.
  • the viewing rate calculation unit 512 calculates the broadcast station content viewing rate at a predetermined timing to determine viewing data characteristics. The said timing is good to set it as every minute etc. according to the transmission timing of the trigger message in the terminal trigger part 511.
  • the aspect of broadcast station content audience rating calculation is not limited to the above.
  • the calculation may be made according to gender, age group, residential area, etc., or limited to a specific user group. Broadcast station content audience ratings may be calculated.
  • the rating data generation unit 513 then performs a rating based on the broadcast station content audience rating. For example, ranking of broadcasting station contents by audience rating, ranking of broadcasting station contents by comparison with past broadcasting station content audience rating, and the like.
  • the user management unit 514 manages various user information.
  • the user information includes, for example, a user ID, a group ID, a user icon image, user authentication information, and the like.
  • the user viewing information management unit 515 stores user viewing data associated with each user ID and its history information, and can search and acquire user viewing data for each user.
  • step S201 information processing on the user side regarding content viewing is performed by an interaction between the HMD 110 and the content viewing device 120.
  • the content viewing mode is turned on on the application, and the field of view of the virtual space is determined.
  • the user wearing the HMD is in the state of FIGS. 5A and 5B in the virtual space.
  • step S ⁇ b> 202 as an initial state, visual contents of all virtual displays arranged in the field of view are reproduced with restrictions by the visual contents reproduction unit 301 and output to the output unit 306.
  • step S101 Upon receiving step S202, in step S101, as shown in FIG. 6A and FIG. 7A, the HMD 110 displays the visual content reproduced on all virtual displays in the field of view output to the output unit 306. While the visual content is displayed, the HMD 110 also acquires HMD motion information from the sensor 114/130 in step S102 and supplies the information to the content viewing apparatus 120. In particular, head rotation (tilt) information data by the angular velocity sensor 114 and / or position information data in the virtual space by the infrared sensor 130 are acquired.
  • head rotation (tilt) information data by the angular velocity sensor 114 and / or position information data in the virtual space by the infrared sensor 130 are acquired.
  • the virtual display selection unit 303 specifies the target virtual display by selection based on the movement information.
  • HMD tilt data determined from the yaw angle, pitch angle, and roll angle included in the head rotation information by the angular velocity sensor shown in FIG.
  • the absolute position coordinates of the intersection point where the vector of the HMD tilt direction (arrows in FIGS. 5A and 5B) intersects the spherical surface 3 having the radius R are calculated.
  • the association between the lattice and the virtual display is preferably stored in the content information storage unit 260 as a table, for example.
  • the content viewing apparatus 120 plays back the content of the target virtual display in the content playback unit 300.
  • the audio content reproduction unit 302 validates and reproduces the audio content of the target virtual display that has been invalidated in step S202.
  • the HMD 110 continuously acquires HMD motion information in step S103 and supplies it to the content viewing apparatus 120.
  • step S205 the content viewing determination unit 304 monitors how long the broadcast content of the target virtual display has been continuously played and determines whether or not the broadcast content on the target virtual display has been played continuously for a predetermined time. . If the playback has been continued for a predetermined time, it is determined in step S206 that the user's operation has shifted from the zapping mode to the viewing mode, and the broadcast station content of the target virtual display is displayed on the main virtual display. Therefore, the content replacement unit 305 replaces the content of the target virtual display with the content of the main virtual display associated with a predetermined lattice on the spherical surface 3 corresponding to the center of the field of view (see also FIGS. 6B and 7B). .
  • the transfer process of step S206 is not limited to the process which replaces each content of a target virtual display and a main virtual display. For example, the content to be replaced may be slid or rotated in order.
  • FIG. 12 shows information processing by interaction between the content viewing apparatus 120 and the server apparatus 500 when viewing the content, corresponding to FIG. 8A.
  • the terminal trigger unit 511 of the server device transmits a trigger message to the content viewing device currently connected to the server at a predetermined timing such as every minute.
  • user viewing data is acquired at the timing when the user / content viewing data acquisition unit 307 of the content viewing apparatus receives the trigger message.
  • the broadcast station information and content number of the broadcast station content associated with the main virtual display are acquired.
  • the acquired user viewing data is transmitted to the server device 500 together with the user ID.
  • the server device 500 that has received the user viewing data from each content viewing device determines the viewing data characteristics by the viewing rate calculation unit 512 in step S302. More specifically, the audience rating of the broadcast station content associated with the main virtual display in each content viewing device is calculated, and the rating data generation unit 513 performs rating of the broadcast station content audience rating.
  • the determined viewing data characteristic is transmitted to the content viewing apparatus 120 as a feedback message in step S303.
  • the content viewing apparatus 120 that has received the feedback message associates the viewing data characteristic with one or more of the plurality of virtual displays by the viewing data characteristic association unit. More specifically, as shown in FIG. 8A, visual processing in the virtual space is performed on the virtual display that is playing the broadcast station content rated high in the broadcast station content audience rating, and converted into the HMD. Display.
  • FIG. 13 shows information processing by the interaction between the content viewing apparatus 120 and the server apparatus 500 when viewing the content, corresponding to FIG. 8B.
  • the flow up to step S302 is the same as that in FIG. 12, and a description thereof is omitted here.
  • the user management unit 514 obtains the group ID associated with the user ID sent from the content viewing apparatus in step S311. Subsequently, in step S312, the other user's user ID associated with the group ID and his / her Get a registered icon image.
  • the user viewing information management unit 515 uses the other user ID to send the other user's user viewing data transmitted to the server device and store it on the main virtual display, particularly in the other user's content viewing device. Get broadcast station content information.
  • step S314 not only the viewing data characteristics are transmitted to the content viewing apparatus, but also the other user's icon image and the broadcast station content information of the other user specified in step S313 are transmitted as a feedback message.
  • step S213 the content viewing apparatus 120 that has received the feedback message associates the viewing data characteristic with one or more of the plurality of virtual displays by the viewing data characteristic associating unit 308. More specifically, as shown in FIG. 8A, visual processing in the virtual space is performed on the virtual display that is playing the broadcast station content rated high in the broadcast station content audience rating, and converted into the HMD. Display. At the same time, in step S214, as shown in FIG. 8B, the icon image of the other user is associated with the virtual display currently displaying the broadcast station content information currently being viewed by the other user and displayed in the vicinity thereof. To do.
  • Example of Screen Display FIG. 14 shows an example of a screen displayed on the HMD implemented based on the embodiment of the present invention. FIG. 14 corresponds to FIG. 8A, in which the main virtual display is arranged in the center, and three sub virtual displays are arranged three-dimensionally on both sides thereof.
  • the HMD is oriented in the virtual display direction in the lower left column and is selected as the target virtual display. If the inclination of the HMD is maintained with respect to the target virtual display for a certain time, the screen is switched, the target virtual display is moved to the central main display portion, and the content is displayed in a large size, and the audio content is displayed. Is also played. Broadcast station content displayed on the sub-virtual display is reproduced and displayed with restrictions. If the user further tilts the HMD and points to one of the sub-displays and a certain time elapses, the content of the sub-display that has been pointed is replaced with the content of the main display. The user can sequentially switch the audio contents by specifying one virtual display by tilting the mounted HMD so as to point to any one of the virtual displays.
  • a solid line frame is visually displayed on the virtual display in the middle of the left column, and a dotted line frame is visually displayed on the virtual display below the right column, and the audience rating of the broadcast station content displayed on these virtual displays is displayed. Is high.
  • the user viewing information is transmitted to the server via the network, and the server can aggregate and feed back the viewing data of each user of the broadcast station content in real time.
  • the embodiment of the present invention has been described above.
  • the content viewing system according to the embodiment of the present invention is applied to an application that displays a multi-virtual display arranged in a virtual space on an HMD.
  • the virtual display is a virtual television
  • the video / audio content (television program) of the broadcasting station received by the television receiver or the like is reproduced in the virtual space, and the user wearing the HMD broadcasts. This is applied to an application for viewing station contents.
  • the entire operation of the controller such as a real-world television program change can be substituted by the head operation of the HMD.
  • user zapping for multi-virtual displays arranged in a virtual space can be realized only by tilting the HMD without requiring any remote control operation, providing users with screen operability different from the real world can do.
  • the server since the server aggregates the viewing data of each user of the broadcast station content in real time and feeds back to each user, the user is popular while viewing the broadcast station content. Broadcast station content can be grasped in real time.

Abstract

 ユーザが、人気がある放送局コンテンツをリアルタイムに把握可能とする、ヘッドマウント・ディスプレイ(HMD)を用いたコンテンツ視聴システムを提供する。 仮想空間に配置された複数の仮想ディスプレイをヘッドマウント・ディスプレイに表示する表示部と、ヘッドマウント・ディスプレイが具備する検出器で検出される動きに応じて、仮想ディスプレイの内1つを選択する選択部と、選択された仮想ディスプレイに関連付けられるコンテンツを再生する再生部とを備え、複数の仮想ディスプレイが天球面に沿うように設けた格子上に整列され、選択部において、検出された動きに従って天球面上の格子の1つを特定することにより、当該格子に関連づけられる1つの仮想ディスプレイを選択する、コンテンツ視聴のための装置が得られる。

Description

ヘッドマウント・ディスプレイを用いたコンテンツ視聴のための装置およびシステム
 本発明は、ユーザが、ヘッドマウント・ディスプレイを用いて、仮想空間内の仮想ディスプレイのコンテンツを視聴可能とするコンテンツ視聴システム、方法、およびコンピュータ・プログラムに関するものである。
 ユーザの頭部に装着され、眼前に配置されたディスプレイ等によってユーザに仮想空間における画像を提示可能なヘッドマウント・ディスプレイ(Head-Mounted Desplay。以下、「HMD」と称する。)が知られる。特許文献1に開示される技術は、HMDを装着したユーザが頭部を回転させると、それに併せて360度のパノラマ画像の視線方向を変更でき、ユーザの映像世界への没入感を高めるというものである。
特開2013-258614号公報 センサにより取得されるユーザの頭部動作の情報は、単に、パノラマ画像の視線方向特定のためのみならず、今後開発される数多くのアプリケーションで使用されることが期待される。アプリケーションの一例として、3次元仮想現実空間(以下、「3次元仮想空間」、「仮想空間」、「仮想現実空間」と称することもある。)に配置された仮想ディスプレイをHMD上に表示するアプリケーションを想定する。仮想ディスプレイには、TV番組のような映像コンテンツが表示可能であり、ユーザはHMDを通じて映像コンテンツが視聴である。しかしながら、ユーザは、HMDを装着しており手元を見ることができないために、TVリモコンのようなコントローラ操作は不可能である。
 本発明は、ユーザによる従来のリモコン操作の代替として、HMDによる頭部動作を適用することを目的とする。特に、複数の映像音声コンテンツから1つを選択する際に、従来のリモコン操作によるザッピング操作に対し、HMDの頭部動作で代用可能とする簡単な操作性を提供することを目的とする。
 上述した課題を解決するために、本発明の一態様によれば、仮想空間に配置された複数の仮想ディスプレイをヘッドマウント・ディスプレイに表示する表示部と、ヘッドマウント・ディスプレイが具備する検出器で検出される動きに応じて、仮想ディスプレイの内1つを選択する選択部と、選択された仮想ディスプレイに関連付けられるコンテンツを再生する再生部とを備え、複数の仮想ディスプレイが天球面に沿うように設けた格子上に整列され、選択部において、検出された動きに従って天球面上の格子の1つを特定することにより、当該格子に関連づけられる1つの仮想ディスプレイを選択する、コンテンツ視聴のための装置が得られる。
 また、本発明の一態様によれば、ヘッドマウント・ディスプレイを用いたコンテンツ視聴システムであって、各々が別個のヘッドマウント・ディスプレイに接続される複数のコンテンツ視聴装置と、ネットワークを介して複数のコンテンツ視聴装置に接続されるサーバ装置とを備え、各コンテンツ視聴装置が、仮想空間に配置された複数の仮想ディスプレイをヘッドマウント・ディスプレイに表示させる表示部であって、ヘッドマウント・ディスプレイが具備する検出器で検出される動きに応じて任意の仮想ディスプレイが選択可能である、表示部と、受信した複数のコンテンツの各々を、仮想ディスプレイの何れかに関連付けて再生する再生部と、サーバ装置に送信するために、特定の仮想ディスプレイ上で再生されているコンテンツのユーザ視聴データを取得するユーザ視聴データ取得部とを備え、上記サーバ装置が、各コンテンツ視聴装置から送信される各ユーザ視聴データに基づいて、視聴データ特性を決定する視聴データ特性決定部を備え、仮想空間において複数の仮想ディスプレイが、天球面に沿うように設けた格子に関連付けて配置されており、検出器で検出された動きに応じて格子を特定することにより、該格子に関連づけられた1つの仮想ディスプレイが選択されることを特徴とする、コンテンツ視聴システムが得られる。
 本発明によれば、仮想空間のマルチ仮想テレビ環境内で映像音声コンテンツを再生する際に、従来のリモコン操作をHMDの頭部動作で代替させることができる。特に、複数の映像音声コンテンツから1つを選択する場合に、従来のリモコン操作によるザッピング操作を、HMDの頭部動作で代用可能とする簡単な操作性を提供することができる。
 本発明の上記の、及び他の特徴及び利点は、この発明の実施例の以下のより詳細な説明、添付の図面、及び特許請求の範囲の記載から明らかになる。
図1Aは、本発明の実施の態様による、コンテンツ視聴システムで使用される一例のHMDシステムの概略図である。 図1Bは、本発明の実施の態様による、コンテンツ視聴システムで使用される他の例のHMDシステムの概略図である。 図2は、図1Bで使用される赤外線センサによって検知される、HMD上に仮想的に設けられた複数の検知点の概要図である。 図3は、本発明の実施の態様による、コンテンツ視聴システム全体の機能的構成に関するブロック図である。 図4は、図1Aまたは図1Bに示したHMDを装着しているユーザの頭部を中心に規定される3次元空間上の直交座標系を示す。 図5Aは、本発明の実施の態様による、コンテンツ視聴システムで実現される、仮想空間におけるユーザと仮想ディスプレイの一配置例を示す立体概要図である。 図5Bは、本発明の実施の態様による、コンテンツ視聴システムで実現される、仮想空間におけるユーザと仮想ディスプレイの他の配置例を示す立体概要図である。 図6Aは、本発明の実施の態様による、コンテンツ視聴システムで実現される、仮想空間におけるマルチ仮想ディスプレイの放送局コンテンツ表示例を示す一例の平面概要図である。 図6Bは、本発明の実施の態様による、コンテンツ視聴システムで実現される、仮想空間におけるマルチ仮想ディスプレイの放送局コンテンツ表示例を示す一例の平面概要図である。 図7Aは、本発明の実施の態様による、コンテンツ視聴システムで実現される、仮想空間におけるマルチ仮想ディスプレイの他の放送局コンテンツ表示例を示す一例の平面概要図である。 図7Bは、本発明の実施の態様による、コンテンツ視聴システムで実現される、仮想空間におけるマルチ仮想ディスプレイの他の放送局コンテンツ表示例を示す一例の平面概要図である。 図8Aは、本発明の実施の態様による、コンテンツ視聴システムで実現される、仮想空間におけるマルチ仮想ディスプレイのコンテンツ表示例に関し、視聴データ特性の一例が反映された平面概要図である。 図8Bは、本発明の実施の態様による、コンテンツ視聴システムで実現される、仮想空間におけるマルチ仮想ディスプレイのコンテンツ表示例に関し、視聴データ特性の他の例が反映された平面概要図である。 図9は、本発明の実施の態様による、コンテンツ視聴システムが備えるコンテンツ視聴装置が備えるコンテンツ視聴部における機能的構成のブロック図である。 図10は、本発明の実施の態様による、コンテンツ視聴システムが備えるサーバ装置が備える視聴データ特性決定部における機能的構成のブロック図である。 図11は、本発明の実施の態様による、コンテンツ視聴システムにおけるコンテンツ視聴に関するHMDとコンテンツ視聴装置との間の処理の流れの一例を示すフロー図である。 図12は、本発明の実施の態様による、コンテンツ視聴システムにおけるコンテンツ視聴に関するコンテンツ視聴装置とサーバ装置との間の処理の流れを示す一例のフロー図である。 図13は、本発明の実施の態様による、コンテンツ視聴システムにおけるコンテンツ視聴に関するコンテンツ視聴装置とサーバ装置との間の処理の流れを示す他の例のフロー図である。 図14は、本発明の実施の態様による、コンテンツ視聴アプリケーションで実装された一例の画面イメージである。
 〔本発明の実施形態の説明〕
 最初に、本発明の実施形態の内容を列記して説明する。本発明の実施形態による方法およびプログラムは、以下のような構成を備える。
 〔項目1〕 仮想空間に配置された複数の仮想ディスプレイをヘッドマウント・ディスプレイに表示する表示部と、
 前記ヘッドマウント・ディスプレイが具備する検出器で検出される動きに応じて、前記仮想ディスプレイの内1つを選択する選択部と、
 前記選択された仮想ディスプレイに関連付けられるコンテンツを再生する再生部とを備え、
 前記複数の仮想ディスプレイが天球面に沿うように設けた格子上に整列され、
 前記選択部において、前記検出された動きに従って前記天球面上の格子の1つを特定することにより、該格子に関連づけられる1つの前記仮想ディスプレイを選択する、コンテンツ視聴のための装置。
 〔項目2〕 前記ヘッドマウント・ディスプレイに表示された前記複数の仮想ディスプレイにおいて、各々に関連付けられるコンテンツを同時に制限付きで再生する制限付き再生部を更に備える、項目1記載の装置。
 〔項目3〕 前記コンテンツを制限付きで再生することが、オーディオ出力を無効化して映像音声コンテンツを再生することを含み、
 前記コンテンツを再生することが、前記オーディオ出力を無効化した映像音声コンテンツの前記オーディオ出力を有効化することを含む、項目2記載の装置。
 〔項目4〕 前記映像音声コンテンツが、テレビジョン受像機を通じて受信されるテレビ番組コンテンツである、項目2記載の装置。
 〔項目5〕 前記再生されたコンテンツが所与の時間継続して再生されたかを判定する判定部と、
 所与の時間継続して再生されたと判定された場合に、再生されている当該コンテンツを所定の位置に配置された仮想ディスプレイに関連付けられたコンテンツと入れ替えるコンテンツ入れ替え部とを更に備える、項目1から4のいずれか一項記載の装置。
 〔項目6〕 前記検出器が角速度センサであり、前記検出された動きが傾き情報を含む、項目1から5のいずれか一項記載の装置。
 〔項目7〕 前記選択された仮想ディスプレイ上で再生されているコンテンツの視聴データを取得し、サーバ装置に前記視聴データを送信する視聴データ取得部を備える、項目1~6のいずれかの装置。
 〔項目8〕 前記視聴データに基づいて決定された視聴データ特性を前記サーバ装置から受信し、前記視聴データ特性を前記複数の仮想ディスプレイの内1つ以上に関連付ける視聴データ特性関連付け部を備える、項目7の装置。
 〔項目9〕 前記視聴データ特性が、所定のタイミングで格付けされる放送局コンテンツ視聴率であり、
 前記視聴データ特性関連付け部は、前記放送局コンテンツ視聴率が高く格付けされたコンテンツを再生している前記仮想ディスプレイに対して、前記仮想空間における視覚上の処理を施して、前記表示部に表示させる、項目8の装置。
 〔項目10〕 前記放送局コンテンツ視聴率は、前記サーバ装置に送信された前記視聴データの総数と、前記コンテンツ毎の視聴ユーザ数に基づいて決定される、項目9の装置。
 〔項目11〕 ヘッドマウント・ディスプレイを用いたコンテンツ視聴システムであって、
 各々が別個の前記ヘッドマウント・ディスプレイに接続される複数のコンテンツ視聴装置と、
 ネットワークを介して前記複数のコンテンツ視聴装置に接続されるサーバ装置とを備え、
 各前記コンテンツ視聴装置が、
  仮想空間に配置された複数の仮想ディスプレイを前記ヘッドマウント・ディスプレイに表示させる表示部であって、前記ヘッドマウント・ディスプレイが具備する検出器で検出される動きに応じて任意の前記仮想ディスプレイが選択可能である、表示部と、
  受信した複数のコンテンツの各々を、前記仮想ディスプレイの何れかに関連付けて再生する再生部と、
  前記サーバ装置に送信するために、特定の前記仮想ディスプレイ上で再生されている前記コンテンツのユーザ視聴データを取得するユーザ視聴データ取得部とを備え、
 前記サーバ装置が、
  前記各コンテンツ視聴装置から送信される各前記ユーザ視聴データに基づいて、視聴データ特性を決定する視聴データ特性決定部を備え、
 前記仮想空間において前記複数の仮想ディスプレイが、天球面に沿うように設けた格子に関連付けて配置されており、前記検出器で検出された動きに応じて前記格子を特定することにより、該格子に関連づけられた1つの前記仮想ディスプレイが選択されることを特徴とする、コンテンツ視聴システム。
 〔本発明の実施形態の詳細〕
 本発明の実施形態に係るヘッドマウント・ディスプレイ(HMD)を用いたコンテンツ視聴のための装置およびシステムの具体例を、以下に図面を参照しながら説明する。なお、本発明はこれらの例示に限定されるものではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。以下の説明では、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。
 図1Aは、本発明の第1実施例による、コンテンツ視聴システムで使用される一例のHMDシステム100の概略図である。なお、HMDシステム100はクラアント・システムであり、ネットワークを介してサーバ・システムと通信可能である。図示のようにHMDシステム100は、ディスプレイ112およびセンサ114を搭載するHMD110、並びに制御回路部120を備える。HMD110が具備するディスプレイ112は、ユーザの視界を完全に覆うよう構成された非透過型の表示装置であり、ユーザはディスプレイ112に表示される画面のみを観察することができる。非透過型のHMD110を装着したユーザは、外界の視界を全て失うため、制御回路部120において実行されるアプリケーションにより表示される仮想空間に完全に没入することになる。
 HMD110が具備するセンサ114は、ディスプレイ112近辺に固定される。センサ114は、地磁気センサ、加速度センサ、および/または角速度(ジャイロ)センサを含み、これらの1つ以上を通じて、ユーザの頭部に装着されたHMD110の各種動きを検出することができる。特に角速度センサの場合には、HMD110の動きに応じて、HMD110の3軸回りの角速度を経時的に検出し、各軸回りの角度(傾き)の時間変化を決定することができる(図4において後述)。
 また、制御回路部120は、コンテンツ視聴装置として、ユーザ端末内に具備される。ユーザ端末は、デスクトップ・コンピュータやラップトップ・コンピュータ等の一般的なパーソナル・コンピュータとすることができ、プロセッサ、メインメモリ、外部メモリ、ユーザ・インタフェース、通信部、およびディスク・ドライブ等を備え、バスを介して電気的に相互に接続される。なお、他の例では、制御回路部120は、HMD110内部に搭載してもよいし、コンテンツ視聴装置の機能をユーザ端末およびHMDで分散させてもよい点に留意すべきである。また、コンテンツ視聴装置の何れか1つ以上をサーバ装置として機能させるように構成してもよい点に留意すべきである。
 図1Bは、本発明の他の例による、HMDシステム100’の概略図である。図1Aと比較すると、図1Bの例では、HMDシステム100’は、制御回路部120に通信可能に接続される赤外線センサ130を備える点で異なる。また、HMD110は図1Aのセンサ114を備えてもよいし、備えなくてもよい。赤外線センサ130はポジショントラッキング機能を有する。ポジショントラッキング機能は、更に図2に例示的に示すように、HMD110上に仮想的に設けられ、赤外線を検知する複数の検知点についての実空間内での位置をユーザの動きに対応して経時的に検出する。そして、赤外線センサ130により検出された実空間内での位置の経時的変化に基づいて、HMD110の動きに応じた各軸回りの角度の時間変化が決定されることができる。
 なお、図1Aおよび図1Bには図示していないが、HMDシステム100,100’は、HMD110またはコンテンツ視聴装置(制御回路部120)にヘッドホン116を内蔵することができる。勿論、ヘッドホン116は内蔵型ではなく外付け型としてもよい。また、仮想空間内の仮想テレビにテレビ番組の放送を受信するために、HMDシステム100,100’では、コンテンツ視聴装置においてテレビジョン受像機115が内蔵されるか、または外付けされる。テレビジョン受像機は、テレビジョン放送用の映像音声データを受信できればいずれの機器であってよい。映像音声データは、ビジュアル・コンテンツおよびオーディオ・コンテンツを含む。更に、HMD110のコントローラとして、ユーザにより保持される公知のスマートフォン等の携帯端末を使用することができ、制御回路部120に通信可能に接続して相互作用することができる。
 図3は、本発明の実施の形態による、HMDを用いたコンテンツ視聴システムの全体概要についての機能ブロック図である。図示のように、コンテンツ視聴装置(制御回路)120、および複数のコンテンツ視聴装置120に接続されるサーバ装置500がネットワークを介して相互作用する。複数のコンテンツ視聴装置のそれぞれに対し、別個のHMDが接続される。コンテンツ視聴装置120は、視界生成部210、動き検出部220およびコンテンツ視聴部(表示部)230を備える。機能ブロック210,220,230は、空間情報格納部250やコンテンツ情報格納部260等に収容される各種テーブルと協働する。また、サーバ装置500は、視聴データ特性決定部510を備え、集計視聴データ格納部520等に収容される各種テーブルと協働する。
 コンテンツ視聴装置の視界生成部210は、空間情報格納部250に格納された3次元仮想空間情報、およびセンサ114/130から取得した視野方向の検出情報に基づいて、3次元仮想空間に没入したユーザから見える視界画像を生成する。視界画像は、360度パノラマ画像の一部とすることができる。動き検出部220は、センサ114/130からの動き情報の入力に応じて、ユーザの頭部に装着されたHMD110の動きデータを測定する。本実施の形態では、特に、角速度(ジャイロ)センサにより経時的に検出された角度情報データを決定する。
 角度情報データについて図4を参照して説明する。図示のように、HMDを装着したユーザの頭部を中心として、XYZ座標を規定する。ユーザが直立する垂直方向をY軸とし、Y軸と直交しディスプレイ112の中心とユーザを結ぶ方向をZ軸とし、Y軸およびZ軸と直交する方向の軸をX軸とする。角速度(ジャイロ)センサでは、各軸回りの角度(即ち、Y軸を軸とした回転を示すヨー角、X軸を軸とした回転を示すピッチ角、Z軸を軸とした回転を示すロール角で決定される傾き)を検出し、その経時的な変化により、動き検出部220が視界情報として角度(傾き)情報データを決定する。
 図3に戻り、コンテンツ視聴装置のコンテンツ視聴部(表示部)230では、仮想空間に配置された複数の仮想ディスプレイをHMDに表示させる。併せて、本実施の形態では、コンテンツ情報格納部260に格納されたコンテンツ情報および動き検出部220で決定した傾き角度に基づいて、3次元仮想空間に配置した複数の仮想ディスプレイの内1つを選択により特定する。更に選択した仮想ディスプレイ上の映像音声コンテンツを再生して、ディスプレイ112およびヘッドホン116に出力する。なお、当該コンテンツは、静止画や動画、音声等、如何なる形式ともすることができる。本実施の形態では、特に、コンテンツはテレビジョン受像機115で受信したテレビ番組の放送局コンテンツとするのがよい。
 サーバ装置の視聴データ特性決定部510は、ネットワークを介して各コンテンツ視聴装置から送信される各ユーザ視聴データを集計し、該ユーザ視聴データに基づいて視聴データ特性を決定して、集計視聴データ格納部520に格納する。また、視聴データ特性をコンテンツ視聴装置に戻すように送信する。更に、サーバ装置500は、各種ユーザ情報や所属グループの管理、ユーザ視聴データ履歴の管理等も実施する。
 なお、図3において様々な処理を行う機能ブロックとして記載される各要素は、ハードウェア的には、CPU(Central Processing Unit)、メモリ、その他の集積回路で構成することができ、ソフトウェア的には、メモリにロードされた各種プログラムなどによって実現される。したがって、これらの機能ブロックがハードウェア、ソフトウェア、又はそれらの組み合わせによって実現できることが当業者に理解される(後記する図9および図10のブロック図についても同様である)。
 図5A以降を参照して、本実施の形態により、上記コンテンツ視聴部230によって実施されるコンテンツ視聴処理について説明する。図5Aおよび図5Bは、3次元仮想空間に没入したユーザ1と仮想ディスプレイの配置関係例をそれぞれ模式的に示す。点線で囲まれる複数の仮想ディスプレイの各々は全天球の球面3に沿うように配置され、各仮想ディスプレイ上に各放送局コンテンツA~Iが表示されている。図5Aおよび図5Bは、仮想空間中、ユーザが球体の中心に仮想的に位置するか、中心から離れて位置するかの点で異なる。なお、図5Aは、図1Aに示した例のHMDシステム100を採用した場合、図5Bは、図1Bの他の例のHMDシステム100’を採用した場合に相当する。つまり、図1Bの例のように赤外線センサ130によるポジショントラッキングを実施する場合は、球体の中心にユーザが位置する必要はなく、ユーザは、赤外線センサ130とHMD110の位置関係に基づいて、球体内の平面上を移動可能となる。
 図5Aおよび図5Bに示すように、3次元仮想空間の半径Rの全天球の球面3に複数の仮想ディスプレイが配置される。より詳細には、天球面に沿うように複数の格子2が設けられ、当該格子に併せて9つ(3×3)の仮想ディスプレイが関連付けられて配置される。即ち、仮想ディスプレイは球面ディスプレイとなる。なお、格子の形状は四角形に限定されず、三角形としても、任意の形状とすることができる。複数の格子を1つの仮想ディスプレイに関連づけてもよい。ユーザの視野に含まれる全ての仮想ディスプレイに関連付けられた放送局コンテンツA~Iは、初期状態として同時に制限付きで再生されている。放送局コンテンツの制限付きでの再生とは、一例として、放送局コンテンツにおいて、ビジュアル・コンテンツのみを再生し、オーディオ・コンテンツは無効化(ミュート)するような態様である。
 図6Aの平面図にも示すように、HMDを装着したユーザには、9つの仮想ディスプレイ上で各放送局コンテンツA~Iのビジュアル・コンテンツが同時に見えている。ユーザは、その後、頭部を回転させ、HMDを傾けることにより、上記9つの仮想ディスプレイの内何れかを選択により特定することができる。上記のように、図5Aおよび図5Bでは、左上の格子に配置された仮想ディスプレイの方向にHMDを傾け、特定の方向を指向する。これにより、図6Aに示す格子#1(1)に関連付けて配置された仮想ディスプレイが特定されている。図6Aに示す「×」印はHMDが指向する上記格子上の点を示すが、実際にHMDに表示しても、非表示としても何れでもよい。
 図6Aの例では、格子#1(1)の仮想ディスプレイが特定され、該仮想ディスプレイが例えば太枠かつ網掛けで活性表示されると、放送局コンテンツAが(制限なしで)再生される。即ち、現在、放送局コンテンツAは、ビジュアル・コンテンツのみならず、オーディオ・コンテンツが有効化されて再生している状態となる。なお、その間、格子#1(1)の仮想ディスプレイ以外のディスプレイ上の放送局コンテンツB~Iは、引き続きビジュアル・コンテンツのみが同時に制限付きで再生されている。更に、例えば、ユーザが頭部を動かしてHMDを傾けることにより、別の仮想ディスプレイ(例えば#3(3))が特定され活性表示されたとする。この場合は、今度は、コンテンツAのオーディオ・コンテンツを無効化(ミュート)すると共にコンテンツIのオーディオ・コンテンツを有効化して再生することになる。
 ユーザは、装着したHMDを傾けて、何れかの仮想ディスプレイを指向して特定することを通じて、再生するオーディオ・コンテンツを逐次切り替えることができる。つまり、仮想空間に配置されたマルチ仮想ディスプレイに対するユーザのザッピング操作を、何らのリモコン操作を必要とすることなく、HMDを傾ける動作のみによって実現可能とする。
 本発明の実施の形態によれば、更に、ユーザが図6AのコンテンツAを視聴した状態を一定時間継続した場合、図6Bの状態に移行させることができる。より詳細には、図示のように、コンテンツAを、ユーザの視界の中心部に相当する格子#2(2)に関連付けられる仮想ディスプレイ(メイン仮想ディスプレイ)上の表示に移行することができる。その代わり、それまで格子#2(2)に関連付けられる仮想ディスプレイで制限付き再生されていたコンテンツEを格子#1(1)に関連付けられる仮想ディスプレイ(サブ仮想ディスプレイ)での表示に移行することにより、ビジュアル・コンテンツの入れ替えも行う。オーディオ・コンテンツとしてはコンテンツAのものが再生される状態が維持される。当該移行処理は、一定時間視聴状態が継続されると、ユーザはザッピングから視聴動作に状態遷移しているものと想定でき、視界の中心部に視聴コンテンツを表示すべきであるという発明者の考察に基づくものである。
 引き続き、ユーザが更に頭部を動かしてHMDを傾けることにより、別の仮想テレビ(例えば格子#3(3)に関連付けられる)が特定され活性表示されたとする。この場合は、更に、メイン仮想ディスプレイ(格子#2(2)に関連付け)とサブ仮想ディスプレイ(格子#3(3)に関連付け)のコンテンツ入れ替えを実施する。
 切り替えの際は、ビジュアル・コンテンツを入れ替えるのよりも先に、オーディオ・コンテンツを切り替えるのがよい。即ち、ビジュアル・コンテンツを入れ替えるのよりも先に、メイン仮想ディスプレイで再生しているコンテンツAのオーディオ・コンテンツを無効化(ミュート)すると共に、サブ仮想ディスプレイのコンテンツIのオーディオ・コンテンツを再生するように切り替えるのがよい。オーディオ・コンテンツの切り替えを先に実施することで、ユーザに対し切り替えの臨場感を向上させることができる。
 代替として、オーディオ・コンテンツを切り替える際に、メイン仮想ディスプレイのコンテンツAのオーディオ・コンテンツをいきなり無効化(ミュート)することなく、メイン仮想ディスプレイのコンテンツAのオーディオ・コンテンツ、およびサブ仮想ディスプレイのコンテンツIのオーディオ・コンテンツをそれぞれの音量を調整しながら同時再生するようにしてもよい。例えば、それぞれのオーディオ・コンテンツのボリューム比を所定の値となるように調整してもよく、または、時間経過と共にメイン仮想ディスプレイのコンテンツAのオーディオ・コンテンツを徐々にボリューム・ダウンすると共にサブ仮想ディスプレイのコンテンツIのオーディオ・コンテンツを徐々にボリューム・アップしてもよい。それ以外にも、例えば、メイン仮想ディスプレイとサブ仮想ディスプレイの配置関係にしたがって、それぞれのオーディオ・コンテンツの出力をヘッドホン115の右耳出力と左耳出力に対応付けてもよい。
 上記図6Aおよび図6Bに相当する他のマルチ仮想ディスプレイの配置例および放送局コンテンツ表示例を図7Aおよび図7Bに示す。図示のように、各仮想ディスプレイは任意の距離を離して配置してもよく、また、ユーザの視界の中心部に配置するメイン仮想ディスプレイは、サブ仮想ディスプレイよりも大きくなるように任意の大きさで配置してもよい。つまり、本実施の形態のマルチ仮想ディスプレイは、各仮想ディスプレイが全天球の球面3に沿うように設けた少なくとも1つの格子に関連付けられるのであれば、任意の位置、大きさおよび/または形状で配置することができ、これらはユーザ設定可能とするように構成してもよい。
 図7Aの例では、中央部のメイン仮想ディスプレイを中心に合計7つの仮想ディスプレイが配置され、ユーザのHMDは放送局コンテンツAを表示しているサブ仮想ディスプレイを指向している。この場合、放送局コンテンツAがオーディオ・コンテンツおよびビジュアル・コンテンツの両方が再生され、他の放送局コンテンツB~Fは制限付きでビジュアル・コンテンツのみが再生されている(オーディオ・コンテンツは無効化される)。そして、図7Aでユーザが放送局コンテンツAを視聴した状態を一定時間継続した場合、図7Bの状態に移行させることができる。より詳細には、図示のように、放送局コンテンツAを、ユーザの視界の中心部に相当するメイン仮想ディスプレイ上での表示に移行する。その代わり、それまでメイン仮想ディスプレイで制限付き再生されていた放送局コンテンツDをサブ仮想ディスプレイでの表示に移行することにより、ビジュアル・コンテンツの入れ替えも行う。当然、オーディオ・コンテンツとしては放送局コンテンツAのものが再生される状態が維持される。
 HMDを装着したユーザの頭部の簡易な動作により、マルチ仮想ディスプレイに対し、従来では考えられなかったザッピングの操作態様をユーザに提供することができる。即ち、ユーザの頭部の動きによる動作により、仮想空間に配置されたマルチ仮想ディスプレイに対して、何らのリモコン操作を必要とせずにユーザのザッピング操作を実現することができ、実世界とは異なる画面操作性をユーザに提供することができる。
 図7Bに引き続き、図8Aおよび図8Bを参照して、本実施の形態による、各ユーザの視聴状況をリアルタイムに把握可能とするマルチ仮想ディスプレイのコンテンツ表示例について説明する。図7Bは、1人のユーザがHMDを装着して視聴しているマルチ仮想ディスプレイの表示例である。他方、図8Aおよび図8Bでは、多数ユーザが同様のアプリケーションを用いて各人保有のHMDを装着してマルチ仮想ディスプレイを視聴していることを想定する。各ユーザが視聴しているマルチ仮想ディスプレイのコンテンツ視聴データは、コンテンツ視聴装置120を用いてネットワークを介してサーバ装置500に任意のタイミングで(例えば定期的に)送信される。特に、メイン仮想ディスプレイ上で再生されている放送局コンテンツ(ここでは、放送局コンテンツA)の情報を取得して、ユーザIDと共にサーバに送信するのがよい。
 各コンテンツ視聴装置からコンテンツ視聴データを受信するサーバは、放送局コンテンツのコンテンツ視聴データを集計して、放送局毎の視聴率のような視聴データ特性を計算する。そして、視聴データ特性に対して格付けを行って各コンテンツ視聴装置にフィードバックする。一方、格付けされた視聴データ特性を受信した各コンテンツ視聴装置では、視聴データ特性を複数の仮想ディスプレイの内1つ以上に関連付ける。より具体的には、仮想空間において、高く格付けされた放送局コンテンツを再生している仮想ディスプレイに対して、視覚上の処理を実施してHMDに表示させる。図8Aは、フィードバックを受けて視覚上の処理を実施したマルチ仮想ディスプレイの表示例である。図示のように、ユーザは、メイン仮想ディスプレイの放送局コンテンツAを視聴している。その一方で、同時に当該コンテンツ視聴システムを使用している複数のユーザの間では、放送局コンテンツC,E,Bの順に多く視聴されている点がサーバからフィードバックされる。コンテンツ視聴装置においても、当該放送局コンテンツC,E,Bを表示している仮想ディスプレイに対し、太枠表示(C)、太枠破線表示(E)、太枠点線表示(B)のような視覚表示を施す。これにより、視聴率が高い人気コンテンツであることを、順位と共にリアルタイムにユーザに提示可能となる。
 図8Bの表示例では、図8Aに加えて、更にサーバ装置側でユーザ・グループ管理を行う場合を想定する。例えば、本コンテンツ視聴装置120を使用しているユーザは、ユーザ1~3と同一グループに所属しており、サーバ装置側でユーザ管理されていることを想定する。サーバ装置500は、コンテンツ視聴装置120からコンテンツ視聴データと共に受信したユーザIDに基づいて、同一グループに所属するユーザ1~3のコンテンツ視聴データを抽出して、ユーザ1~3のアイコン画像と共に送り返す。コンテンツ視聴装置では、図8Bのように、各ユーザ1~3のアイコン画像を仮想ディスプレイ近辺に表示する。これにより、ユーザ1,3が放送局コンテンツAを視聴し、ユーザ2が放送局コンテンツCを視聴していることを、リアルタイムにユーザに提示することができる。本実施の形態によれば、サーバとの相互作用を通じて、ユーザは、マルチ仮想ディスプレイで放送局コンテンツを視聴しながら、放送局コンテンツの視聴率や、ユーザ・グループのメンバがどの放送局コンテンツを視聴しているかといった視聴データ特性をリアルタイムに把握することができる。
 図5A~図8Bを参照して上述したコンテンツ視聴に関する処理の詳細について、これより図9~図13を参照して更に説明する。図9は、図3で説明したコンテンツ視聴装置が備えるコンテンツ視聴部230を構成する詳細な例示の機能ブロック図である。また、図10は、図3で説明したサーバ装置が備える視聴データ特性決定部510を構成する詳細な例示の機能ブロック図である。図11は、コンテンツ視聴処理に関するHMDとコンテンツ視聴装置の間の詳細な例示のフロー図である。図12は、コンテンツ視聴処理に関するコンテンツ視聴装置とサーバ装置の間の詳細な例示のフロー図である。
 図9に示すように、コンテンツ視聴部230は、ビジュアル・コンテンツ再生部(制限付きコンテンツ再生部)301およびオーディオ・コンテンツ再生部302を含むコンテンツ再生部300、仮想ディスプレイ選択部303、コンテンツ視聴判定部304、コンテンツ入替部305、出力部(表示部)306、ユーザ・コンテンツ視聴データ取得部307、および視聴データ特性関連付け部308を備える。再生部300は、テレビジョン受像機で受信した複数の放送局コンテンツの各々を、仮想ディスプレイの何れかに関連付けて再生する。ビジュアル・コンテンツ再生部301は、HMDに表示された複数の仮想ディスプレイにおいて、各々に関連付けられる映像音声コンテンツについて、同時に、ビジュアル・コンテンツのみの制限付き再生を行う。特に、テレビジョン受像機を通じて受信されるテレビ番組の音声付きの動画コンテンツ(例えば、放送局の映像音声コンテンツ)に対し、オーディオ・コンテンツを無効化(即ち、ミュート)して、ビジュアル・コンテンツのみを再生する。
 オーディオ・コンテンツ再生部302は、仮想ディスプレイ選択部303で選択される仮想ディスプレイに関連付けられ、ビジュアル・コンテンツ再生部301で無効化されたオーディオ・コンテンツを有効化することにより、コンテンツ全体を再生する。即ち、コンテンツ再生部300は、ビジュアル・コンテンツ再生部301で再生されている複数のオーディオ・コンテンツ、およびオーディオ・コンテンツ再生部302で再生されている1つのオーディオ・コンテンツを重畳させて、出力部306に出力し、ユーザに視聴させる。仮想ディスプレイ選択部303では、HMDが具備するセンサ(114/130)で検出される動きに応じて、任意の1つの仮想ディスプレイを選択する。より詳細には、上述のようにセンサは角速度センサとすることができ、検出されたHMDの動きが傾き情報を含む。そして、図5A~図7Bのように、全天球の球面3上において、HMDの傾きおよび位置に従って、球面上の格子を特定することにより、その格子に関連付けられる仮想ディスプレイを選択により特定することができる。
 コンテンツ視聴判定部304は、オーディオ・コンテンツ再生部302で有効化して再生されたオーディオ・コンテンツについて、ユーザが一定時間継続して視聴したかを判定する。即ち、その放送局コンテンツが所与の時間継続して再生されたかを判定する。コンテンツが所与の時間継続して再生されたということは、ユーザの動作がザッピングから視聴モードに移行すると判定することを意味する。その場合、コンテンツ入替部305において、再生されている放送局コンテンツを所定の位置に配置された仮想ディスプレイに関連付けられた放送局コンテンツと入れ替え、そして出力部306に出力する。特に、視界中心部に相当するメイン仮想ディスプレイの放送局コンテンツと入れ替えるのがよい。
 ユーザ・コンテンツ視聴データ取得部307は、メイン仮想ディスプレイ上で再生されている放送局コンテンツのユーザ視聴データを所定のタイミングで取得し、ユーザIDと共にサーバ装置に提供する。ユーザ視聴データは、メイン仮想ディスプレイ上で再生されている放送局コンテンツの放送局情報やコンテンツ番号、また、メイン仮想ディスプレイおよびサブ仮想ディスプレイの放送局コンテンツ配置順等を含むのがよく、また、所定のタイミングは、サーバからトリガ・メッセージを受信したタイミングとするのがよい。しかしながら、本発明はこれらに限定されないことが当業者にとって理解されるべきである。
 視聴データ特性関連付け部308は、ネットワークを介してサーバ装置から視聴データ特性を受信した後に、視聴データ特性を仮想空間内の複数の仮想ディスプレイの内1つ以上に関連付ける。視聴データ特性は、例えば放送局コンテンツ視聴率を含む。そして、視聴データ特性関連付け部308は、放送局コンテンツ視聴率が高く格付けされた放送局コンテンツを再生している仮想ディスプレイに対して、図8Aに例示したような仮想空間内の視覚上の処理を実施して、HMDに表示させる。または、視聴データ特性は、同一のユーザ・グループに所属している他のユーザが彼/彼女の仮想空間でメイン仮想ディスプレイ上に表示している放送局コンテンツ情報である。この場合は、視聴データ特性関連付け部308は、図8Bのように、他ユーザが視聴している放送局コンテンツを再生している仮想ディスプレイの近傍に、当該他のユーザのアイコンを表示するような仮想空間内の視覚上の処理を実施して、HMDに表示させる。
 出力部306では、仮想空間に基づく視界全体をHMDのディスプレイ112に表示させると共に、仮想空間に配置された複数の仮想ディスプレイのビジュアル・コンテンツを仮想空間画像と共にHMDのディスプレイ112に、オーディオ・コンテンツをHMDのヘッドホン115に、更に出力する。
 図10に示すように、サーバ装置500が備える視聴データ特性決定部510は、端末トリガ部511、視聴率計算部512、格付けデータ生成部513、ユーザ管理部514、およびユーザ視聴情報管理部を備える。端末トリガ部511は、毎分等の所定のタイミングで各コンテンツ視聴装置にトリガ・メッセージを送信して、各コンテンツ視聴装置を同期させる。また、各コンテンツ視聴装置にユーザ視聴データを取得するように命令する。なお、各コンテンツ視聴装置を同期できるタイマ等の他の手段を各コンテンツ視聴装置が備えていれば、サーバ装置500側に端末トリガ部511を備えなくてもよいことが当業者にとって理解されるべきである。
 各コンテンツ視聴装置から各ユーザ視聴データを受信すると、視聴率計算部512では、所定のタイミングで放送局コンテンツ視聴率を計算して視聴データ特性を決定する。当該タイミングは、端末トリガ部511でのトリガ・メッセージの送信タイミングに併せて毎分等とするのがよい。また、計算される放送局コンテンツ視聴率は、サーバに送信されたユーザ視聴データの個数(即ち、ユーザ視聴データを送信したアクティブ・ユーザ数)、および各ユーザ視聴データから集計される放送局コンテンツ毎の視聴ユーザ数に基づくことにより、例えば次のように計算される。
放送局コンテンツ視聴率 = (視聴ユーザ数 /アクティブ・ユーザ数) ×100
なお、放送局コンテンツ視聴率計算の態様は上記には限定されない。他にも、例えば、ユーザ管理部514に格納したユーザ情報に基づいて、性別、年齢層や居住地域等に応じた計算としてもよいし、また、特定のユーザ・グループに限定して、グループ内での放送局コンテンツ視聴率を計算してもよい。
 視聴率計算部512で放送局コンテンツ視聴率が計算されると、次いで、格付けデータ生成部513において、放送局コンテンツ視聴率に基づく格付けがなされる。例えば、視聴率による放送局コンテンツの順位付け、過去の放送局コンテンツ視聴率との対比による放送局コンテンツの順位付け等である。ユーザ管理部514は、各種ユーザ情報を管理する。ユーザ情報には、例えば、ユーザID、グループID、ユーザ・アイコン画像、ユーザ認証情報等が含まれる。ユーザ視聴情報管理部515は、各ユーザIDに関連付けられるユーザ視聴データやその履歴情報を格納し、各ユーザのユーザ視聴データを検索および取得することができる。
 図11に示すように、コンテンツ視聴に関するユーザ側の情報処理は、HMD110およびコンテンツ視聴装置120との間の相互作用によって実施される。ステップS201では、アプリケーション上でコンテンツ視聴モードをオンにして、仮想空間の視界を決定する。これにより、HMDを装着したユーザは仮想空間内で図5Aや図5Bの状態となる。ステップS202では、初期状態として、視界内に配置されている全ての仮想ディスプレイのビジュアル・コンテンツをビジュアル・コンテンツ再生部301で制限付きで再生して、出力部306に出力する。
 ステップS202を受けて、ステップS101では、図6Aや図7Aに示したように、HMD110は、出力部306に出力された視界内の全ての仮想ディスプレイ上で再生されたビジュアル・コンテンツを表示する。ビジュアル・コンテンツが表示されている間、HMD110はまた、ステップS102においてセンサ114/130からHMDの動き情報を取得して、コンテンツ視聴装置120に当該情報を供給する。特に、角速度センサ114による頭部の回転(傾き)情報データおよび/または赤外線センサ130による仮想空間内の位置情報データを取得する。
 動き情報を取得したコンテンツ視聴装置120では、ステップS203において、仮想ディスプレイ選択部303により、動き情報に基づいて、ターゲットとなる仮想ディスプレイを選択により特定する。一例として、図4に示した角速度センサによる頭部の回転情報に含まれる、ヨー角、ピッチ角、およびロール角から決定されるHMDの傾きデータ、並びに任意で赤外線センサ130による仮想空間内の位置情報データを使用して、HMDの傾き方向(図5Aや図5Bの矢印)のベクトルが半径Rの球体表面3と交わる交点の絶対位置座標を計算する。計算した絶対位置座標が球体面のどの格子の領域にあるかを判断することによって、1つの格子が特定され、当該格子に関連付けられる仮想ディスプレイが特定される。格子と仮想ディスプレイの関連付けは、例えば、コンテンツ情報格納部260にテーブルとして格納しておくのがよい。
 ステップS203でターゲット仮想ディスプレイが特定されると、次いで、コンテンツ視聴装置120は、コンテンツ再生部300において当該ターゲット仮想ディスプレイのコンテンツを再生する。ここでは、オーディオ・コンテンツ再生部302においてステップS202で無効化されていたターゲット仮想ディスプレイのオーディオ・コンテンツを有効化して再生する。ステップS204以降、HMD110では、ステップS103で継続的にHMDの動き情報を取得しコンテンツ視聴装置120に供給する。
 一方、コンテンツ視聴装置120では、ステップS205で、コンテンツ視聴判定部304においてどれくらいの時間、ターゲット仮想ディスプレイの放送局コンテンツが継続再生されたかをモニタすると共に、所定の時間にわたり継続再生されたかを判定する。所定の時間継続して再生された場合には、ステップS206で、ユーザの動作がザッピング・モードから視聴モードに移行したものと判定して、ターゲット仮想ディスプレイの放送局コンテンツをメイン仮想ディスプレイに表示すべく、コンテンツ入替部305によってターゲット仮想ディスプレイのコンテンツと、視界の中心に相当する球面3上の所定の格子に関連付けられたメイン仮想ディスプレイのコンテンツとを入れ替える(図6Bおよび図7Bも参照のこと)。なお、ステップS206の移行処理は、ターゲット仮想ディスプレイとメイン仮想ディスプレイの各コンテンツを入れ替える処理に限定されない。例えば、入れ替え対象コンテンツについても順にスライドさせたり、回転させたりしてもよい。
 図12に、図8Aに対応した、コンテンツ視聴に際するコンテンツ視聴装置120とサーバ装置500との相互作用による情報処理について示す。ステップS301では、サーバ装置の端末トリガ部511は、毎分等の所定のタイミングで当該サーバに現在接続しているコンテンツ視聴装置にトリガ・メッセージを送信する。トリガ・メッセージの受信に応答して、ステップS211では、コンテンツ視聴装置のユーザ・コンテンツ視聴データ取得部307がトリガ・メッセージを受信したタイミングでユーザ視聴データを取得する。特に、メイン仮想ディスプレイに関連付けられる放送局コンテンツの放送局情報やコンテンツ番号を取得する。引き続き、ステップS212では、取得したユーザ視聴データをユーザIDと共にサーバ装置500に送信する。
 各コンテンツ視聴装置からユーザ視聴データを受信したサーバ装置500は、ステップS302で、視聴率計算部512によって視聴データ特性を決定する。より具体的には、各コンテンツ視聴装置においてメイン仮想ディスプレイに関連付けられていた放送局コンテンツの視聴率を計算し、格付けデータ生成部513で放送局コンテンツ視聴率の格付けを実施する。決定した視聴データ特性はステップS303でフィードバック・メッセージとしてコンテンツ視聴装置120に送信される。フィーバック・メッセージを受信したコンテンツ視聴装置120は、ステップS213で、視聴データ特性関連付け部によって、当該視聴データ特性を複数の仮想ディスプレイの内1つ以上に関連付ける。より具体的には、放送局コンテンツ視聴率が高く格付けされた放送局コンテンツを再生している仮想ディスプレイに対して、図8Aに示したように仮想空間における視覚上の処理を実施してHMDに表示させる。
 図13に、図8Bに対応した、コンテンツ視聴に際するコンテンツ視聴装置120とサーバ装置500との相互作用による情報処理について示す。ステップS302までの流れは図12と同様であり、ここでの説明は省略する。ユーザ管理部514によって、ステップS311でコンテンツ視聴装置から送られたユーザIDに関連付けられるグループIDを取得し、引き続き、ステップS312で当該グループIDに関連付けられる他のユーザのユーザID、および彼/彼女の登録済みのアイコン画像を取得する。ステップS313では、ユーザ視聴情報管理部515によって、他ユーザIDを用いて、サーバ装置に送信され格納された他ユーザのユーザ視聴データ、特に他ユーザのコンテンツ視聴装置においてメイン仮想ディスプレイ上で現在再生している放送局コンテンツ情報を取得する。即ち、他ユーザがメイン仮想ディスプレイ上でどの放送局コンテンツを視聴しているかについてリアルタイムに特定する。次いで、ステップS314では、コンテンツ視聴装置に視聴データ特性を送信するのみならず、他ユーザのアイコン画像およびステップS313で特定した他のユーザの放送局コンテンツ情報をフィードバック・メッセージとして送信する。
 フィードバック・メッセージを受信したコンテンツ視聴装置120は、ステップS213で、視聴データ特性関連付け部308によって、当該視聴データ特性を複数の仮想ディスプレイの内1つ以上に関連付ける。より具体的には、放送局コンテンツ視聴率が高く格付けされた放送局コンテンツを再生している仮想ディスプレイに対して、図8Aに示したように仮想空間における視覚上の処理を実施してHMDに表示させる。これと併せて、ステップS214で、図8Bに示したように、他ユーザが視聴している放送局コンテンツ情報を現在表示している仮想ディスプレイに他ユーザのアイコン画像を関連付けて、その近辺に表示する。
画面表示例
 図14に、本発明の実施の態様に基づいて実装された、HMDに表示される画面例を示す。図14は図8Aに対応し、中央にメイン仮想ディスプレイが配置され、その両側に3つずつサブ仮想ディスプレイが立体的に配置される。
 この状態では、一例として、HMDは、左列下の仮想ディスプレイ方向を指向しており、これをターゲット仮想ディスプレイとして選択しているものと想定する。一定時間、当該ターゲット仮想ディスプレイに対してHMDの傾きを維持すると、画面切り替えが実施され、ターゲット仮想ディスプレイが、中央のメイン・ディスプレイ部分に移行され、そのコンテンツが大きく表示されると共に、オーディオ・コンテンツも再生される。サブ仮想ディスプレイに表示される放送局コンテンツは、制限付きで再生され表示される。ユーザがHMDを更に傾けて、サブ・ディスプレイのいずれかを指向し、一定時間経過した場合には、今度は、指向したサブ・ディスプレイのコンテンツがメイン・ディスプレイのコンテンツと入れ替わることになる。ユーザは、装着したHMDを何れかの仮想ディスプレイを指向するように傾けることで、1つの仮想ディスプレイを特定することにより、オーディオ・コンテンツを逐次切り替えることができる。
 これに加えて、図14では、左列真ん中の仮想ディスプレイには実線枠が、右列下の仮想ディスプレイには、点線枠が視覚表示され、これら仮想ディスプレイに表示される放送局コンテンツの視聴率が高いことを示している。ネットワークを介してユーザ視聴情報をサーバに送信し、サーバが放送局コンテンツの各ユーザの視聴データをリアルタイムで集計してフィードバックすることが可能となる。
 以上、本発明の実施の形態について説明した。本発明の実施の形態によるコンテンツ視聴システムは、仮想空間に配置されたマルチ仮想ディスプレイをHMD上に表示するアプリケーションに適用される。特に、当該コンテンツ視聴システムは、仮想ディスプレイが仮想テレビであり、テレビジョン受像機等で受信した放送局の映像音声コンテンツ(テレビ番組)を仮想空間内で再生し、HMDを装着したユーザが、放送局コンテンツを視聴するようなアプリケーションに適用される。
 従来技術では、ユーザがテレビ番組を視聴する際、ユーザがリモコンを操作してチャンネルを切り替えるようなザッピングと称される操作を実施することが多々ある。その一方で、ユーザがHMDを装着して仮想空間に没入している場合は、ユーザは手元を観察することができず、誤ったリモコンボタン操作を生じさせることになる。また、従来技術では、テレビ番組に関し、人気がある放送局コンテンツがどれかについてリアルタイムにユーザが把握することは困難である。例えば、視聴率データは放送終了後に第三者機関により公表されるため、放送局コンテンツを視聴しているユーザがリアルタイムに当該放送局コンテンツの視聴率を把握することはできなかった。
 本発明の実施の形態によれば、現実世界のテレビ番組交代等のコントローラ操作全般をHMDの頭部動作で代用可能とする。特に、仮想空間に配置されたマルチ仮想ディスプレイに対するユーザのザッピングを、何らのリモコン操作を必要とせず、HMDを傾ける動作のみにより実現することができ、実世界とは異なる画面操作性をユーザに提供することができる。また、本発明の実施の形態によれば、サーバが放送局コンテンツの各ユーザの視聴データをリアルタイムで集計して各ユーザにフィードバックするため、ユーザは、放送局コンテンツを視聴しながら、人気がある放送局コンテンツをリアルタイムに把握可能となる。
 本発明は上記の実施形態に限定されるものではない。前述の請求項に記載されるこの発明の精神及び範囲から逸脱することなく、様々な実施形態の変更がなされ得ることを当業者は理解するであろう。
  1      仮想空間没入ユーザ
  2      格子
  3      球面
100,100’ HMDシステム
110      HMD
112      ディスプレイ
114      センサ
115      テレビジョン受像機
116      ヘッドホン
120      制御回路部
130      赤外線センサ
210      視界生成部
220      動き検出部
230      コンテンツ視聴部(表示部)
250      空間情報格納部
260      コンテンツ情報格納部
300      コンテンツ再生部
301      ビジュアル・コンテンツ再生部
302      オーディオ・コンテンツ再生部
303      仮想ディスプレイ選択部
304      コンテンツ視聴判定部
305      コンテンツ入替部
306      出力部
307      ユーザ・コンテンツ視聴データ取得部
308      視聴データ特性関連付け部
500      サーバ装置
510      視聴データ特性決定部
511      端末トリガ部
512      視聴率計算部
513      格付けデータ生成部
514      ユーザ管理部
515      ユーザ視聴情報管理部
520      集計視聴データ格納部

Claims (11)

  1.  仮想空間に配置された複数の仮想ディスプレイをヘッドマウント・ディスプレイに表示する表示部と、
     前記ヘッドマウント・ディスプレイが具備する検出器で検出される動きに応じて、前記仮想ディスプレイの内1つを選択する選択部と、
     前記選択された仮想ディスプレイに関連付けられるコンテンツを再生する再生部とを備え、
     前記複数の仮想ディスプレイが天球面に沿うように設けた格子上に整列され、
     前記選択部において、前記検出された動きに従って前記天球面上の格子の1つを特定することにより、該格子に関連づけられる1つの前記仮想ディスプレイを選択する、コンテンツ視聴のための装置。
  2.  前記ヘッドマウント・ディスプレイに表示された前記複数の仮想ディスプレイにおいて、各々に関連付けられるコンテンツを同時に制限付きで再生する制限付き再生部を更に備える、請求項1記載の装置。
  3.  前記コンテンツを制限付きで再生することが、オーディオ出力を無効化して映像音声コンテンツを再生することを含み、
     前記コンテンツを再生することが、前記オーディオ出力を無効化した映像音声コンテンツの前記オーディオ出力を有効化することを含む、請求項2記載の装置。
  4.  前記コンテンツが、テレビジョン受像機を通じて受信されるテレビ番組コンテンツである、請求項1から3のいずれか一項記載の装置。
  5.  前記再生されたコンテンツが所与の時間継続して再生されたかを判定する判定部と、
     所与の時間継続して再生されたと判定された場合に、再生されている当該コンテンツを所定の位置に配置された仮想ディスプレイに関連付けられたコンテンツと入れ替えるコンテンツ入れ替え部とを更に備える、請求項1から4のいずれか一項記載の装置。
  6.  前記検出器が角速度センサであり、前記検出された動きが傾き情報を含む、請求項1から5のいずれか一項記載の装置。
  7.  前記選択された仮想ディスプレイ上で再生されているコンテンツの視聴データを取得し、サーバ装置に前記視聴データを送信する視聴データ取得部を備える、請求項1~6のいずれかの装置。
  8.  前記視聴データに基づいて決定された視聴データ特性を前記サーバ装置から受信し、前記視聴データ特性を前記複数の仮想ディスプレイの内1つ以上に関連付ける視聴データ特性関連付け部を備える、請求項7の装置。
  9.  前記視聴データ特性が、所定のタイミングで格付けされる放送局コンテンツ視聴率であり、
     前記視聴データ特性関連付け部は、前記放送局コンテンツ視聴率が高く格付けされたコンテンツを再生している前記仮想ディスプレイに対して、前記仮想空間における視覚上の処理を施して、前記表示部に表示させる、請求項8の装置。
  10.  前記放送局コンテンツ視聴率は、前記サーバ装置に送信された前記視聴データの総数と、前記コンテンツ毎の視聴ユーザ数に基づいて決定される、請求項9の装置。
  11.  ヘッドマウント・ディスプレイを用いたコンテンツ視聴システムであって、
     各々が別個の前記ヘッドマウント・ディスプレイに接続される複数のコンテンツ視聴装置と、
     ネットワークを介して前記複数のコンテンツ視聴装置に接続されるサーバ装置とを備え、
     各前記コンテンツ視聴装置が、
      仮想空間に配置された複数の仮想ディスプレイを前記ヘッドマウント・ディスプレイに表示させる表示部であって、前記ヘッドマウント・ディスプレイが具備する検出器で検出される動きに応じて任意の前記仮想ディスプレイが選択可能である、表示部と、
      受信した複数のコンテンツの各々を、前記仮想ディスプレイの何れかに関連付けて再生する再生部と、
      前記サーバ装置に送信するために、特定の前記仮想ディスプレイ上で再生されている前記コンテンツのユーザ視聴データを取得するユーザ視聴データ取得部とを備え、
     前記サーバ装置が、
      前記各コンテンツ視聴装置から送信される各前記ユーザ視聴データに基づいて、視聴データ特性を決定する視聴データ特性決定部を備え、
     前記仮想空間において前記複数の仮想ディスプレイが、天球面に沿うように設けた格子に関連付けて配置されており、前記検出器で検出された動きに応じて前記格子を特定することにより、該格子に関連づけられた1つの前記仮想ディスプレイが選択されることを特徴とする、コンテンツ視聴システム。
     
PCT/JP2016/053645 2015-02-12 2016-02-08 ヘッドマウント・ディスプレイを用いたコンテンツ視聴のための装置およびシステム WO2016129549A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201680010010.0A CN107211195B (zh) 2015-02-12 2016-02-08 使用头戴显示器的内容视听用的装置和系统
US15/376,883 US9958937B2 (en) 2015-02-12 2016-12-13 Device and system for viewing content using head-mounted display

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2015-025469 2015-02-12
JP2015025469A JP5961291B1 (ja) 2015-02-12 2015-02-12 コンテンツ視聴のための装置および方法、並びにコンテンツ視聴動作をコンピュータに制御させるコンピュータ・プログラム
JP2015110102A JP5882517B1 (ja) 2015-05-29 2015-05-29 ヘッドマウント・ディスプレイを用いたコンテンツ視聴システム
JP2015-110102 2015-05-29

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/376,883 Continuation US9958937B2 (en) 2015-02-12 2016-12-13 Device and system for viewing content using head-mounted display

Publications (1)

Publication Number Publication Date
WO2016129549A1 true WO2016129549A1 (ja) 2016-08-18

Family

ID=56615190

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/053645 WO2016129549A1 (ja) 2015-02-12 2016-02-08 ヘッドマウント・ディスプレイを用いたコンテンツ視聴のための装置およびシステム

Country Status (3)

Country Link
US (1) US9958937B2 (ja)
CN (1) CN107211195B (ja)
WO (1) WO2016129549A1 (ja)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6201024B1 (ja) * 2016-10-12 2017-09-20 株式会社コロプラ ヘッドマウントデバイスを用いてコンテンツを提供するアプリケーションへの入力を支援するための方法、当該方法をコンピュータに実行させるためのプログラム、およびコンテンツ表示装置
JP6242452B1 (ja) * 2016-08-22 2017-12-06 株式会社コロプラ 仮想空間を提供する方法、仮想体験を提供する方法、プログラム、および記録媒体
WO2018047063A1 (en) * 2016-09-08 2018-03-15 Telefonaktiebolaget Lm Ericsson (Publ) Bitrate control in a virtual reality (vr) environment
US20180144546A1 (en) * 2016-11-24 2018-05-24 Beijing Xiaomi Mobile Software Co., Ltd. Method, device and terminal for processing live shows
JP2018129576A (ja) * 2017-02-06 2018-08-16 ソフトバンク株式会社 動画データ生成装置、表示システム、表示制御装置、及びプログラム
US10419738B1 (en) 2018-06-14 2019-09-17 Telefonaktiebolaget Lm Ericsson (Publ) System and method for providing 360° immersive video based on gaze vector information
US10440416B1 (en) 2018-10-01 2019-10-08 Telefonaktiebolaget Lm Ericsson (Publ) System and method for providing quality control in 360° immersive video during pause
US10516908B2 (en) 2016-09-08 2019-12-24 Telefonaktiebolaget Lm Ericsson (Publ) Bitrate control in virtual reality (VR) environments using time-shifting and unicast delivery
US10523914B1 (en) 2018-07-26 2019-12-31 Telefonaktiebolaget Lm Ericsson (Publ) System and method for providing multiple 360° immersive video sessions in a network
US10567780B2 (en) 2018-06-14 2020-02-18 Telefonaktiebolaget Lm Ericsson (Publ) System and method for encoding 360° immersive video
US10757389B2 (en) 2018-10-01 2020-08-25 Telefonaktiebolaget Lm Ericsson (Publ) Client optimization for providing quality control in 360° immersive video during pause
US11106037B2 (en) 2017-02-27 2021-08-31 Snap Inc. Processing a media content based on device movement

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3432590A4 (en) * 2016-03-14 2019-02-27 Sony Corporation DISPLAY DEVICE AND TERMINAL INFORMATION PROCESSING DEVICE
US10769854B2 (en) 2016-07-12 2020-09-08 Tyco Fire & Security Gmbh Holographic technology implemented security solution
JP2018101019A (ja) 2016-12-19 2018-06-28 セイコーエプソン株式会社 表示装置及び表示装置の制御方法
US20190156792A1 (en) * 2017-01-10 2019-05-23 Shenzhen Royole Technologies Co., Ltd. Method and system for adjusting display content and head-mounted display
US10313653B1 (en) * 2017-11-15 2019-06-04 Secret Location Inc. Systems and methods for procedural rendering of cinematic virtual reality content
US10665206B2 (en) * 2018-07-30 2020-05-26 Honeywell International Inc. Method and system for user-related multi-screen solution for augmented reality for use in performing maintenance
KR102163601B1 (ko) * 2018-11-30 2020-10-08 씨제이포디플렉스 주식회사 4d 상영관 시스템
US11061469B2 (en) * 2019-11-20 2021-07-13 XRSpace CO., LTD. Head mounted display system and rotation center correcting method thereof
TWI750818B (zh) 2020-09-24 2021-12-21 宏達國際電子股份有限公司 動態調整使用者界面方法、電子裝置及電腦可讀儲存媒體

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002312117A (ja) * 2001-04-17 2002-10-25 Japan Aviation Electronics Industry Ltd 円筒映像球面映像コントロール装置
JP2007311942A (ja) * 2006-05-16 2007-11-29 Toshiba Corp コンテンツ表示装置
JP2008263524A (ja) * 2007-04-13 2008-10-30 Sharp Corp テレビジョン受像機
JP2009294372A (ja) * 2008-06-04 2009-12-17 Nikon Corp ヘッドマウントディスプレイ装置
JP2011061280A (ja) * 2009-09-07 2011-03-24 Toshiba Corp 映像出力装置および映像出力方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1326122B1 (en) * 1993-08-12 2006-09-06 Seiko Epson Corporation Head-mounted image display device and data processing apparatus including the same
JPH10240491A (ja) 1997-02-26 1998-09-11 Olympus Optical Co Ltd 情報処理装置
JPH11259226A (ja) 1998-03-13 1999-09-24 Canon Inc 視線入力意思伝達装置、視線入力意思伝達方法および記憶媒体
JP4927631B2 (ja) 2006-06-27 2012-05-09 パナソニック株式会社 表示装置、その制御方法、プログラム、記録媒体および集積回路
JP2008227677A (ja) 2007-03-09 2008-09-25 Funai Electric Co Ltd テレビジョン放送信号受信装置
CN101127871A (zh) * 2007-09-27 2008-02-20 北京中星微电子有限公司 一种新的交互式观看电视节目的方法和装置
JP5616367B2 (ja) * 2009-02-27 2014-10-29 ファウンデーション プロダクションズ エルエルシー ヘッドセットに基づく通信プラットホーム
JP2011182275A (ja) 2010-03-03 2011-09-15 Hitachi Consumer Electronics Co Ltd 記録再生装置
EP2712432A4 (en) * 2011-05-10 2014-10-29 Kopin Corp HEADSET COMPUTER WITH MOTION AND LANGUAGE COMMANDS TO CONTROL AN INFORMATION DISPLAY AND REMOTE DEVICES
JP5966510B2 (ja) * 2012-03-29 2016-08-10 ソニー株式会社 情報処理システム
JP2013258614A (ja) * 2012-06-13 2013-12-26 Sony Computer Entertainment Inc 画像生成装置および画像生成方法
JP2014153645A (ja) * 2013-02-13 2014-08-25 Seiko Epson Corp 画像表示装置および画像表示装置の表示制御方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002312117A (ja) * 2001-04-17 2002-10-25 Japan Aviation Electronics Industry Ltd 円筒映像球面映像コントロール装置
JP2007311942A (ja) * 2006-05-16 2007-11-29 Toshiba Corp コンテンツ表示装置
JP2008263524A (ja) * 2007-04-13 2008-10-30 Sharp Corp テレビジョン受像機
JP2009294372A (ja) * 2008-06-04 2009-12-17 Nikon Corp ヘッドマウントディスプレイ装置
JP2011061280A (ja) * 2009-09-07 2011-03-24 Toshiba Corp 映像出力装置および映像出力方法

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6242452B1 (ja) * 2016-08-22 2017-12-06 株式会社コロプラ 仮想空間を提供する方法、仮想体験を提供する方法、プログラム、および記録媒体
JP2018032101A (ja) * 2016-08-22 2018-03-01 株式会社コロプラ 仮想空間を提供する方法、仮想体験を提供する方法、プログラム、および記録媒体
US10516908B2 (en) 2016-09-08 2019-12-24 Telefonaktiebolaget Lm Ericsson (Publ) Bitrate control in virtual reality (VR) environments using time-shifting and unicast delivery
WO2018047063A1 (en) * 2016-09-08 2018-03-15 Telefonaktiebolaget Lm Ericsson (Publ) Bitrate control in a virtual reality (vr) environment
US11395020B2 (en) 2016-09-08 2022-07-19 Telefonaktiebolaget Lm Ericsson (Publ) Bitrate control in a virtual reality (VR) environment
US11109089B2 (en) 2016-09-08 2021-08-31 Telefonaktiebolaget Lm Ericsson (Publ) Bitrate control in virtual reality (VR) environments using time-shifting and unicast delivery
JP2018063540A (ja) * 2016-10-12 2018-04-19 株式会社コロプラ ヘッドマウントデバイスを用いてコンテンツを提供するアプリケーションへの入力を支援するための方法、当該方法をコンピュータに実行させるためのプログラム、およびコンテンツ表示装置
JP6201024B1 (ja) * 2016-10-12 2017-09-20 株式会社コロプラ ヘッドマウントデバイスを用いてコンテンツを提供するアプリケーションへの入力を支援するための方法、当該方法をコンピュータに実行させるためのプログラム、およびコンテンツ表示装置
US10609437B2 (en) 2016-10-12 2020-03-31 Colopl, Inc. Method for providing content using a head-mounted device, system for executing the method, and content display device
US20180144546A1 (en) * 2016-11-24 2018-05-24 Beijing Xiaomi Mobile Software Co., Ltd. Method, device and terminal for processing live shows
EP3327548A1 (en) * 2016-11-24 2018-05-30 Beijing Xiaomi Mobile Software Co., Ltd. Method, device and terminal for processing live shows
JP2018129576A (ja) * 2017-02-06 2018-08-16 ソフトバンク株式会社 動画データ生成装置、表示システム、表示制御装置、及びプログラム
US11106037B2 (en) 2017-02-27 2021-08-31 Snap Inc. Processing a media content based on device movement
US11668937B2 (en) 2017-02-27 2023-06-06 Snap Inc. Processing a media content based on device movement
US10567780B2 (en) 2018-06-14 2020-02-18 Telefonaktiebolaget Lm Ericsson (Publ) System and method for encoding 360° immersive video
US10419738B1 (en) 2018-06-14 2019-09-17 Telefonaktiebolaget Lm Ericsson (Publ) System and method for providing 360° immersive video based on gaze vector information
US10812775B2 (en) 2018-06-14 2020-10-20 Telefonaktiebolaget Lm Ericsson (Publ) System and method for providing 360° immersive video based on gaze vector information
US10523914B1 (en) 2018-07-26 2019-12-31 Telefonaktiebolaget Lm Ericsson (Publ) System and method for providing multiple 360° immersive video sessions in a network
US10440416B1 (en) 2018-10-01 2019-10-08 Telefonaktiebolaget Lm Ericsson (Publ) System and method for providing quality control in 360° immersive video during pause
US10757389B2 (en) 2018-10-01 2020-08-25 Telefonaktiebolaget Lm Ericsson (Publ) Client optimization for providing quality control in 360° immersive video during pause
US11490063B2 (en) 2018-10-01 2022-11-01 Telefonaktiebolaget Lm Ericsson (Publ) Video client optimization during pause

Also Published As

Publication number Publication date
US20170090556A1 (en) 2017-03-30
US9958937B2 (en) 2018-05-01
CN107211195A (zh) 2017-09-26
CN107211195B (zh) 2020-04-24

Similar Documents

Publication Publication Date Title
WO2016129549A1 (ja) ヘッドマウント・ディスプレイを用いたコンテンツ視聴のための装置およびシステム
US11803055B2 (en) Sedentary virtual reality method and systems
WO2017110632A1 (ja) 情報処理装置および操作受付方法
CN112104594B (zh) 沉浸式交互式远程参与现场娱乐
US20200120386A1 (en) Information processing apparatus and method, display control apparatus and method, reproducing apparatus and method, and information processing system
JP2020188479A (ja) 3次元メディアガイダンスアプリケーションをナビゲートするためのシステムおよび方法
JP5819965B2 (ja) システム及び装置
JP5882517B1 (ja) ヘッドマウント・ディスプレイを用いたコンテンツ視聴システム
US20170142486A1 (en) Information processing device, display device, information processing method, program, and information processing system
US8918737B2 (en) Zoom display navigation
US20180225537A1 (en) Methods and apparatus relating to camera switching and/or making a decision to switch between cameras
US20180249189A1 (en) Methods and apparatus for use in a system or device where switching between cameras may occur
WO2016194441A1 (ja) 立体広告枠決定システム、ユーザ端末および立体広告枠決定コンピュータ
JP5961291B1 (ja) コンテンツ視聴のための装置および方法、並びにコンテンツ視聴動作をコンピュータに制御させるコンピュータ・プログラム
US20220066541A1 (en) Virtual reality system with posture control
US20230037717A1 (en) Methods, systems, and media for presenting media content previews
JP2016225967A (ja) ヘッドマウント・ディスプレイを用いたコンテンツ視聴システム
JP6543079B2 (ja) コンテンツ視聴のための装置および方法、並びにコンテンツ視聴動作をコンピュータに制御させるコンピュータ・プログラム
JP2019197554A (ja) コンテンツ視聴のための装置および方法、並びにコンテンツ視聴動作をコンピュータに制御させるコンピュータ・プログラム
JP2016165153A (ja) コンテンツ視聴のための装置および方法、並びにコンテンツ視聴動作をコンピュータに制御させるコンピュータ・プログラム
JP2019022014A (ja) 画像提供方法、画像提供装置及びコンピュータプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16749193

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16749193

Country of ref document: EP

Kind code of ref document: A1