WO2018066381A1 - 再生装置および再生方法、並びにプログラム - Google Patents

再生装置および再生方法、並びにプログラム Download PDF

Info

Publication number
WO2018066381A1
WO2018066381A1 PCT/JP2017/034237 JP2017034237W WO2018066381A1 WO 2018066381 A1 WO2018066381 A1 WO 2018066381A1 JP 2017034237 W JP2017034237 W JP 2017034237W WO 2018066381 A1 WO2018066381 A1 WO 2018066381A1
Authority
WO
WIPO (PCT)
Prior art keywords
moving image
image content
reproduction
playback
processing unit
Prior art date
Application number
PCT/JP2017/034237
Other languages
English (en)
French (fr)
Inventor
充 勝股
仕豪 温
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to DE112017005090.1T priority Critical patent/DE112017005090T5/de
Priority to CN201780060681.2A priority patent/CN109792554B/zh
Priority to US16/330,541 priority patent/US20210297746A1/en
Priority to JP2018543837A priority patent/JP6996511B2/ja
Publication of WO2018066381A1 publication Critical patent/WO2018066381A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47217—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for controlling playback functions for recorded or on-demand content, e.g. using progress bars, mode or play-point indicators or bookmarks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34—Indicating arrangements 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording

Definitions

  • the present disclosure relates to a playback device, a playback method, and a program, and more particularly, to a playback device, a playback method, and a program that can provide a better user experience.
  • moving image content such as UGC (User-Generated Contents) is distributed on a distribution site where a user can upload a moving image, or moving image content such as a movie or a drama is free or charged on a commercial distribution site.
  • UGC User-Generated Contents
  • moving image contents 2D moving image contents in which the line-of-sight direction and the viewpoint position are fixed by the camera work at the time of content generation are mainly used.
  • omnidirectional moving image content moving image content
  • the line-of-sight direction can be freely changed. Since the omnidirectional video content can change the line-of-sight direction according to the orientation of the face using, for example, a head-mounted display, it has a higher sense of realism and is expected to spread in the future.
  • moving image content (hereinafter referred to as free viewpoint video) that can change the line-of-sight direction in the same way as the omnidirectional moving image content and can move freely in the space reproduced by the moving image.
  • free viewpoint video moving image content
  • a user interface for omnidirectional video content a user interface used in 2D video content has been basically used.
  • Patent Document 1 discloses a 3D playback device that can correctly display 3D content in which a data portion as 2D content is edited.
  • the present disclosure has been made in view of such a situation, and is intended to provide a better user experience.
  • a playback device includes a playback processing unit that performs a process of playing back a plurality of types of moving image content in a playback mode supported by each of the moving image contents, and the moving image content being played back.
  • a display processing unit that performs a process of displaying a user interface representing at least one of a type and a reproduction mode.
  • a playback method or program performs a process of playing back a plurality of types of moving image content in a playback mode corresponding to each of the moving image contents, and the type of moving image content being played back or A step of displaying a user interface representing at least one of the playback modes.
  • a process of reproducing a plurality of types of moving image content in a reproduction mode corresponding to each moving image content is performed, and at least one of the type of the moving image content being reproduced and the reproduction mode is performed.
  • a process for displaying a user interface representing is performed.
  • a better user experience can be provided.
  • FIG. 18 is a block diagram illustrating a configuration example of an embodiment of a computer to which the present technology is applied.
  • FIG. 1 is a block diagram illustrating a configuration example of an embodiment of a playback device to which the present technology is applied.
  • the playback device 11 can be used by connecting an operation unit 12 and a display unit 13, and an operation signal acquisition unit 21, a content recording unit 22, a playback processing unit 23, and a user interface display process
  • the unit 24 is configured.
  • the operation unit 12 supplies various operation signals according to the operation by the user to the playback device 11 by wire or wireless like a remote controller, for example.
  • the operation unit 12 supplies an operation signal for performing control related to reproduction of moving image content, an operation signal for controlling a line-of-sight direction or a viewpoint position, which will be described later, and the like to the reproduction apparatus 11 in accordance with a user operation. it can.
  • the display unit 13 displays the moving image content itself reproduced by the reproducing device 11 or displays various user interfaces as shown in FIG. 2 to be described later by superimposing the moving image content on the moving image content.
  • the operation signal acquisition unit 21 acquires the operation signal supplied from the operation unit 12 and supplies the operation signal to the reproduction processing unit 23.
  • the content recording unit 22 for example, 2D moving image content, omnidirectional moving image content, and free-viewpoint moving image content as described above are recorded as moving image content that can be played back by the playback device 11.
  • the reproduction processing unit 23 reads out the moving image content from the content recording unit 22, decodes the moving image content, reproduces the moving image content, and supplies the moving image content to the display unit 13 for display.
  • the reproduction processing unit 23 is a reproduction mode in which 2D moving image content is read from the content recording unit 22 and only a specific line-of-sight direction is viewed from a specific viewpoint position without being able to spatially move or look around. Playback is performed in 2D playback mode.
  • the reproduction processing unit 23 reads the omnidirectional moving image content from the content recording unit 22 and is a omnidirectional reproduction mode that cannot be spatially moved but can look around from a specific viewpoint position in an arbitrary gaze direction. Play in sphere playback mode.
  • the reproduction processing unit 23 reads a free viewpoint moving image content from the content recording unit 22, and is a reproduction mode in which a spatial movement is possible and a user can look around in various gaze directions from various viewpoint positions. Playback in viewpoint playback mode.
  • the playback processing unit 23 supplies information related to the moving image content being played back (hereinafter referred to as playing content information) to the user interface display processing unit 24.
  • the content information being played back includes information indicating the playback mode of moving image content, information indicating the type of moving image content, information indicating the playback time of moving image content, and the like.
  • the user interface display processing unit 24 Based on the content information being played back supplied from the playback processing unit 23, the user interface display processing unit 24 displays an icon that indicates the type and playback mode of the moving image content being played back, and playback of the moving image content being played back.
  • a user interface such as a seek bar for presenting time and the like is generated and supplied to the display unit 13 for display.
  • the playback device 11 configured in this way can display, for example, icons indicating the type and playback mode of moving image content being played back, and can provide a better user experience. That is, the icon displayed on the display unit 13 by the user interface display processing unit 24 allows the user to select whether the moving image content being reproduced is 2D moving image content, omnidirectional moving image content, or free viewpoint moving image content. It is possible to recognize which is. Similarly, the user can recognize whether the playback mode of the moving image content being played back is the 2D playback mode, the omnidirectional playback mode, or the free viewpoint playback mode.
  • FIG. 2 is a diagram illustrating an example of a user interface displayed on the display unit 13.
  • the moving image content reproduced by the reproduction processing unit 23 is displayed on the entire reproduction screen 31 displayed on the display unit 13.
  • an icon display unit 41 is provided in the upper right corner of the playback screen 31, and a seek bar display unit 42 is provided below the playback screen 31.
  • a playback mode icon representing the playback mode of the moving image content being played back by the playback processing unit 23 is displayed.
  • an omnidirectional reproduction mode icon indicating that the reproduction processing unit 23 is reproducing moving image content in the omnidirectional reproduction mode is displayed.
  • the icon display unit 41 displays these icons when an operation for instructing to display the user interface is performed.
  • the seek bar display unit 42 includes a bar 43 representing the entire playback time of the moving image content (0:30 in the example of FIG. 2) and the playback time of the frame displayed on the playback screen 31 of the moving image content.
  • a seek bar constituted by a slider 44 representing the corresponding position is displayed.
  • the seek bar display unit 42 displays a seek bar when an operation for instructing to display a user interface or an operation for instructing fast-forward or fast-reverse is performed.
  • the reproduction icon displayed on the icon display unit 41 will be described with reference to FIG.
  • 3A shows an example of a 2D playback mode icon displayed on the icon display unit 41 of the playback screen 31 when the playback device 11 is playing back moving image content in the 2D playback mode.
  • the 2D playback mode icon represents the feature of 2D moving image content that the playback screen is a two-dimensional plane.
  • FIG. 3B shows an example of the omnidirectional reproduction mode icon displayed on the icon display unit 41 of the reproduction screen 31 when the reproduction apparatus 11 is reproducing moving image content in the omnidirectional reproduction mode.
  • the omnidirectional playback mode icon is an omnidirectional video content in which a moving image in an arbitrary line-of-sight direction is viewed by an arrow mark pointing outward from the center of a spherical shape representing the omnidirectional sphere to be reproduced by a moving image Represents the characteristics.
  • the free viewpoint playback mode icon can be displayed in any viewpoint position and viewpoint direction by a humanoid mark and an arrow mark arranged on a plane representing a range that can be moved in a space reproduced by a moving image. It represents the feature of free-viewpoint video content that a video is viewed.
  • the user interface display processing unit 24 can generate a reproduction icon representing the characteristics of the moving image content being reproduced, supply it to the display unit 13, and display it on the icon display unit 41 of the reproduction screen 31.
  • the omnidirectional reproduction mode icon (B in FIG. 3) has an arrow mark, and the omnidirectional reproduction mode icon has a function of representing the line-of-sight direction using the arrow mark. it can.
  • FIG. 4A shows an example of a celestial sphere playback mode icon having a function of representing the line-of-sight direction.
  • the user interface display processing unit 24 changes the direction of the arrow mark displayed on the omnidirectional reproduction mode icon according to the user's line-of-sight direction based on the operation signal acquired by the operation signal acquisition unit 21.
  • the user interface display processing unit 24 displays an arrow displayed on the omnidirectional reproduction mode icon so as to be in the line-of-sight direction of the omnidirectional reproduction mode icon as shown on the right side of FIG. Change the direction of the mark.
  • the free viewpoint reproduction mode icon (C in FIG. 3) has an arrow mark and a humanoid mark, and the omnidirectional reproduction mode icon uses the arrow mark and the humanoid mark to change the line-of-sight direction. And a function of representing the viewpoint position.
  • FIG. 4B shows an example of a free viewpoint reproduction mode icon having a function indicating the line-of-sight direction and the viewpoint position.
  • the user interface display processing unit 24 displays the free viewpoint playback mode icon in accordance with the overall positional relationship of the free viewpoint moving image according to the user's line-of-sight direction and viewpoint position based on the operation signal acquired by the operation signal acquisition unit 21. The direction of the arrow mark and the position of the humanoid mark are changed.
  • the user interface display processing unit 24 displays the free viewpoint playback mode icon so that the viewpoint position and line-of-sight direction of the free viewpoint playback mode icon as shown on the right side of FIG. Change the direction of the arrow mark and the position of the humanoid mark.
  • the icon display unit 41 can represent the line-of-sight direction by the omnidirectional reproduction mode icon when the reproduction apparatus 11 is reproducing the moving image content in the omnidirectional reproduction mode.
  • the icon display unit 41 can represent the line-of-sight direction and the viewpoint position with the free viewpoint playback mode icon when the playback device 11 is playing back moving image content in the free viewpoint playback mode.
  • the seek bar displayed on the seek bar display unit 42 will be described with reference to FIG.
  • the moving image content reproduced by the reproducing device 11 includes 2D moving image content, omnidirectional moving image content, and free-viewpoint moving image content that are independently configured, and for each reproduction time, Some of them are mixed. Therefore, the seek bar displayed on the seek bar display unit 42 has a function of distinguishing the playback time of moving image content including 2D moving image content, omnidirectional moving image content, and free viewpoint moving image content. Can do.
  • FIG. 5A shows an example of a seek bar that can distinguish the playback time of 2D moving image content, omnidirectional moving image content, and free-viewpoint moving image content according to the thickness of the bar 43.
  • the thinnest bar 43a represents the time during which the 2D moving image content can be reproduced
  • the intermediate thickness bar 43b represents the time during which the omnidirectional moving image content can be reproduced
  • a thick bar 43c represents a time during which the free viewpoint moving image content can be reproduced.
  • FIG. 5B shows an example of a seek bar that can distinguish the playback time of 2D moving image content, omnidirectional moving image content, and free viewpoint moving image content by the arrangement of the bar 43.
  • the bar 43a arranged in the upper stage represents the time during which the 2D moving image content can be reproduced
  • the bar 43b arranged in the middle stage represents the time during which the omnidirectional moving image content can be reproduced.
  • the bar 43c arranged in the lower row represents a time during which the free viewpoint moving image content can be played.
  • the bar 43a arranged on the upper stage indicating the time when the 2D moving image content can be played back indicates that the 2D moving image content can be played back from the beginning to the end.
  • a bar 43b arranged in the middle and a bar 43c arranged in the lower are displayed, and one of the moving image contents is selectively reproduced during the overlapping time. It shows that it is possible.
  • the arrangement of the slider 44 can indicate which of the plurality of reproducible moving image contents is being reproduced. That is, in the example of FIG. 5C, the slider 44 is disposed on the bar 43c indicating the time during which the free viewpoint moving image content can be reproduced, indicating that the free viewpoint moving image content is being reproduced.
  • reproduction is performed by moving the slider 44 up and down, similarly to a user interface that can change the reproduction time by moving the slider 44 left and right.
  • Moving image content can be selected.
  • the playback device 11 when the playback device 11 does not have a function of playing back the free viewpoint moving image content, as shown in FIG. 5D, the display of the bar 43c indicating the time during which the free viewpoint moving image content can be played back. Can be grayed out. That is, the example shown in FIG. 5D shows that the playback device 11 has a function of playing back 2D moving image content and omnidirectional moving image content. Thereby, the function with which the reproducing
  • the user interface display processing unit 24 controls the display of the seek bar to distinguish the playback times of the 2D moving image content, the omnidirectional moving image content, and the free viewpoint moving image content, which moving image It is possible to select whether to play the content.
  • the type of moving image content can be indicated by the thickness and arrangement of the bar 43.
  • the type of moving image content may be indicated by a color or pattern.
  • FIG. 6A shows an example of a user interface that simultaneously represents the type of moving image content and the playback mode using a playback icon.
  • the reproduction processing unit 23 reproduces the omnidirectional moving image content in the omnidirectional reproduction mode, and reproduces the omnidirectional moving image content in the 2D reproduction mode with the line-of-sight direction and the viewpoint position fixed as in the 2D moving image content. Can do.
  • the playback processing unit 23 plays back the free viewpoint moving image content in the free viewpoint playback mode, plays back in the 2D playback mode with the line-of-sight direction and the viewpoint position fixed, similarly to the 2D moving image content, Similar to the omnidirectional video content, it can be reproduced in the omnidirectional reproduction mode with the viewpoint position fixed.
  • an icon indicating the type of moving image content and an icon indicating the playback mode of moving image content can be displayed at the same time on the icon display unit 41 of FIG. 2 so that the user can recognize them.
  • FIG. 6A shows that an icon indicating the playback mode of moving image content is displayed on the upper left, and an icon indicating the type of moving image content is displayed on the lower right. That is, FIG. 6A shows that the free viewpoint moving image content is played back in the omnidirectional playback mode.
  • Such icon display is performed, for example, when an operation for instructing to display a user interface is performed.
  • FIG. 6B and FIG. 6C show an example of a user interface representing a paused state using a reproduction icon.
  • pause the spatial movement and the viewing direction when an operation for temporarily stopping the free viewpoint moving image content is performed, it is possible to pause the spatial movement and the viewing direction.
  • These combinations include complete pause (pause time, movement prohibited, viewing direction fixed), time and movement pause (change only viewing direction), and time only pause (moving, viewing direction) 3 patterns) are possible.
  • FIG. 6B shows an example of an icon representing a temporal pause state in which only the viewing direction can be changed by displaying the pause mark in the upper left.
  • icons indicating the omnidirectional moving image content and icons indicating the free viewpoint moving image content are displayed side by side, and an icon explicitly indicating which operation is in a paused state.
  • An example is shown.
  • a temporary pause state is displayed by displaying a pause mark in the upper left, and an x mark is added to an icon indicating a free viewpoint moving image content to indicate that the movement is also stopped. Yes.
  • the display in FIG. 6C is easier to understand intuitively than the display in FIG. 6B.
  • the playback device 11 has a function of selecting any icon and displaying, for example, an icon as shown in C of FIG. be able to.
  • the icon representing the free viewpoint moving image content may be grayed out.
  • the moving image content Is started.
  • step S ⁇ b> 11 the operation signal acquisition unit 21 acquires the operation signal supplied from the operation unit 12 and supplies the operation signal to the reproduction processing unit 23.
  • step S12 the reproduction processing unit 23 reads out the moving image content to be reproduced by the user from the content recording unit 22 in accordance with the operation signal supplied from the operation signal acquisition unit 21 in step S11. Then, the playback processing unit 23 performs a process of playing back the moving image content read from the content recording unit 22 in the playback mode specified by the operation signal supplied from the operation signal acquisition unit 21 in step S11, and displays it. Display on the unit 13. Also, the playback processing unit 23 supplies the user interface display processing unit 24 with the content information being played back regarding the moving image content played back at this time.
  • step S13 the user interface display processing unit 24 performs processing for displaying the user interface on the display unit 13 based on the content information being played back supplied from the playback processing unit 23 in step S12. For example, the user interface display processing unit 24 displays a playback mode icon on the icon display unit 41 (FIG. 2) of the playback screen 31 according to the information indicating the playback mode of the moving image content included in the content information being played back.
  • step S14 the reproduction processing unit 23 determines whether the reproduction mode of the moving image content reproduced in step S12 is the 2D reproduction mode, the omnidirectional reproduction mode, or the free viewpoint reproduction mode.
  • step S14 when the reproduction processing unit 23 determines that the moving image content reproduction mode is the omnidirectional reproduction mode, the process proceeds to step S15.
  • step S ⁇ b> 15 the operation signal acquisition unit 21 acquires the operation signal and supplies the operation signal to the reproduction processing unit 23 when an operation signal that has been operated by the user to change the line-of-sight direction is supplied from the operation unit 12. .
  • step S16 the reproduction processing unit 23 changes the line-of-sight direction in the moving image content reproduced in the omnidirectional reproduction mode according to the operation signal supplied from the operation signal acquisition unit 21 in step S15. Then, the reproduction processing unit 23 causes the display unit 13 to display the moving image content to which the change in the viewing direction is applied.
  • step S14 determines in step S14 that the reproduction mode of the moving image content is the free viewpoint reproduction mode.
  • step S ⁇ b> 17 when an operation signal for which an operation for changing the viewing direction and the viewpoint position is performed by the user is supplied from the operation unit 12, the operation signal acquisition unit 21 acquires the operation signal and performs the reproduction processing unit 23. To supply.
  • step S18 the reproduction processing unit 23 changes the viewing direction and the viewpoint position in the moving image content reproduced in the free viewpoint reproduction mode according to the operation signal supplied from the operation signal acquisition unit 21 in step S17. Then, the reproduction processing unit 23 causes the display unit 13 to display moving image content to which changes in the viewing direction and the viewpoint position are applied.
  • step S16 or S18 the process proceeds to step S19. Also in step S14, when the playback processing unit 23 determines that the playback mode of the moving image content is the 2D playback mode, the process proceeds to step S19.
  • step S19 the reproduction processing unit 23 determines whether or not to finish the reproduction of the moving image content. For example, the reproduction processing unit 23 determines that the reproduction of the moving image content is finished when the reproduction of the moving image content is completed until the end time or when an operation for stopping the reproduction is performed by the user.
  • step S19 when the reproduction processing unit 23 determines that the reproduction of the moving image content is not finished, the process returns to step S12, and the same process is repeated thereafter. On the other hand, when the playback processing unit 23 determines to end the playback of the moving image content, the playback processing of the moving image content is ended.
  • the playback device 11 allows the user to recognize the type and playback mode of moving image content through a simple user interface.
  • the reproducing device 11 can reproduce, for example, each moving image content having parallax.
  • the playback device 11 may display an icon (for example, 3D characters) indicating the presence or absence of parallax for each of the 2D moving image content, the omnidirectional moving image content, and the free viewpoint moving image content.
  • the playback device 11 can play back moving image content having parallax without parallax, and can display a playback icon indicating that.
  • the processes described with reference to the flowcharts described above do not necessarily have to be processed in chronological order in the order described in the flowcharts, but are performed in parallel or individually (for example, parallel processes or objects). Processing).
  • the program may be processed by one CPU, or may be distributedly processed by a plurality of CPUs.
  • the above-described series of processing can be executed by hardware or can be executed by software.
  • a program constituting the software executes various functions by installing a computer incorporated in dedicated hardware or various programs.
  • the program is installed in a general-purpose personal computer from a program recording medium on which the program is recorded.
  • FIG. 8 is a block diagram showing an example of the hardware configuration of a computer that executes the above-described series of processing by a program.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • An input / output interface 105 is further connected to the bus 104.
  • the input / output interface 105 includes an input unit 106 including a keyboard, a mouse, and a microphone, an output unit 107 including a display and a speaker, a storage unit 108 including a hard disk and nonvolatile memory, and a communication unit 109 including a network interface.
  • a drive 110 for driving a removable medium 111 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory is connected.
  • the CPU 101 loads, for example, the program stored in the storage unit 108 to the RAM 103 via the input / output interface 105 and the bus 104 and executes the program. Is performed.
  • the program executed by the computer (CPU 101) is, for example, a magnetic disk (including a flexible disk), an optical disk (CD-ROM (Compact Disc-Read Only Memory), DVD (Digital Versatile Disc), etc.), a magneto-optical disc, or a semiconductor.
  • the program is recorded on a removable medium 111 that is a package medium including a memory or the like, or is provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
  • the program can be installed in the storage unit 108 via the input / output interface 105 by attaching the removable medium 111 to the drive 110. Further, the program can be received by the communication unit 109 via a wired or wireless transmission medium and installed in the storage unit 108. In addition, the program can be installed in the ROM 102 or the storage unit 108 in advance.
  • a reproduction processing unit that performs a process of reproducing a plurality of types of moving image content in a reproduction mode corresponding to each of the moving image contents;
  • a display device comprising: a display processing unit that performs a process of displaying a user interface representing at least one of a type or a playback mode of the moving image content being played back.
  • the display device according to (1) wherein the display processing unit simultaneously displays a type and a playback mode of the moving image content.
  • the display processing unit displays each type of playback time for each type of moving image content using a seek bar that represents a playback location in the entire length of the moving image content being played back. Or the reproducing apparatus as described in (2).
  • the playback device (4) The playback device according to (3), wherein the display processing unit displays the seek bar corresponding to each type of moving image content in parallel for each type of moving image content.
  • the playback apparatus according to (4), wherein the type of the moving image content to be played back is selected according to a user operation on the seek bar.
  • the playback device (4) or (5), wherein the display processing unit displays a seek bar corresponding to the moving image content of a type that does not have a playback function of the playback device in grayout.
  • the display processing unit displays a user interface representing a paused state with respect to a user interface representing a type or a playback mode of the moving image content when an operation for pausing the reproduction of the moving image content is performed.
  • the reproducing apparatus according to any one of (1) to (6) above.
  • (8) The playback device according to any one of (1) to (7), wherein the display processing unit displays a user interface representing a user's line-of-sight direction or viewpoint position.
  • a process of reproducing a plurality of types of moving image content in a reproduction mode supported by each of the moving image contents A program that causes a computer to execute a reproduction process including a step of performing a process of displaying a user interface representing at least one of a type or a reproduction mode of moving image content being reproduced.
  • 11 playback device 12 operation unit, 13 display unit, 21 operation signal acquisition unit, 22 content recording unit, 23 playback processing unit, 24 user interface display processing unit, 31 playback screen, 41 icon display unit, 42 seek bar display unit, 43 Bar, 44 slider

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

本開示は、より良好なユーザ体験を提供することができるようにする再生装置および再生方法、並びにプログラムに関する。 再生処理部は、複数種類の動画像コンテンツを、それぞれの動画像コンテンツが対応している再生モードで再生する処理を行う。ユーザインタフェース表示処理部は、再生中の動画像コンテンツの種類または再生モードの少なくとも一方を表すユーザインタフェースを表示する処理を行う。本技術は、例えば、２Ｄ動画像コンテンツ、全天球動画像コンテンツ、および自由視点動画像コンテンツを再生可能な再生装置に適用できる。

Description

再生装置および再生方法、並びにプログラム
　本開示は、再生装置および再生方法、並びにプログラムに関し、特に、より良好なユーザ体験を提供することができるようにした再生装置および再生方法、並びにプログラムに関する。
　一般的に、ユーザにより動画像をアップロード可能な配信サイトにおいてＵＧＣ（User-Generated Contents）などの動画像コンテンツが配信されたり、商用の配信サイトにおいて映画やドラマなどの動画像コンテンツが無料または有料で配信されている。従来、これらの動画像コンテンツとしては、コンテンツ生成時のカメラワークによって視線方向および視点位置が固定されている２Ｄ動画像コンテンツが主流である。
　これに対し、近年、視線方向を自由に変更することができる動画像コンテンツ（以下、全天球動画像コンテンツと称する）の作成が可能となっている。全天球動画像コンテンツは、例えば、ヘッドマウントディスプレイを利用して、顔の向きに合わせて視線方向を変更することができるため、より臨場感が高く、今後の普及が期待されている。
　さらに、今後、全天球動画像コンテンツと同様に視線方向を変更することができ、かつ、動画像により再現されている空間内を自由に移動することができる動画像コンテンツ（以下、自由視点動画像コンテンツと称する）の普及が想定される。
　ところで、２Ｄ動画像コンテンツに対するユーザの操作として、例えば、ビデオテープを利用して動画像が提供されていたときには、基本的な再生や停止などが行われていた。その後、例えば、ディスクを利用して動画像が提供されるようになったときには、シークの利便性が向上したことより、シークバーなどのユーザインタフェースが新たに提案され、自由な再生時刻から再生の開始を行う操作が可能となった。
　また、従来、全天球動画像コンテンツに対するユーザインタフェースとして、基本的には、２Ｄ動画像コンテンツにおいて利用されているユーザインタフェースが継続して利用されている。
　例えば、特許文献１には、２Ｄコンテンツとしてのデータ部分が編集された３Ｄコンテンツを、正しく表示することができる３Ｄ再生装置が開示されている。
特開２０１３－１１８５３８号公報
　ところで、２Ｄ動画像コンテンツにおいて利用されるユーザインタフェースを全天球動画像コンテンツや自由視点動画像コンテンツなどに適用しただけでは、それらを利用する際にユーザが不便に感じることがあった。そのため、従来、充分に良好なユーザ体験を提供することができていない状況となっていた。
　本開示は、このような状況に鑑みてなされたものであり、より良好なユーザ体験を提供することができるようにするものである。
　本開示の一側面の再生装置は、複数種類の動画像コンテンツを、それぞれの前記動画像コンテンツが対応している再生モードで再生する処理を行う再生処理部と、再生中の前記動画像コンテンツの種類または再生モードの少なくとも一方を表すユーザインタフェースを表示する処理を行う表示処理部とを備える。
　本開示の一側面の再生方法またはプログラムは、複数種類の動画像コンテンツを、それぞれの前記動画像コンテンツが対応している再生モードで再生する処理を行い、再生中の前記動画像コンテンツの種類または再生モードの少なくとも一方を表すユーザインタフェースを表示する処理を行うステップを含む。
　本開示の一側面においては、複数種類の動画像コンテンツを、それぞれの動画像コンテンツが対応している再生モードで再生する処理が行われ、再生中の動画像コンテンツの種類または再生モードの少なくとも一方を表すユーザインタフェースを表示する処理が行われる。
　本開示の一側面によれば、より良好なユーザ体験を提供することができる。
本技術を適用した再生装置の一実施の形態の構成例を示すブロック図である。 ユーザインタフェースの一例を示す図である。 再生アイコンについて説明する図である。 再生アイコンが備える機能について説明する図である。 シークバーについて説明する図である。 再生アイコンの変形例について説明する図である。 ユーザインタフェースの表示処理を説明するフローチャートである。 本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
　以下、本技術を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。
　＜再生装置の構成例＞
　図１は、本技術を適用した再生装置の一実施の形態の構成例を示すブロック図である。
　図１に示すように、再生装置１１は、操作部１２および表示部１３を接続して利用することができ、操作信号取得部２１、コンテンツ記録部２２、再生処理部２３、およびユーザインタフェース表示処理部２４を備えて構成される。
　操作部１２は、例えば、リモートコントローラなどのように有線または無線により、ユーザによる操作に従った各種の操作信号を再生装置１１に供給する。例えば、操作部１２は、ユーザによる操作に従って、動画像コンテンツの再生に関する制御を行う操作信号や、後述するような視線方向または視点位置の制御を行う操作信号などを再生装置１１に供給することができる。
　表示部１３は、再生装置１１により再生される動画像コンテンツそのものを表示したり、その動画像コンテンツに重畳させて、後述する図２に示すような各種のユーザインタフェースを表示する。
　操作信号取得部２１は、操作部１２から供給される操作信号を取得して、再生処理部２３に供給する。
　コンテンツ記録部２２には、再生装置１１において再生可能な動画像コンテンツとして、例えば、上述したような２Ｄ動画像コンテンツ、全天球動画像コンテンツ、および自由視点動画像コンテンツが記録されている。
　再生処理部２３は、コンテンツ記録部２２から動画像コンテンツを読み出してデコードし、その動画像コンテンツを再生する処理を行って、表示部１３に動画像コンテンツを供給して表示させる。
　例えば、再生処理部２３は、コンテンツ記録部２２から２Ｄ動画像コンテンツを読み出して、空間的な移動や見回しができずに特定の視点位置から特定の視線方向のみを見ることになる再生モードである２Ｄ再生モードで再生を行う。また、再生処理部２３は、コンテンツ記録部２２から全天球動画像コンテンツを読み出して、空間的な移動はできないが特定の視点位置から任意の視線方向で見回すことができる再生モードである全天球再生モードで再生を行う。また、再生処理部２３は、コンテンツ記録部２２から自由視点動画像コンテンツを読み出して、空間的な移動が可能であって様々な視点位置から任意の視線方向で見回すことができる再生モードである自由視点再生モードで再生を行う。
　また、再生処理部２３は、再生中の動画像コンテンツに関する情報（以下、再生中コンテンツ情報と称する）をユーザインタフェース表示処理部２４に供給する。例えば、再生中コンテンツ情報には、動画像コンテンツの再生モードを示す情報や、動画像コンテンツの種類を示す情報、動画像コンテンツの再生時刻を示す情報などが含まれる。
　ユーザインタフェース表示処理部２４は、再生処理部２３から供給される再生中コンテンツ情報に基づいて、再生中の動画像コンテンツの種類や再生モードなどを提示するアイコンや、再生中の動画像コンテンツの再生時刻などを提示するシークバーなどのユーザインタフェースを生成し、表示部１３に供給して表示させる。
　このように構成される再生装置１１は、例えば、再生中の動画像コンテンツの種類や再生モードを示すアイコンを表示することができ、より良好なユーザ体験を提供することができる。即ち、ユーザインタフェース表示処理部２４により表示部１３に表示されているアイコンにより、ユーザは、再生中の動画像コンテンツが、２Ｄ動画像コンテンツ、全天球動画像コンテンツ、および自由視点動画像コンテンツのいずれであるかを認識することができる。同様に、ユーザは、再生中の動画像コンテンツの再生モードが、２Ｄ再生モード、全天球再生モード、自由視点再生モードのいずれであるかを認識することができる。
　従って、ユーザは、再生中の動画像コンテンツで、見回しが可能であるかということや、移動が可能であるかということなどを容易に把握することができるので、それらの操作をスムーズに行うことができ、より良好なユーザ体験を得ることができる。
　＜ユーザインタフェースの表示例＞
　図２は、表示部１３に表示されるユーザインタフェースの一例を示す図である。
　例えば、表示部１３に表示される再生画面３１の全体に、再生処理部２３により再生される動画像コンテンツが表示される。そして、再生画面３１では、図２に示すように、再生画面３１の右上隅にアイコン表示部４１が設けられるとともに、再生画面３１の下側にシークバー表示部４２が設けられる。
　アイコン表示部４１には、再生処理部２３により再生されている動画像コンテンツの再生モードを表す再生モードアイコンが表示される。図２の例では、再生処理部２３が全天球再生モードで動画像コンテンツを再生していることを示す全天球再生モードアイコンが表示されている。例えば、アイコン表示部４１には、ユーザインタフェースを表示させることを指示する操作が行われたときに、これらのアイコンが表示される。
　シークバー表示部４２には、動画像コンテンツの全体の再生時間（図２の例では、0：30）を表すバー４３、および、動画像コンテンツの再生画面３１に表示されているフレームの再生時刻に対応する位置を表すスライダ４４により構成されるシークバーが表示される。例えば、シークバー表示部４２には、ユーザインタフェースを表示させることを指示する操作や、早送りまたは早戻しを指示する操作などが行われたときに、シークバーが表示される。
　＜再生アイコンの表示例＞
　図３を参照して、アイコン表示部４１に表示される再生アイコンについて説明する。
　図３のＡには、再生装置１１が２Ｄ再生モードで動画像コンテンツを再生しているときに、再生画面３１のアイコン表示部４１に表示される２Ｄ再生モードアイコンの一例が示されている。例えば、２Ｄ再生モードアイコンは、再生画面が二次元的な平面であるという２Ｄ動画像コンテンツの特徴を表している。
　図３のＢには、再生装置１１が全天球再生モードで動画像コンテンツを再生しているときに、再生画面３１のアイコン表示部４１に表示される全天球再生モードアイコンの一例が示されている。例えば、全天球再生モードアイコンは、動画像により再生される全天球を表す球形状の中央から外側に向かう矢印マークにより任意の視線方向の動画像を見ているという全天球動画像コンテンツの特徴を表している。
　図３のＣには、再生装置１１が自由視点再生モードで動画像コンテンツを再生しているときに、再生画面３１のアイコン表示部４１に表示される自由視点再生モードアイコンが示されている。例えば、自由視点再生モードアイコンは、動画像により再現されている空間内で移動することができる範囲を表す平面の上に配置される人型マークおよび矢印マークにより、任意の視点位置および視点方向の動画像を見ているという自由視点動画像コンテンツの特徴を表している。
　このように、ユーザインタフェース表示処理部２４は、再生中の動画像コンテンツの特徴を表す再生アイコンを生成して表示部１３に供給し、再生画面３１のアイコン表示部４１に表示させることができる。
　図４を参照して、全天球再生モードアイコンおよび自由視点再生モードアイコンが備える機能について説明する。
　例えば、全天球再生モードアイコン（図３のＢ）は矢印マークを有する構成となっており、全天球再生モードアイコンは、この矢印マークを利用して、視線方向を表す機能を備えることができる。
　図４のＡには、視線方向を表す機能を備えた全天球再生モードアイコンの一例が示されている。ユーザインタフェース表示処理部２４は、操作信号取得部２１が取得した操作信号に基づいたユーザの視線方向に従って、全天球再生モードアイコンに表示される矢印マークの向きを変更する。
　例えば、図４のＡの左側に示すような全天球再生モードアイコンの視線方向のときに、ユーザが上を向くような操作を行ったとする。この操作に同期して、ユーザインタフェース表示処理部２４は、図４のＡの右側に示すような全天球再生モードアイコンの視線方向となるように、全天球再生モードアイコンに表示される矢印マークの向きを変更する。
　また、自由視点再生モードアイコン（図３のＣ）は矢印マークおよび人型マークを有する構成となっており、全天球再生モードアイコンは、この矢印マークおよび人型マークを利用して、視線方向および視点位置を表す機能を備えることができる。
　図４のＢには、視線方向および視点位置を表す機能を備えた自由視点再生モードアイコンの一例が示されている。ユーザインタフェース表示処理部２４は、操作信号取得部２１が取得した操作信号に基づいたユーザの視線方向および視点位置に従い、自由視点動画像の全体の位置関係に合わせて、自由視点再生モードアイコンに表示される矢印マークの向きおよび人型マークの位置を変更する。
　例えば、図４のＢの左側に示す自由視点再生モードアイコンのように視点位置が自由視点動画像の中央であるときに、ユーザが視点位置を自由視点動画像の端部に移動するとともに左側を向くような操作を行ったとする。この操作に同期して、ユーザインタフェース表示処理部２４は、図４のＢの右側に示すような自由視点再生モードアイコンの視点位置および視線方向となるように、自由視点再生モードアイコンに表示される矢印マークの向きおよび人型マークの位置を変更する。
　このように、アイコン表示部４１は、再生装置１１が全天球再生モードで動画像コンテンツを再生しているとき、全天球再生モードアイコンにより視線方向を表すことができる。同様に、アイコン表示部４１は、再生装置１１が自由視点再生モードで動画像コンテンツを再生しているとき、自由視点再生モードアイコンにより視線方向および視点位置を表すことができる。
　＜シークバーの表示例＞
　図５を参照して、シークバー表示部４２に表示されるシークバーについて説明する。
　例えば、再生装置１１により再生される動画像コンテンツには、２Ｄ動画像コンテンツ、全天球動画像コンテンツ、および自由視点動画像コンテンツそれぞれが独立して構成されているものの他、再生時間ごとに、それらが混在して構成されるものがある。そこで、シークバー表示部４２に表示されるシークバーは、２Ｄ動画像コンテンツ、全天球動画像コンテンツ、および自由視点動画像コンテンツが混在した動画像コンテンツにおいて、それぞれの再生時間を区別する機能を備えることができる。
　図５のＡには、バー４３の太さにより、２Ｄ動画像コンテンツ、全天球動画像コンテンツ、および自由視点動画像コンテンツの再生時間を区別することができるシークバーの例が示されている。図５のＡの例では、最も細いバー４３ａにより２Ｄ動画像コンテンツが再生可能な時間が表され、中間の太さのバー４３ｂにより全天球動画像コンテンツが再生可能な時間が表され、最も太いバー４３ｃにより自由視点動画像コンテンツが再生可能な時間が表されている。
　図５のＢには、バー４３の配置により、２Ｄ動画像コンテンツ、全天球動画像コンテンツ、および自由視点動画像コンテンツの再生時間を区別することができるシークバーの例が示されている。図５のＢの例では、上段に配置されるバー４３ａにより２Ｄ動画像コンテンツが再生可能な時間が表され、中段に配置されるバー４３ｂにより全天球動画像コンテンツが再生可能な時間が表され、下段に配置されるバー４３ｃにより自由視点動画像コンテンツが再生可能な時間が表されている。
　このように、バー４３の配置（動画像コンテンツの種類ごとに並列的に配置すること）により区別する手法では、同一の再生時間において、複数の種類の動画像コンテンツが存在している場合にも適用することができる。
　即ち、図５のＣに示すように、２Ｄ動画像コンテンツが再生可能な時間を表す上段に配置されるバー４３ａは、最初から最後までの時間において、２Ｄ動画像コンテンツが再生可能であることを示している。そして、バー４３ａと並行して、中段に配置されるバー４３ｂ、および、下段に配置されるバー４３ｃが表示されており、それぞれ重複する時間には、どちらかの動画像コンテンツが選択的に再生可能であることを示している。
　また、図５のＣに示すシークバーでは、スライダ４４の配置によって、複数の再生可能な動画像コンテンツのうち、どの動画像コンテンツが再生されているかを示すことができる。即ち、図５のＣの例では、自由視点動画像コンテンツが再生可能な時間を示すバー４３ｃにスライダ４４が配置されており、自由視点動画像コンテンツが再生されていることを示している。
　さらに、このシークバーでは、例えば、スライダ４４を左右に移動させる操作を行うことで再生時間を変更することができるユーザインタフェースと同様に、スライダ４４を上下に移動させる操作を行うこととで、再生する動画像コンテンツを選択することができる。図５のＣにおける表示位置のスライダ４４に対して上下方向に移動させる操作を行うことで、２Ｄ動画像コンテンツまたは自由視点動画像コンテンツの再生を選択することができる。
　なお、例えば、再生装置１１が自由視点動画像コンテンツを再生する機能を備えていない場合には、図５のＤに示すように、自由視点動画像コンテンツが再生可能な時間を示すバー４３ｃの表示をグレーアウトすることができる。即ち、図５のＤに示す例では、再生装置１１が２Ｄ動画像コンテンツおよび全天球動画像コンテンツを再生する機能を備えていることが表されている。これにより、シークバーによって、再生装置１１が備える機能を示すことができる。
　このように、ユーザインタフェース表示処理部２４が、シークバーの表示を制御することで、２Ｄ動画像コンテンツ、全天球動画像コンテンツ、および自由視点動画像コンテンツの再生時間を区別すること、どの動画像コンテンツを再生させるかを選択することができる。
　なお、例えば、動画像コンテンツが混在して構成されていない場合にも、同様に、バー４３の太さや配置で、動画像コンテンツの種類を示すことができる。また、バー４３の太さや配置の他、色や模様などによって動画像コンテンツの種類を示すようにしてもよい。
　図６を参照して、再生アイコンの変形例について説明する。
　図６のＡには、再生アイコンを利用して、動画像コンテンツの種類および再生モードを同時に表すユーザインタフェースの一例が示されている。
　例えば、再生処理部２３は、全天球動画像コンテンツを全天球再生モードで再生する他、２Ｄ動画像コンテンツと同様に、視線方向および視点位置を固定した状態として２Ｄ再生モードで再生することができる。同様に、再生処理部２３は、自由視点動画像コンテンツを自由視点再生モードで再生する他、２Ｄ動画像コンテンツと同様に、視線方向および視点位置を固定した状態として２Ｄ再生モードで再生したり、全天球動画像コンテンツと同様に、視点位置を固定した状態として全天球再生モードで再生したりすることができる。
　そこで、図２のアイコン表示部４１に、動画像コンテンツの種類を示すアイコンと、動画像コンテンツの再生モードを示すアイコンとを同時に表示して、それらをユーザに認識させることができる。
　例えば、図６のＡの例では、動画像コンテンツの再生モードを示すアイコンが左上に表示され、動画像コンテンツの種類を示すアイコンが右下に表示されている。即ち、図６のＡでは、自由視点動画像コンテンツが全天球再生モードで再生されていることを表している。なお、このようなアイコンの表示は、例えば、ユーザインタフェースを表示させることを指示する操作が行われたときに行われる。
　図６のＢおよび図６のＣには、再生アイコンを利用して、一時停止状態を表すユーザインタフェースの一例が示されている。
　例えば、自由視点動画像コンテンツに対して時間的に一時停止をする操作が行われた場合、その他に、空間的移動に対する一時停止、および、見る方向の一時停止が可能になる。これらの組み合わせとしては、完全一時停止（時間の一時停止、移動禁止、見る方向固定）、時間と移動の一時停止（見る方向のみ変更が可能）、および、時間のみの一時停止（移動、見る方向の変更可能）の３つのパターンが想定される。
　そこで、図６のＢには、左上の一時停止マークを表示することで、見る方向のみを変えることができ、時間的な一時停止状態を表すアイコンの例が示されている。
　また、図６のＣには、全天球動画像コンテンツを示すアイコンと、自由視点動画像コンテンツを示すアイコンとを並べて表示し、どの操作が一時停止状態であるかを明示的に示すアイコンの例が示されている。即ち、左上の一時停止マークを表示することで時間的な一時停止状態を表し、自由視点動画像コンテンツを示すアイコンに対して×マークを付けることで、移動も停止状態であることが示されている。このようなユーザインタフェースにより、図６のＣの表示は、図６のＢの表示よりも、直観的に理解し易くなっている。
　また、再生装置１１は、図６のＣに示すようなアイコンを表示した状態で、いずれかのアイコンを選択して、例えば、移動を可能に変更する機能や、見回しを禁止にする機能を備えることができる。
　なお、例えば、再生装置１１が、自由視点動画像コンテンツを再生する機能を備えていない場合、自由視点動画像コンテンツを表すアイコンの表示をグレーアウトしてもよい。
　＜動画像コンテンツの再生処理＞
　図７のフローチャートを参照して、再生装置１１において実行される動画像コンテンツの再生処理について説明する。
　例えば、ユーザが操作部１２に対する操作を行って、所定の動画像コンテンツを再生対象として選択し、再生モードを指定して再生を指示する操作信号が再生装置１１に供給されると、動画像コンテンツの再生処理が開始される。
　ステップＳ１１において、操作信号取得部２１は、操作部１２から供給される操作信号を取得して、再生処理部２３に供給する。
　ステップＳ１２において、再生処理部２３は、ステップＳ１１で操作信号取得部２１から供給される操作信号に従って、ユーザにより再生対象とされた動画像コンテンツをコンテンツ記録部２２から読み出す。そして、再生処理部２３は、ステップＳ１１で操作信号取得部２１から供給された操作信号で指定されている再生モードで、コンテンツ記録部２２から読み出した動画像コンテンツを再生する処理を行って、表示部１３に表示させる。また、再生処理部２３は、このとき再生した動画像コンテンツに関する再生中コンテンツ情報をユーザインタフェース表示処理部２４に供給する。
　ステップＳ１３において、ユーザインタフェース表示処理部２４は、ステップＳ１２で再生処理部２３から供給される再生中コンテンツ情報に基づいて、ユーザインタフェースを表示部１３に表示させる処理を行う。例えば、ユーザインタフェース表示処理部２４は、再生中コンテンツ情報に含まれる動画像コンテンツの再生モードを示す情報に従って、再生画面３１のアイコン表示部４１（図２）に、再生モードアイコンを表示させる。
　ステップＳ１４において、再生処理部２３は、ステップＳ１２で再生した動画像コンテンツの再生モードは、２Ｄ再生モード、全天球再生モード、および自由視点再生モードのいずれであるかを判定する。
　ステップＳ１４において、再生処理部２３が、動画像コンテンツの再生モードは全天球再生モードであると判定した場合、処理はステップＳ１５に進む。
　ステップＳ１５において、操作信号取得部２１は、ユーザにより視線方向を変更する操作が行われた操作信号が操作部１２から供給されると、その操作信号を取得して、再生処理部２３に供給する。
　ステップＳ１６において、再生処理部２３は、ステップＳ１５で操作信号取得部２１から供給される操作信号に従って、全天球再生モードで再生している動画像コンテンツにおける視線方向を変更する。そして、再生処理部２３は、視線方向の変更を適用した動画像コンテンツを表示部１３に表示させる。
　一方、ステップＳ１４において、再生処理部２３が、動画像コンテンツの再生モードは自由視点再生モードであると判定した場合、処理はステップＳ１７に進む。
　ステップＳ１７において、操作信号取得部２１は、ユーザにより視線方向および視点位置を変更する操作が行われた操作信号が操作部１２から供給されると、その操作信号を取得して、再生処理部２３に供給する。
　ステップＳ１８において、再生処理部２３は、ステップＳ１７で操作信号取得部２１から供給される操作信号に従って、自由視点再生モードで再生している動画像コンテンツにおける視線方向および視点位置を変更する。そして、再生処理部２３は、視線方向および視点位置の変更を適用した動画像コンテンツを表示部１３に表示させる。
　ステップＳ１６またはＳ１８の処理後、処理はステップＳ１９に進む。また、ステップＳ１４において、再生処理部２３が、動画像コンテンツの再生モードは２Ｄ再生モードであると判定した場合にも、処理はステップＳ１９に進む。
　ステップＳ１９において、再生処理部２３は、動画像コンテンツの再生を終了するか否かを判定する。例えば、再生処理部２３は、動画像コンテンツが終了時刻まで再生が完了した場合や、ユーザにより再生を停止する操作が行われると、動画像コンテンツの再生を終了すると判定する。
　ステップＳ１９において、再生処理部２３が、動画像コンテンツの再生を終了しないと判定した場合、処理はステップＳ１２に戻り、以下、同様の処理が繰り返して行われる。一方、再生処理部２３が、動画像コンテンツの再生を終了すると判定した場合、動画像コンテンツの再生処理は終了される。
　以上のように、再生装置１１は、動画像コンテンツの種類および再生モードを、簡易なユーザインタフェースによりユーザに認識させることができる。
　なお、再生装置１１は、上述したような２Ｄ動画像コンテンツ、全天球動画像コンテンツ、および自由視点動画像コンテンツの他、例えば、それぞれの動画像コンテンツについて視差を有するものを再生することができる。この場合、再生装置１１は、２Ｄ動画像コンテンツ、全天球動画像コンテンツ、および自由視点動画像コンテンツそれぞれについて、視差の有無を示すアイコン（例えば、３Ｄという文字）を表示してもよい。さらに、再生装置１１は、視差を有する動画像コンテンツを、視差なしで再生することができ、その旨を示す再生アイコンの表示を行うことができる。
　なお、上述のフローチャートを参照して説明した各処理は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。また、プログラムは、１のCPUにより処理されるものであっても良いし、複数のCPUによって分散処理されるものであっても良い。
　また、上述した一連の処理（再生方法）は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラムが記録されたプログラム記録媒体からインストールされる。
　図８は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
　コンピュータにおいて、CPU（Central Processing Unit）１０１，ROM（Read Only Memory）１０２，RAM（Random Access Memory）１０３は、バス１０４により相互に接続されている。
　バス１０４には、さらに、入出力インタフェース１０５が接続されている。入出力インタフェース１０５には、キーボード、マウス、マイクロホンなどよりなる入力部１０６、ディスプレイ、スピーカなどよりなる出力部１０７、ハードディスクや不揮発性のメモリなどよりなる記憶部１０８、ネットワークインタフェースなどよりなる通信部１０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア１１１を駆動するドライブ１１０が接続されている。
　以上のように構成されるコンピュータでは、CPU１０１が、例えば、記憶部１０８に記憶されているプログラムを、入出力インタフェース１０５及びバス１０４を介して、RAM１０３にロードして実行することにより、上述した一連の処理が行われる。
　コンピュータ（CPU１０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア１１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
　そして、プログラムは、リムーバブルメディア１１１をドライブ１１０に装着することにより、入出力インタフェース１０５を介して、記憶部１０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１０９で受信し、記憶部１０８にインストールすることができる。その他、プログラムは、ROM１０２や記憶部１０８に、あらかじめインストールしておくことができる。
　なお、本技術は以下のような構成も取ることができる。
（１）
　複数種類の動画像コンテンツを、それぞれの前記動画像コンテンツが対応している再生モードで再生する処理を行う再生処理部と、
　再生中の前記動画像コンテンツの種類または再生モードの少なくとも一方を表すユーザインタフェースを表示する処理を行う表示処理部と
　を備える再生装置。
（２）
　前記表示処理部は、前記動画像コンテンツの種類と再生モードとを同時に表示する
　上記（１）に記載の再生装置。
（３）
　前記表示処理部は、再生中の前記動画像コンテンツの全長のうちの再生箇所を表すシークバーを利用して、前記動画像コンテンツの種類ごとに、それぞれの種類の再生時間を表示する
　上記（１）または（２）に記載の再生装置。
（４）
　前記表示処理部は、前記動画像コンテンツの種類ごとに並列的に、それぞれの種類の前記動画像コンテンツに対応する前記シークバーを表示する
　上記（３）に記載の再生装置。
（５）
　前記シークバーに対するユーザの操作に従って、再生の対象とする前記動画像コンテンツの種類が選択される
　上記（４）に記載の再生装置。
（６）
　前記表示処理部は、前記再生装置が再生する機能を備えていない種類の前記動画像コンテンツに対応するシークバーをグレーアウトで表示する
　上記（４）または（５）に記載の再生装置。
（７）
　前記表示処理部は、前記動画像コンテンツの再生を一時停止する操作が行われた場合、前記動画像コンテンツの種類または再生モードを表すユーザインタフェースに対して、一時停止状態を表すユーザインタフェースを表示する
　上記（１）から（６）までのいずれかに記載の再生装置。
（８）
　前記表示処理部は、ユーザの視線方向または視点位置を表すユーザインタフェースを表示する
　上記（１）から（７）までのいずれかに記載の再生装置。
（９）
　複数種類の動画像コンテンツを、それぞれの前記動画像コンテンツが対応している再生モードで再生する処理を行い、
　再生中の前記動画像コンテンツの種類または再生モードの少なくとも一方を表すユーザインタフェースを表示する処理を行う
　ステップを含む再生方法。
（１０）
　複数種類の動画像コンテンツを、それぞれの前記動画像コンテンツが対応している再生モードで再生する処理を行い、
　再生中の前記動画像コンテンツの種類または再生モードの少なくとも一方を表すユーザインタフェースを表示する処理を行う
　ステップを含む再生処理をコンピュータに実行させるプログラム。
　なお、本実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
　１１　再生装置，　１２　操作部，　１３　表示部，　２１　操作信号取得部，　２２　コンテンツ記録部，　２３　再生処理部，　２４　ユーザインタフェース表示処理部，　３１　再生画面，　４１　アイコン表示部，　４２　シークバー表示部，　４３　バー，　４４　スライダ

Claims (10)

  1. 　複数種類の動画像コンテンツを、それぞれの前記動画像コンテンツが対応している再生モードで再生する処理を行う再生処理部と、
    　再生中の前記動画像コンテンツの種類または再生モードの少なくとも一方を表すユーザインタフェースを表示する処理を行う表示処理部と
    　を備える再生装置。
  2. 　前記表示処理部は、前記動画像コンテンツの種類と再生モードとを同時に表示する
    　請求項１に記載の再生装置。
  3. 　前記表示処理部は、再生中の前記動画像コンテンツの全長のうちの再生箇所を表すシークバーを利用して、前記動画像コンテンツの種類ごとに、それぞれの種類の再生時間を表示する
    　請求項１に記載の再生装置。
  4. 　前記表示処理部は、前記動画像コンテンツの種類ごとに並列的に、それぞれの種類の前記動画像コンテンツに対応する前記シークバーを表示する
    　請求項３に記載の再生装置。
  5. 　前記シークバーに対するユーザの操作に従って、再生の対象とする前記動画像コンテンツの種類が選択される
    　請求項４に記載の再生装置。
  6. 　前記表示処理部は、前記再生装置が再生する機能を備えていない種類の前記動画像コンテンツに対応するシークバーをグレーアウトで表示する
    　請求項４に記載の再生装置。
  7. 　前記表示処理部は、前記動画像コンテンツの再生を一時停止する操作が行われた場合、前記動画像コンテンツの種類または再生モードを表すユーザインタフェースに対して、一時停止状態を表すユーザインタフェースを表示する
    　請求項１に記載の再生装置。
  8. 　前記表示処理部は、ユーザの視線方向または視点位置を表すユーザインタフェースを表示する
    　請求項１に記載の再生装置。
  9. 　複数種類の動画像コンテンツを、それぞれの前記動画像コンテンツが対応している再生モードで再生する処理を行い、
    　再生中の前記動画像コンテンツの種類または再生モードの少なくとも一方を表すユーザインタフェースを表示する処理を行う
    　ステップを含む再生方法。
  10. 　複数種類の動画像コンテンツを、それぞれの前記動画像コンテンツが対応している再生モードで再生する処理を行い、
    　再生中の前記動画像コンテンツの種類または再生モードの少なくとも一方を表すユーザインタフェースを表示する処理を行う
    　ステップを含む再生処理をコンピュータに実行させるプログラム。
PCT/JP2017/034237 2016-10-06 2017-09-22 再生装置および再生方法、並びにプログラム WO2018066381A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
DE112017005090.1T DE112017005090T5 (de) 2016-10-06 2017-09-22 Wiedergabevorrichtung, wiedergabevorrichtung; wiedergabeverfahren und programm
CN201780060681.2A CN109792554B (zh) 2016-10-06 2017-09-22 再现装置、再现方法和计算机可读存储介质
US16/330,541 US20210297746A1 (en) 2016-10-06 2017-09-22 Reproduction device, reproducing method, and program
JP2018543837A JP6996511B2 (ja) 2016-10-06 2017-09-22 再生装置および再生方法、並びにプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-198249 2016-10-06
JP2016198249 2016-10-06

Publications (1)

Publication Number Publication Date
WO2018066381A1 true WO2018066381A1 (ja) 2018-04-12

Family

ID=61830857

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/034237 WO2018066381A1 (ja) 2016-10-06 2017-09-22 再生装置および再生方法、並びにプログラム

Country Status (5)

Country Link
US (1) US20210297746A1 (ja)
JP (1) JP6996511B2 (ja)
CN (1) CN109792554B (ja)
DE (1) DE112017005090T5 (ja)
WO (1) WO2018066381A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7472217B2 (ja) 2018-06-18 2024-04-22 キヤノン株式会社 情報処理装置、情報処理装置の制御方法、及びプログラム

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10155138A (ja) * 1996-09-30 1998-06-09 Toshiba Corp マルチアングルブロック再生システム

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100320297B1 (ko) * 1998-11-04 2002-04-22 오길록 신체 아이콘을 이용한 가상 공간 탐색 인터페이스 방법
US8254713B2 (en) * 2005-11-11 2012-08-28 Sony Corporation Image processing apparatus, image processing method, program therefor, and recording medium in which the program is recorded
US8184943B2 (en) * 2007-01-08 2012-05-22 Apple Inc. Transport controls for a media device
US9015631B2 (en) * 2008-08-07 2015-04-21 Dassault Systemes Animated icons to preview transformations related to 3D models
KR101520620B1 (ko) * 2008-08-18 2015-05-18 삼성전자주식회사 2차원/3차원 재생 모드 결정 방법 및 장치
US20110285827A1 (en) * 2009-07-14 2011-11-24 Panasonic Corporation Image reproducing apparatus and image display apparatus
JP4758520B1 (ja) * 2010-03-05 2011-08-31 シャープ株式会社 立体視映像表示装置、および立体視映像表示装置の動作方法
KR20120056929A (ko) * 2010-09-20 2012-06-05 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
JP5726201B2 (ja) * 2010-10-19 2015-05-27 三菱電機株式会社 ３次元立体視表示装置、３次元立体視表示制御装置、およびｌｓｉ回路
JP2012248960A (ja) * 2011-05-25 2012-12-13 Sony Computer Entertainment Inc コンテンツ再生装置
KR101249901B1 (ko) * 2011-06-22 2013-04-09 엘지전자 주식회사 이동통신 단말기 및 그 동작방법
JP2013118538A (ja) 2011-12-05 2013-06-13 Hitachi Consumer Electronics Co Ltd 再生方法／装置及び記録方法／装置
KR101527038B1 (ko) * 2012-02-24 2015-06-08 엘지전자 주식회사 이동 단말기 및 그 제어 방법, 이를 위한 기록 매체
JP5920708B2 (ja) * 2012-02-29 2016-05-18 国立大学法人名古屋大学 多視点映像ストリーム視聴システムおよび方法
CN103873842A (zh) * 2012-12-15 2014-06-18 联想(北京)有限公司 一种显示方法和装置
KR20160045441A (ko) * 2014-10-17 2016-04-27 삼성전자주식회사 동영상 재생 방법 및 장치
US10219026B2 (en) * 2015-08-26 2019-02-26 Lg Electronics Inc. Mobile terminal and method for playback of a multi-view video

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10155138A (ja) * 1996-09-30 1998-06-09 Toshiba Corp マルチアングルブロック再生システム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7472217B2 (ja) 2018-06-18 2024-04-22 キヤノン株式会社 情報処理装置、情報処理装置の制御方法、及びプログラム

Also Published As

Publication number Publication date
DE112017005090T5 (de) 2019-08-01
JP6996511B2 (ja) 2022-01-17
CN109792554B (zh) 2022-10-11
CN109792554A (zh) 2019-05-21
JPWO2018066381A1 (ja) 2019-07-18
US20210297746A1 (en) 2021-09-23

Similar Documents

Publication Publication Date Title
JP6119570B2 (ja) 表示装置、表示方法およびプログラム
JP2004356774A (ja) マルチメディア再生装置およびマルチメディア再生方法
CN103500081A (zh) 一种显示方法及显示设备
JP2008146495A (ja) 表示制御システム、表示制御装置、表示制御方法および表示制御プログラム、画像出力装置、画像出力方法および画像出力プログラム、ならびに、表示装置
KR20120017649A (ko) 디스플레이장치 및 그 제어방법
US20180296916A1 (en) System and method for spatial and immersive computing
JP2009230468A (ja) 再生装置、再生装置の制御方法および制御プログラム
US20150187386A1 (en) Editing apparatus, reproduction apparatus, editing method, reproduction method, and program
CN105191328A (zh) 显示装置和向显示装置提供用户接口的方法
JP2007087573A (ja) 複数個のアプリケーションの表示される画面で、ボタン間にフォーカシングを移動させる方法、その装置及びその情報記録媒体
US20140215514A1 (en) Apparatus of rendering user interface for playing broadcast programs and the method thereof
US20110200303A1 (en) Method of Video Playback
WO2018066381A1 (ja) 再生装置および再生方法、並びにプログラム
JP6988813B2 (ja) 再生装置および再生方法、記録装置および記録方法、再生記録装置および再生記録方法、並びにプログラム
US10916123B2 (en) Control system, control apparatus, and control method
JP2010147705A (ja) テレビシステム
KR102136463B1 (ko) 스마트 디바이스 및 그 제어 방법
CN103871434A (zh) 一种多媒体播放方法、设备及系统
JP4749126B2 (ja) 記録再生装置及び録画再生装置
JP2010034679A (ja) コンテンツ一覧表示装置および表示方法
JP5737988B2 (ja) 画像処理装置およびその制御方法およびプログラム
JP2008182568A (ja) 記録再生複合機
JP2008312025A (ja) 映像コンテンツデータ再生装置
JP2010033694A (ja) データ再生装置、データ再生方法およびコンピュータプログラム
JP6958341B2 (ja) Ｖｒコンテンツを再生する方法、装置、及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17858220

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018543837

Country of ref document: JP

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 17858220

Country of ref document: EP

Kind code of ref document: A1