WO2018061836A1 - 情報処理端末、情報処理方法、およびプログラム - Google Patents

情報処理端末、情報処理方法、およびプログラム Download PDF

Info

Publication number
WO2018061836A1
WO2018061836A1 PCT/JP2017/033526 JP2017033526W WO2018061836A1 WO 2018061836 A1 WO2018061836 A1 WO 2018061836A1 JP 2017033526 W JP2017033526 W JP 2017033526W WO 2018061836 A1 WO2018061836 A1 WO 2018061836A1
Authority
WO
WIPO (PCT)
Prior art keywords
content
application
display
program
video
Prior art date
Application number
PCT/JP2017/033526
Other languages
English (en)
French (fr)
Inventor
山田　宗平
将人 藤井
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US16/331,365 priority Critical patent/US10869098B2/en
Priority to JP2018542402A priority patent/JP6954914B2/ja
Priority to EP17855792.2A priority patent/EP3522549B1/en
Publication of WO2018061836A1 publication Critical patent/WO2018061836A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/485—End-user interface for client configuration
    • H04N21/4852—End-user interface for client configuration for modifying audio parameters, e.g. switching between mono and stereo
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4396—Processing of audio elementary streams by muting the audio signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/443—OS processes, e.g. booting an STB, implementing a Java virtual machine in an STB or power management in an STB
    • H04N21/4438—Window management, e.g. event handling following interaction with the user interface
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6587—Control parameters, e.g. trick play commands, viewpoint selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/60—Receiver circuitry for the reception of television signals according to analogue transmission standards for the sound signals

Definitions

  • the present technology relates to an information processing terminal, an information processing method, and a program, and more particularly, to an information processing terminal, an information processing method, and a program that can appropriately control audio output of content being played back.
  • a user can watch a recorded program even when he / she is away by transferring a program recorded by a recording device at home to a portable terminal and storing the program in a built-in memory.
  • the user can watch a program being broadcast using a portable terminal not equipped with a tuner or the like as a television receiver by transferring the broadcast program received by the recording device to the portable terminal in real time. can do.
  • This technology has been made in view of such a situation, and makes it possible to appropriately control the audio output of the content being played back.
  • An information processing terminal includes a plurality of applications being executed, including a reproduction unit that reproduces content including video and audio, and a first application that manages reproduction of the content as a display mode of the display
  • a mode for simultaneously displaying the screens in different display areas is set, and the video of the content being played is displayed in the first display area, and the screen of the second application is displayed in the second display area.
  • the reproduction of the content is stopped when the content being reproduced is a recorded content, and when the content is a live viewing content, A playback control unit that continues playback of the content, and the content that has been played back continuously.
  • the image of the tool continues to be displayed on the first display area, and an output control unit for muting the audio.
  • the reproduction control unit when the second application is an application that does not accompany sound output, and the user is operating the second application, the content being reproduced is a recorded content. Even so, the reproduction of the content can be continued.
  • the playback control unit restarts playback of the recorded content when an operation is performed on the first display area when playback of the recorded content is stopped, and the output control is performed.
  • the unit can restart the display of the video of the content and the output of the audio whose reproduction has been resumed.
  • the output control unit can continue to display one frame of video before the playback is stopped as a still image in the first display area.
  • the output control unit can resume audio output when an operation is performed on the first display area in a case where the audio of the content of the live preview is muted.
  • a mode for simultaneously displaying the screens of a plurality of running applications including the first application for managing the reproduction of the content in different display areas is set.
  • the video of the content being played is displayed in the first display area and the screen of the second application is displayed in the second display area, sound output by the second application is started.
  • the content being reproduced is a recorded content
  • the reproduction of the content is stopped, and when the content is a live viewing content, the reproduction of the content is continued. Further, the video of the content that has been continuously played continues to be displayed in the first display area, and the sound is muted.
  • FIG. 1 is a diagram illustrating a configuration example of a content viewing system according to an embodiment of the present technology.
  • the content viewing system in FIG. 1 includes a portable terminal 1 and a recording device 2.
  • the portable terminal 1 is a portable information processing terminal such as a smartphone or a tablet terminal.
  • a display 11 having a touch panel function is provided on the surface of the casing of the mobile terminal 1, for example. The user of the mobile terminal 1 can operate the mobile terminal 1 by directly touching the screen displayed on the display 11 with a finger or the like.
  • the recording device 2 is a device that incorporates a recording medium such as an HDD (Hard Disk Drive) or an SSD (Solid State Drive) and has a recording function of a television program (hereinafter simply referred to as a program).
  • a recording medium such as an HDD (Hard Disk Drive) or an SSD (Solid State Drive)
  • the recording device 2 is installed at the home of the user of the mobile terminal 1.
  • the recording device 2 receives data of a program broadcast via a transmission path using broadcast waves or a transmission path using communication such as the Internet, and records (records) the data on a recording medium.
  • the mobile terminal 1 and the recording device 2 can communicate via a network such as a home LAN (Local Area Network) or the Internet.
  • a network such as a home LAN (Local Area Network) or the Internet.
  • a setting for performing communication between the portable terminal 1 and the recording device 2 is performed in advance.
  • the user of the portable terminal 1 transfers the recorded program data recorded by the recording device 2 to the portable terminal 1 and stores it in the internal memory of the portable terminal 1, and views the recorded program while away from home. can do.
  • the program data is read from the memory and reproduction is started.
  • the video of the recorded program is displayed on the display 11, and the sound is output from a speaker (not shown).
  • the user of the mobile terminal 1 can transfer the data of the program being broadcast from the recording device 2 to the mobile terminal 1 in real time, and can view the program being broadcast at home or on the go.
  • a control command is transmitted from the mobile terminal 1 to the recording device 2.
  • Transmission of a program for 1 is started.
  • the program transmitted from the recording device 2 is received, and the reproduction of the program is started.
  • the video of the program being broadcast is displayed on the display 11, and the sound is output from the speaker.
  • the mobile terminal 1 manages the viewing of the recorded program recorded by the recording device 2 and the TV viewing that is a program for managing the viewing of the program being broadcast received by the recording device 2.
  • the application is installed.
  • the video of the recorded program or the program being broadcast displayed on the display 11 in FIG. 1 is a video displayed by the TV viewing application being started.
  • a program broadcast via a broadcast wave or a communication transmission path is appropriately transmitted to the mobile terminal 1 without being recorded by the recording device 2, so that the program can be viewed on the mobile terminal 1.
  • the program is called a live viewing program.
  • the live viewing program is a program broadcast according to a schedule determined in advance on the broadcast side. Since it is a program that is broadcast according to a predetermined schedule on the broadcast side, once playback of the video is stopped, if playback of the video is instructed, playback of the video is not performed from the point where it was stopped. Will be played from the live video when Accordingly, a program distributed from a server on the network via a communication transmission path is also a live viewing program when distributed live. “Distribution” includes “broadcast”.
  • FIG. 2 is a diagram illustrating an example of a program viewing screen.
  • the viewing screen in FIG. 2 is a screen when the user holds the mobile terminal 1 sideways.
  • strip-shaped areas 22A and 22B having a predetermined width are formed along the upper edge and the right edge, and the video of the program is displayed on the entire display area 21 which is a horizontally long area.
  • the operation panel 31 is displayed below the display area 21 so as to overlap the video of the program.
  • the operation panel 31 displays buttons operated when performing various operations such as pause, fast forward, rewind, and chapter movement. That is, the program displayed in the display area 21 in FIG. 2 is a recorded program.
  • the operation panel 31 displays buttons operated when switching channels.
  • the area 22A is an area where time, an indicator, and the like are displayed.
  • the area 22B is an area where icons and the like operated when displaying the home screen are displayed.
  • FIG. 3 is a diagram showing another example of a program viewing screen.
  • the viewing screen in FIG. 3 is a screen when the user holds the mobile terminal 1 in a portrait orientation.
  • a display area 21 is formed in the approximate center of the display 11, and an operation panel 31 is displayed below the display area 21.
  • the region 22A and the region 22B are formed along the upper and lower edges of the display 11, respectively.
  • the user can view the program even when the portable terminal 1 is in the horizontal orientation or in the vertical orientation.
  • the OS (Operating System) of the mobile terminal 1 has a so-called multi-window function that divides the display area 21 excluding the areas 22A and 22B into a plurality of display areas and displays different application screens in the respective display areas. ing.
  • FIG. 4 is a diagram showing a display example in the multi-window mode.
  • window A1 is formed above the screen, and the window A2 is formed below the screen.
  • Window A2 is a display area in which the ratio of horizontal ⁇ vertical number of pixels is 16: 9, and window A1 is the remaining vertical rectangular display area.
  • a predetermined Web page is displayed in the window A1, and a video of the program is displayed in the window A2.
  • the window A1 is displayed by a Web browser, and the window A2 is displayed by a TV viewing application.
  • the program While the Web page is displayed in window A1, the program continues to be played, and the video of the program continues to be displayed as a video in window A2.
  • the operation panel 31 is displayed over the program video.
  • the user can perform a work such as an inspection by displaying the Web page in the window A1 while viewing the program in the window A2.
  • a work such as an inspection by displaying the Web page in the window A1 while viewing the program in the window A2.
  • the audio of the program is continuously output from the speaker of the mobile terminal 1 in accordance with the display of the video in the window A2.
  • the mobile terminal 1 is installed with various applications that operate on the OS, such as a mail management application, a music playback application, and a Web video playback application, in addition to the TV viewing application and the Web browser. Yes.
  • the user can also display the screen of another application in the window A1 instead of the display by the Web browser.
  • the mail management application is a mailer and manages the sending and receiving of emails.
  • the music playback application plays back music data stored in the memory of the mobile terminal 1 or music data received via the Internet, and outputs music from the speaker of the mobile terminal 1.
  • the Web video playback application accesses a server that provides a Web video (video content) distribution service, and plays back video content acquired by streaming or download.
  • the reproduced video of the Web video is displayed on the display 11, and the sound is output from the speaker.
  • FIG. 6 is a diagram showing another display example in the multi-window mode.
  • a window A1 which is a display area having a horizontal to vertical pixel ratio of 16: 9 is formed at the top of the screen, and the remaining vertical rectangular display area is defined as window A2 at the bottom of the screen. It is a form to form.
  • the display format of B in FIG. 6 is a format in which the window A1 and the window A2 are formed by vertically dividing the entire display area 21 excluding the areas 22A and 22B into two equal parts.
  • a display format in the multi-window mode not only a configuration in which a plurality of display areas are arranged without gaps as shown in FIG. 6 but also a format in which a plurality of display areas are arranged at arbitrary positions with a gap therebetween is used. Also good. Further, a so-called PinP format in which another display area smaller than that is arranged inside one display area may be used.
  • the number of display areas is not limited to two, and three or more display areas may be formed.
  • the screen display in the multi-window mode is also performed when the mobile terminal 1 is used in the landscape orientation.
  • FIG. 7 is a diagram showing a display example during program playback by the TV viewing application.
  • the video of the program being played is displayed as the screen of the TV viewing application.
  • the screen of the Web video playback application is displayed.
  • the display format of the screen of FIG. 7 is the display format shown in A of FIG.
  • the video of the Web video that the user has instructed to play is displayed, and the audio of the Web video is output from the speaker in accordance with the video display.
  • the playback of the Web video is started, if the program being played back by the TV viewing application is a live viewing program, the playback of the live viewing program is continued, and the sound is muted as indicated by the tip of the arrow. . Although no audio is output, the video of the live viewing program continues to be displayed as a moving image in the window A1.
  • the video of the Web video that the user has instructed to play is displayed, and the audio of the Web video is output from the speaker in accordance with the video display.
  • the Web video playback application is an application that accompanies output of video content sound.
  • the music playback application is also an application that accompanies the output of music content sounds.
  • the recorded program Playback is stopped.
  • the newly output music is output from the speaker instead of the audio of the recorded program.
  • the program being reproduced is a live viewing program
  • only the audio of the live viewing program is muted, and the display of the video of the live viewing program in the window A1 is continued.
  • the newly started music is output from the speaker.
  • the application running with the TV viewing application is an application that does not output sound, such as a Web browser or mail management application, the above control is not performed.
  • the program being played is a recorded program, taking into account that the program has been recorded and watched, it is not necessary to miss a part of the program, so pay attention to watching the program again. Until then, it is preferable to stop the reproduction of the program.
  • the program being played is a live viewing program, it is possible to continue to grasp the atmosphere of the program, so it is preferable to continue displaying the video although the sound is muted.
  • the reproduction of the recorded program stopped as described above is resumed when the user instructs the cancellation of the pause by operating the display of the window A1, for example. Also, the sound output of the muted live viewing program is resumed when the user taps the video of the program in the window A1, for example.
  • the state returns to the same state as before the operation on the display of the window A2.
  • FIG. 8 is a block diagram illustrating a hardware configuration example of the mobile terminal 1.
  • a CPU Central Processing Unit 101
  • a ROM Read Only Memory
  • RAM Random Access Memory
  • An input / output interface 105 is further connected to the bus 104.
  • a touch panel 106, a speaker 107, a camera 108, a flash memory 109, a communication unit 110, and a drive 111 are connected to the input / output interface 105.
  • the touch panel 106 detects a user operation on the surface of the display 11 and outputs information representing the content of the user operation.
  • the speaker 107 outputs various sounds such as the sound of the program being reproduced, the sound of the Web video, and music.
  • the camera 108 captures images according to user operations and outputs image data.
  • the flash memory 109 stores various data such as a program executed by the CPU 101 and recorded program data transferred from the recording device 2.
  • the communication unit 110 is a wireless communication interface.
  • the communication unit 110 communicates with an external device such as the recording device 2 or a server connected via the Internet.
  • the drive 111 drives a removable medium 112 such as a memory card, and writes data to the removable medium 112 and reads data stored in the removable medium 112.
  • the provision of recorded program data by the recording device 2 may be performed via the removable medium 112.
  • FIG. 9 is a block diagram illustrating a functional configuration example of the mobile terminal 1.
  • the control unit 131 By executing the TV viewing application, in the mobile terminal 1, the control unit 131, the program data acquisition unit 132, the playback unit 133, and the output control unit 134 are realized.
  • the playback unit 133 includes a video decoder 141 and an audio decoder 142.
  • the output control unit 134 includes a display control unit 151 and an audio output control unit 152.
  • the control unit 131 controls the reproduction of the program data by the reproduction unit 133, the display of the program video by the display control unit 151, and the output of the program audio by the audio output control unit 152, respectively.
  • Control by the control unit 131 is performed according to, for example, the type of other application being executed together with the TV viewing application (whether the application is accompanied by sound output).
  • the control by the control unit 131 is performed in response to receiving notification from the application that audio output is started when another application is accompanied by sound output.
  • the program data acquisition unit 132 acquires program data to be reproduced.
  • the program data acquisition unit 132 reads and acquires the data of the recorded program from the flash memory 109 or the removable medium 112.
  • the program data acquisition unit 132 controls the communication unit 110 to receive and acquire data of a live viewing program transmitted from the recording device 2.
  • the program data acquisition unit 132 extracts video data from recorded program data or live viewing program data, outputs the video data to the video decoder 141 of the playback unit 133, extracts audio data, and outputs the audio data to the audio decoder 142.
  • the video decoder 141 of the playback unit 133 decodes the video data of the recorded program or the live viewing program, and outputs the video data of the program obtained by decoding to the display control unit 151.
  • the audio decoder 142 decodes the audio data of the recorded program or the live viewing program, and outputs the audio data of the program obtained by decoding to the audio output control unit 152.
  • the display control unit 151 displays the video of the program on the display 11 based on the data supplied from the video decoder 141.
  • the audio output control unit 152 causes the speaker 107 to output program audio based on the data supplied from the audio decoder 142.
  • the display mode of the display 11 is set by the OS in accordance with, for example, a user operation.
  • the CPU 101 executes other applications in addition to the TV viewing application.
  • program data is acquired by the program data acquisition unit 132 and the reproduction is performed by the reproduction unit 133.
  • the video of the program being reproduced is displayed on the display 11, for example, in the window A 1 by the display control unit 151, and the audio of the program is output from the speaker 107 by the audio output control unit 152.
  • the screen of another application that is being executed together with the TV viewing application and that outputs sound is displayed in the window A2.
  • the TV viewing application screen may be displayed in the window A2, and the screens of other applications may be displayed in the window A1.
  • step S1 the control unit 131 receives a notification output from another application to start sound output.
  • such notification is output from a Web video playback application that is an application accompanied by sound output. Further, such a notification is output from the music playback application when the user performs an operation of starting playback of predetermined music. While the user is performing an operation other than the operation for starting the sound output, such as an operation for searching for content, on the display of the window A2, the notification that the sound output is started is not output.
  • step S2 the control unit 131 determines whether or not the program being reproduced is a recorded program.
  • step S3 the control unit 131 stops the reproduction of the recorded program.
  • the control unit 131 causes the video decoder 141 to stop decoding video data, and causes the audio decoder 142 to stop decoding audio data.
  • the display control unit 151 continues to display the last output one-frame video as a still image in the window A1.
  • step S4 the control unit 131 determines whether or not an instruction to cancel the pause (start playback) is given.
  • the paused state is canceled, for example, when the user presses a playback button displayed on the TV viewing application screen. If the controller 131 determines in step S4 that release of pause has not been instructed, the controller 131 returns to step S3 and continues to stop playback of the recorded program.
  • step S4 if it is determined in step S4 that the pause button has been pressed because the playback button has been pressed, the control unit 131 proceeds to step S5 and resumes playback of the recorded program. Instead of pressing the play button, the paused state may be canceled by tapping the video of the stopped program.
  • the control unit 131 causes the video decoder 141 to resume decoding of video data, and causes the audio decoder 142 to resume decoding of audio data.
  • the display control unit 151 displays the video of the program as a moving image on the window A1 based on the data supplied from the video decoder 141, and the audio output control unit 152 displays the audio of the program based on the data supplied from the audio decoder 142. Is output from the speaker 107. Thereafter, the process ends.
  • step S6 the control unit 131 continues to output the video of the live viewing program and mutes the sound.
  • control unit 131 causes the video decoder 141 to continue decoding the video data, and causes the display control unit 151 to continuously display the video of the live viewing program as a moving image.
  • control unit 131 causes the audio decoder 142 to continue decoding the audio data, and causes the audio output control unit 152 to mute (cut off) the sound.
  • step S7 the control unit 131 determines whether or not the video of the program displayed as the screen of the TV viewing application has been tapped. If the control unit 131 determines in step S7 that it has not been tapped, the control unit 131 returns to step S6 and continues muting the audio of the live viewing program.
  • step S7 if it is determined in step S7 that the video of the live viewing program has been tapped, the control unit 131 proceeds to step S8 and controls the audio output control unit 152 to resume audio output.
  • the audio output control unit 152 cancels the mute of the audio, and the audio of the live viewing program is output from the speaker 107 according to the video. Thereafter, the process ends.
  • the audio output of the program being played can be appropriately controlled according to the type of the other application being executed and the type of the program being played.
  • the playback of the content may be stopped or the audio of the content may be muted.
  • the sound of a plurality of applications may be output simultaneously.
  • the above-described functions can be applied to various terminals that can be used to view a program.
  • the present invention can be applied to terminals such as a television receiver, a recording device, a stationary or portable game machine, a set top box, and a personal computer.
  • the recording device 2 is a device installed at the home of the user of the portable terminal 1.
  • the present invention is not limited thereto, and a server on the Internet may be used as the recording device 2.
  • the program broadcast from the server is not a live viewing program, it can be played back at any time, and may be handled in the same manner as a recorded program.
  • the program to be installed is provided by being recorded on the removable medium 112 shown in FIG. Further, it may be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital broadcasting.
  • the program can be installed in advance in the ROM 102 or the flash memory 109.
  • the program executed by the computer may be a program that is processed in time series in the order described in this specification, or in parallel or at a necessary timing such as when a call is made. It may be a program for processing.
  • the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Accordingly, a plurality of devices housed in separate housings and connected via a network and a single device housing a plurality of modules in one housing are all systems. .
  • Embodiments of the present technology are not limited to the above-described embodiments, and various modifications can be made without departing from the gist of the present technology.
  • the present technology can take a cloud computing configuration in which one function is shared by a plurality of devices via a network and is jointly processed.
  • each step described in the above flowchart can be executed by one device or can be shared by a plurality of devices.
  • the plurality of processes included in the one step can be executed by being shared by a plurality of apparatuses in addition to being executed by one apparatus.
  • a playback unit for playing back content including video and audio As a display mode of the display, a mode in which screens of a plurality of running applications including the first application for managing the reproduction of the content are simultaneously displayed in different display areas is set, and the video of the content being reproduced is displayed.
  • the playback control unit stops the playback of the content, and when the content is live viewing, the playback control unit continues the playback of the content;
  • An information processing terminal comprising: an output control unit that continuously displays the video of the content that has been played back in the first display area and that mutes the audio.
  • the reproduction control unit resumes reproduction of the recorded content when an operation is performed on the first display area when reproduction of the recorded content is stopped.
  • the output control unit continues to display the video of one frame before the reproduction is stopped as the still image in the first display area (1) Thru
  • the output control unit restarts audio output when an operation is performed on the first display area when the audio of the content of the live trial listening is muted.
  • Play content including video and audio As a display mode of the display, a mode in which screens of a plurality of running applications including the first application for managing the reproduction of the content are simultaneously displayed in different display areas is set, and the video of the content being reproduced is displayed.
  • the second application screen is displayed in the first display area and the screen of the second application is displayed in the second display area
  • the sound output by the second application is started, the content being played back
  • the reproduction of the content is stopped
  • An information processing method including a step of continuing to display the video of the content that has been played back in the first display area and muting the audio.
  • Play content including video and audio As a display mode of the display, a mode in which screens of a plurality of running applications including the first application for managing the reproduction of the content are simultaneously displayed in different display areas is set, and the video of the content being reproduced is displayed.
  • the second application screen is displayed in the first display area and the screen of the second application is displayed in the second display area
  • the sound output by the second application is started, the content being played back
  • the reproduction of the content is stopped
  • Information processing terminal 2 Recording device 131 Control unit 132 Program data acquisition unit 133 Playback unit 134 Output control unit 141 Video decoder 142 Audio decoder 151 Display control unit 152 Audio output control unit

Abstract

本技術は、再生中のコンテンツの音声の出力を適切に制御することができるようにする情報処理端末、情報処理方法、およびプログラムに関する。 本技術の情報処理端末は、実行中の複数のアプリケーションの画面をそれぞれ異なる表示領域に同時に表示するモードが設定され、第１のアプリケーションによる再生中のコンテンツの映像を第１の表示領域に表示させるとともに、第２のアプリケーションの画面を第２の表示領域に表示させている場合において、第２のアプリケーションによる音の出力が開始されるとき、再生中のコンテンツが、記録済みのコンテンツであるときにはコンテンツの再生を停止させ、ライブ視聴のコンテンツであるときには、コンテンツの再生を継続させ、再生が継続されたコンテンツの映像を第１の表示領域に表示させ続け、音声をミュートさせる。本技術は、ディスプレイを有する各種の装置に適用することができる。

Description

情報処理端末、情報処理方法、およびプログラム
　本技術は、情報処理端末、情報処理方法、およびプログラムに関し、特に、再生中のコンテンツの音声の出力を適切に制御することができるようにした情報処理端末、情報処理方法、およびプログラムに関する。
　スマートフォンやタブレット端末などの携帯端末を使ってテレビジョン番組を視聴することがよく行われている。例えば、ユーザは、家にある録画装置で録画した番組を携帯端末に転送して内蔵のメモリに記憶させておくことによって、録画番組を外出先でも視聴することができる。
　また、ユーザは、録画装置が受信した放送中の番組を携帯端末にリアルタイムで転送させることによって、チューナなどが搭載されていない携帯端末をテレビジョン受像機のように用いて放送中の番組を視聴することができる。
特開２０１３－０６２６５３号公報
　携帯端末に搭載されたディスプレイの大型化や高解像度化によって、今後、携帯端末のディスプレイに複数のアプリケーションの画面を同時に表示させて用いることが一般的になるものと考えられる。
　本技術はこのような状況に鑑みてなされたものであり、再生中のコンテンツの音声の出力を適切に制御することができるようにするものである。
　本技術の一側面の情報処理端末は、映像と音声を含むコンテンツを再生する再生部と、ディスプレイの表示モードとして、前記コンテンツの再生を管理する第１のアプリケーションを含む、実行中の複数のアプリケーションの画面をそれぞれ異なる表示領域に同時に表示するモードが設定され、再生中の前記コンテンツの映像を第１の表示領域に表示させるとともに、第２のアプリケーションの画面を第２の表示領域に表示させている場合において、前記第２のアプリケーションによる音の出力が開始されるとき、再生中の前記コンテンツが、記録済みのコンテンツであるときには前記コンテンツの再生を停止させ、ライブ視聴のコンテンツであるときには、前記コンテンツの再生を継続させる再生制御部と、再生が継続された前記コンテンツの映像を前記第１の表示領域に表示させ続け、音声をミュートさせる出力制御部とを備える。
　前記再生制御部には、前記第２のアプリケーションが音の出力を伴わないアプリケーションであり、ユーザが前記第２のアプリケーションの操作を行った場合、再生中の前記コンテンツが記録済みのコンテンツであるときであっても、前記コンテンツの再生を継続させることができる。
　前記再生制御部には、記録済みの前記コンテンツの再生を停止している場合において、前記第１の表示領域に対する操作が行われたとき、記録済みの前記コンテンツの再生を再開させ、前記出力制御部には、再生が再開された前記コンテンツの映像の表示と音声の出力を再開させることができる。
　前記出力制御部には、記録済みの前記コンテンツの再生が停止されている間、再生が停止される前の１フレームの映像を、静止画として前記第１の表示領域に表示させ続けることができる。
　前記出力制御部には、ライブ試聴の前記コンテンツの音声をミュートさせている場合において、前記第１の表示領域に対する操作が行われたとき、音声の出力を再開させることができる。
　本技術の一側面においては、ディスプレイの表示モードとして、前記コンテンツの再生を管理する第１のアプリケーションを含む、実行中の複数のアプリケーションの画面をそれぞれ異なる表示領域に同時に表示するモードが設定され、再生中の前記コンテンツの映像を第１の表示領域に表示させるとともに、第２のアプリケーションの画面を第２の表示領域に表示させている場合において、前記第２のアプリケーションによる音の出力が開始されるとき、再生中の前記コンテンツが、記録済みのコンテンツであるときには前記コンテンツの再生が停止され、ライブ視聴のコンテンツであるときには、前記コンテンツの再生が継続される。また、再生が継続された前記コンテンツの映像が前記第１の表示領域に表示され続け、音声がミュートされる。
　本技術によれば、再生中のコンテンツの音声の出力を適切に制御することができる。
　なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本技術の一実施形態に係るコンテンツ視聴システムの構成例を示す図である。 番組の視聴画面の例を示す図である。 番組の視聴画面の他の例を示す図である。 マルチウインドウモードでの表示例を示す図である。 アプリケーションの例を示す図である。 マルチウインドウモードでの他の表示例を示す図である。 TV視聴アプリケーションによる番組再生中の表示例を示す図である。 携帯端末のハードウェア構成例を示すブロック図である。 携帯端末の機能構成例を示すブロック図である。 TV視聴アプリケーションの動作について説明するフローチャートである。
　以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
　１．コンテンツ視聴システムについて
　２．表示画面について
　３．携帯端末の構成例
　４．携帯端末の動作
　５．変形例
＜１．コンテンツ視聴システムについて＞
　図１は、本技術の一実施形態に係るコンテンツ視聴システムの構成例を示す図である。
　図１のコンテンツ視聴システムは、携帯端末１と録画装置２から構成される。携帯端末１は、スマートフォンやタブレット端末などの携帯型の情報処理端末である。携帯端末１の筐体の表面には、例えばタッチパネルの機能を有するディスプレイ１１が設けられる。携帯端末１のユーザは、ディスプレイ１１に表示された画面に指などで直接触れることによって、携帯端末１の操作を行うことができる。
　録画装置２は、HDD(Hard Disk Drive)、SSD(Solid State Drive)などの記録媒体を内蔵し、テレビジョン番組（以下、単に、番組という）の録画機能を有する装置である。例えば、録画装置２は、携帯端末１のユーザの自宅に設置される。録画装置２は、放送波を用いた伝送路、または、インターネットなどの通信を用いた伝送路を介して放送された番組のデータを受信し、記録媒体に記録する（録画する）。
　双方向の矢印に示されるように、携帯端末１と録画装置２は、家庭内のLAN(Local Area Network)、インターネットなどのネットワークを介して通信を行うことができる。携帯端末１と録画装置２の間では、相互に通信を行うための設定が予め行われている。
　携帯端末１のユーザは、録画装置２により録画された録画済み番組のデータを携帯端末１に転送して携帯端末１の内部のメモリに記憶させておき、外出先などで、録画済み番組を視聴することができる。
　ユーザが携帯端末１を操作し、例えば録画済み番組のリストから所定の番組を選択したとき、番組のデータがメモリから読み出され、再生が開始される。録画済み番組の映像はディスプレイ１１に表示され、音声は図示せぬスピーカから出力される。
　また、携帯端末１のユーザは、放送中の番組のデータを記録することなく録画装置２から携帯端末１にリアルタイムで転送させ、自宅や外出先で、放送中の番組を視聴することができる。
　ユーザが携帯端末１を操作し、例えば番組表から放送中の所定の番組を選択したとき、携帯端末１から録画装置２に制御コマンドが送信され、録画装置２において、番組の受信と、携帯端末１に対する番組の送信が開始される。携帯端末１においては、録画装置２から送信されてきた番組が受信され、番組の再生が開始される。放送中の番組の映像はディスプレイ１１に表示され、音声はスピーカから出力される。
　このように、携帯端末１には、録画装置２により録画された録画済み番組の視聴を管理するとともに、録画装置２により受信された放送中の番組の視聴を管理するためのプログラムであるTV視聴アプリケーションがインストールされている。図１のディスプレイ１１に表示されている録画済み番組または放送中の番組の映像は、起動中のTV視聴アプリケーションにより表示されている映像である。
　以下、適宜、放送波または通信の伝送路を介して放送された番組であって、録画装置２が録画しないでそのまま携帯端末１に送信することで携帯端末１において視聴することができるようにした番組を、ライブ視聴番組という。
　ライブ視聴番組は、放送側で予め決められたスケジュールに従って放送された番組である。放送側で予め決められたスケジュールに従って放送される番組であるので、一度、映像の再生を停止した後に、映像の再生を指示すると、停止した箇所から映像が再生されるのではなく、映像の再生を指示したときのライブ映像から再生されることになる。よって、ネットワーク上のサーバから通信の伝送路を介して配信された番組も、ライブで配信されている場合にはライブ視聴番組となる。なお、「配信」には「放送」も含まれる。
＜２．表示画面について＞
　図２は、番組の視聴画面の例を示す図である。
　図２の視聴画面は、携帯端末１をユーザが横向きで持っているときの画面である。ディスプレイ１１の表示領域のうち、上縁と右縁に沿って所定幅の帯状の領域２２Ａ，２２Ｂが形成され、それ以外の横長の領域である表示領域２１全体に番組の映像が表示される。
　表示領域２１の下方には、番組の映像に重ねて、操作パネル３１が表示される。操作パネル３１には、一時停止、早送り、巻き戻し、チャプタの移動などの各種の操作を行うときに操作されるボタンなどが表示される。すなわち、図２の表示領域２１に表示されている番組は録画済み番組である。
　表示領域２１に表示されている番組がライブ視聴番組である場合、操作パネル３１には、チャンネルを切り替えるときに操作されるボタンなどが表示される。
　なお、領域２２Ａは時刻やインジケータなどが表示される領域である。領域２２Ｂは、ホーム画面を表示させるときに操作されるアイコンなどが表示される領域である。
　図３は、番組の視聴画面の他の例を示す図である。
　図３の視聴画面は、携帯端末１をユーザが縦向きで持っているときの画面である。図３の視聴画面の例においては、ディスプレイ１１の略中央に表示領域２１が形成され、その下に操作パネル３１が表示される。領域２２Ａと領域２２Ｂは、それぞれ、ディスプレイ１１の上下の縁に沿って形成される。
　このように、ユーザは、携帯端末１を横向きにした状態でも、縦向きにした状態でも、番組を視聴することができる。
　携帯端末１のOS(Operating System)には、領域２２Ａ，２２Ｂを除く表示領域２１を複数の表示領域に分割し、それぞれの表示領域に異なるアプリケーションの画面を表示させる、いわゆるマルチウインドウ機能が搭載されている。
　携帯端末１の表示モードには、図２，３に示すように１つのアプリケーションの画面を表示させるシングルウインドウモードと、複数のアプリケーションの画面を同時に表示させるマルチウインドウモードが用意されることになる。
　図４は、マルチウインドウモードでの表示例を示す図である。
　図４の例においては、太枠で囲んで示すように、ウインドウＡ１が画面の上方に形成され、ウインドウＡ２が画面の下方に形成されている。ウインドウＡ２は横×縦の画素数の比が16:9の表示領域であり、ウインドウＡ１は残りの縦長長方形の表示領域である。
　また、図４の例においては、ウインドウＡ１には所定のWebページが表示され、ウインドウＡ２には番組の映像が表示されている。ウインドウＡ１の表示はWebブラウザによるものであり、ウインドウＡ２の表示はTV視聴アプリケーションによるものである。
　ウインドウＡ１にWebページが表示されている間も、番組の再生は継続され、ウインドウＡ２には番組の映像が動画として表示され続ける。マルチウインドウモードの設定中、番組の映像には、操作パネル３１が重ねて表示される。
　これにより、ユーザは、ウインドウＡ２で番組を見ながら、ウインドウＡ１にWebページを表示させて調べ物などの作業を行うことができる。なお、Webページの閲覧中、携帯端末１のスピーカからは、ウインドウＡ２の映像の表示に合わせて、番組の音声の出力も続けられている。
　図５に示すように、携帯端末１には、TV視聴アプリケーションとWebブラウザの他に、メール管理アプリケーション、音楽再生アプリケーション、Web動画再生アプリケーションなどの、OS上で動作する各種のアプリケーションがインストールされている。
　ユーザは、Webブラウザによる表示に代えて、他のアプリケーションの画面をウインドウＡ１に表示させることもできる。
　メール管理アプリケーションはメーラーであり、電子メールの送受信を管理する。
　音楽再生アプリケーションは、携帯端末１のメモリに記憶されている音楽データや、インターネットを介して受信した音楽データを再生し、携帯端末１のスピーカから音楽を出力させる。
　Web動画再生アプリケーションは、Web動画（動画コンテンツ）の配信サービスを提供するサーバにアクセスし、ストリーミングにより、またはダウンロードにより取得した動画コンテンツを再生する。再生したWeb動画の映像はディスプレイ１１に表示され、音声はスピーカから出力される。
　図６は、マルチウインドウモードでの他の表示例を示す図である。
　図６のＡの表示形式は、横×縦の画素数の比が16:9の表示領域であるウインドウＡ１を画面の上方に形成し、残りの縦長長方形の表示領域をウインドウＡ２として画面の下方に形成する形式である。図６のＢの表示形式は、領域２２Ａと領域２２Ｂを除く表示領域２１全体を上下に２等分して、ウインドウＡ１とウインドウＡ２を形成する形式である。
　このように、マルチウインドウモードの表示形式には複数種類の形式が用意される。マルチウインドウモードとシングルウインドウモードの表示モードだけでなく、マルチウインドウモード設定時の表示形式もOSにより設定される。
　マルチウインドウモードの表示形式として、図６に示すように複数の表示領域を隙間なく並べる形成だけでなく、隙間を空けて、複数の表示領域を任意の位置に配置する形式が用いられるようにしてもよい。また、１つの表示領域の内側に、それより小さい他の表示領域を配置するいわゆるＰｉｎＰ形式が用いられるようにしてもよい。
　さらに、表示領域の数も２つに限定されるものではなく、３つ以上の表示領域が形成されるようにしてもよい。マルチウインドウモードでの画面表示は、携帯端末１が横向きで用いられているときにも行われる。
　図７は、TV視聴アプリケーションによる番組再生中の表示例を示す図である。
　図７の画面の上方に形成されたウインドウＡ１には、TV視聴アプリケーションの画面として、再生中の番組の映像が表示されている。一方、画面の下方に形成されたウインドウＡ２には、Web動画再生アプリケーションの画面が表示されている。図７の画面の表示形式は、図６のＡに示す表示形式である。
　この状態において、ユーザがウインドウＡ２の表示を操作し、あるWeb動画の再生を開始させた場合、TV視聴アプリケーションによる再生中の番組が録画済み番組であるときには、矢印の先に示すように録画済み番組の再生が一時停止される（pause状態になる）。ウインドウＡ１には、最後に再生された１フレームの映像が静止画として表示された状態となり、音声の出力も停止する。
　ウインドウＡ２には、ユーザが再生を指示したWeb動画の映像が表示され、スピーカからは、映像の表示に合わせて、Web動画の音声が出力される。
　これにより、ユーザは、録画済み番組の視聴を中断して、Web動画を視聴することができる。
　一方、Web動画の再生を開始させた場合において、TV視聴アプリケーションによる再生中の番組がライブ視聴番組であるときには、ライブ視聴番組の再生は継続され、矢印の先に示すように音声がミュートされる。音声は出力されないものの、ウインドウＡ１にはライブ視聴番組の映像が動画として表示され続ける。
　ウインドウＡ２には、ユーザが再生を指示したWeb動画の映像が表示され、スピーカからは、映像の表示に合わせて、Web動画の音声が出力される。
　これにより、ユーザは、ライブ視聴番組の映像を表示させ続けながら、Web動画をも視聴することができる。
　すなわち、音の出力を伴うアプリケーションがTV視聴アプリケーションによる番組の再生中に実行されており、そのアプリケーションが音の出力を開始する場合、再生中の番組が、録画済み番組であるのかライブ視聴番組であるのかに応じて、携帯端末１の挙動が異なることになる。
　Web動画再生アプリケーションは、動画コンテンツの音の出力を伴うアプリケーションである。例えば、TV視聴アプリケーションとともに実行中のアプリケーションが音楽再生アプリケーションである場合も同様である。音楽再生アプリケーションも、音楽コンテンツの音の出力を伴うアプリケーションである。
　番組の再生中に、音楽再生アプリケーションの画面がウインドウＡ２に表示されており、音楽再生アプリケーションにより所定の音楽の再生が開始された場合、再生中の番組が録画済み番組であるときには、録画済み番組の再生が停止される。スピーカからは、録画済み番組の音声に代えて、新たに再生が開始された音楽が出力されることになる。
　一方、再生中の番組がライブ視聴番組であるときには、ライブ視聴番組の音声のみミュートされ、ウインドウＡ１のライブ視聴番組の映像の表示は継続される。スピーカからは、ライブ視聴番組の音声に代えて、新たに再生が開始された音楽が出力されることになる。
　TV視聴アプリケーションとともに実行されているアプリケーションがWebブラウザやメール管理アプリケーションのように音の出力を伴わないアプリケーションである場合は、以上のような制御は行われない。
　このようにTV視聴アプリケーションとともに実行中のアプリケーションが音の出力を伴うものであるのか否か、および、再生中の番組が録画済み番組であるのかライブ視聴番組であるのかに応じて動作を変えることにより、ユーザの意図に適した制御が可能になる。
　すなわち、複数のアプリケーションを同時に起動させている場合、ユーザは、後から操作したアプリケーションの方に、より注目しているものと考えられる。
　後から操作したアプリケーションの方に注目しているといっても、そのアプリケーションが音の出力を伴わないものである場合、音声の出力を含めて番組の再生を続けても、注目しているアプリケーションの操作に影響がないと考えられる。むしろ、音声の出力を含めて番組の再生を続けた方が、番組を視聴しながら作業を行うことができ、ユーザにとって好ましい。
　一方、後から操作したアプリケーションが音の出力を伴うものである場合、ユーザが注目している、そのアプリケーションによる音の出力を優先させるべきである。
　このとき、再生中の番組が録画済み番組である場合、録画してまで視聴しているということを考慮すると、番組を一部も見逃さないで済むことから、番組を視聴することに再び注目するまで、番組の再生を停止させた方が好ましい。また、再生中の番組がライブ視聴番組である場合、番組の雰囲気をつかみ続けることはできるから、音声はミュートさせるものの、映像は表示し続けた方が好ましい。
　以上のようにして停止した録画済み番組の再生は、ユーザが、例えばウインドウＡ１の表示を操作して一時停止の解除を指示したときに再開される。また、ミュートしたライブ視聴番組の音声の出力は、ユーザが、例えばウインドウＡ１の番組の映像をタップしたときに再開される。ユーザが番組の視聴に再度注目したとき、ウインドウＡ２の表示に対して操作を行う前と同じ状態に戻ることになる。
　以上のように、音声の出力が競合する場合に、後の操作を優先するようにして番組の再生を制御する携帯端末１の一連の処理についてはフローチャートを参照して後述する。
＜３．携帯端末の構成例＞
　図８は、携帯端末１のハードウェア構成例を示すブロック図である。
　CPU(Central Processing Unit)１０１、ROM(Read Only Memory)１０２、RAM(Random Access Memory)１０３は、バス１０４により相互に接続されている。
　バス１０４には、さらに、入出力インタフェース１０５が接続される。入出力インタフェース１０５には、ディスプレイ１１の他に、タッチパネル１０６、スピーカ１０７、カメラ１０８、フラッシュメモリ１０９、通信部１１０、およびドライブ１１１が接続される。
　タッチパネル１０６は、ディスプレイ１１の表面に対するユーザの操作を検出し、ユーザの操作の内容を表す情報を出力する。
　スピーカ１０７は、再生中の番組の音声、Web動画の音声、音楽などの各種の音を出力する。
　カメラ１０８は、ユーザの操作に応じて撮影を行い、画像データを出力する。
　フラッシュメモリ１０９は、CPU１０１が実行するプログラム、録画装置２から転送された録画済み番組のデータなどの各種のデータを記憶する。
　通信部１１０は、無線通信のインタフェースである。通信部１１０は、録画装置２や、インターネットを介して接続されるサーバなどの外部の装置と通信を行う。
　ドライブ１１１は、メモリカードなどのリムーバブルメディア１１２を駆動し、リムーバブルメディア１１２に対するデータの書き込み、リムーバブルメディア１１２に記憶されているデータの読み出しを行う。録画装置２による録画済み番組のデータの提供が、リムーバブルメディア１１２を介して行われるようにしてもよい。
　図９は、携帯端末１の機能構成例を示すブロック図である。
　図９に示す機能部のうちの少なくとも一部は、図８のCPU１０１によりTV視聴アプリケーションが実行されることによって実現される。携帯端末１においては、図５に示す各種のプログラムがCPU１０１により実行され、それにより、他の機能部も実現される。
　TV視聴アプリケーションが実行されることにより、携帯端末１においては、制御部１３１、番組データ取得部１３２、再生部１３３、および出力制御部１３４が実現される。再生部１３３は、ビデオデコーダ１４１とオーディオデコーダ１４２から構成される。また、出力制御部１３４は、表示制御部１５１、および音声出力制御部１５２から構成される。
　制御部１３１は、再生部１３３による番組データの再生、表示制御部１５１による番組の映像の表示、および、音声出力制御部１５２による番組の音声の出力をそれぞれ制御する。
　制御部１３１による制御は、例えば、TV視聴アプリケーションとともに実行中の他のアプリケーションの種類（音の出力を伴うアプリケーションであるか否か）に応じて行われる。また、制御部１３１による制御は、他のアプリケーションが音の出力を伴うものである場合に、そのアプリケーションから、音声の出力を開始することの通知を受けたことに応じて行われる。
　番組データ取得部１３２は、再生対象とする番組のデータを取得する。番組データ取得部１３２は、録画済み番組を再生する場合、録画済み番組のデータをフラッシュメモリ１０９やリムーバブルメディア１１２から読み出して取得する。また、番組データ取得部１３２は、ライブ視聴番組を再生する場合、録画装置２から送信されてきたライブ視聴番組のデータを通信部１１０を制御して受信し、取得する。
　番組データ取得部１３２は、録画済み番組またはライブ視聴番組のデータからビデオデータを抽出して再生部１３３のビデオデコーダ１４１に出力し、オーディオデータを抽出してオーディオデコーダ１４２に出力する。
　再生部１３３のビデオデコーダ１４１は、録画済み番組またはライブ視聴番組のビデオデータをデコードし、デコードして得られた番組の映像のデータを表示制御部１５１に出力する。
　オーディオデコーダ１４２は、録画済み番組またはライブ視聴番組のオーディオデータをデコードし、デコードして得られた番組の音声のデータを音声出力制御部１５２に出力する。
　表示制御部１５１は、ビデオデコーダ１４１から供給されたデータに基づいて、番組の映像をディスプレイ１１に表示させる。
　音声出力制御部１５２は、オーディオデコーダ１４２から供給されたデータに基づいて、番組の音声をスピーカ１０７から出力させる。
＜４．携帯端末の動作＞
　次に、図１０のフローチャートを参照して、ディスプレイ１１の表示モードとしてマルチウインドウモードが設定されている場合のTV視聴アプリケーションの動作について説明する。
　ディスプレイ１１の表示モードは、例えばユーザの操作に応じてOSにより設定される。マルチウインドウモードが設定されている場合、TV視聴アプリケーションの他に、他のアプリケーションがCPU１０１により実行される。
　ここでは、TV視聴アプリケーションとともに実行されている他のアプリケーションが、音の出力を伴うアプリケーションであるものとする。
　また、番組データ取得部１３２により番組のデータが取得され、その再生が再生部１３３により行われているものとする。再生中の番組の映像は、表示制御部１５１により、ディスプレイ１１の例えばウインドウＡ１に表示され、番組の音声は、音声出力制御部１５２により、スピーカ１０７から出力される。
　この場合、TV視聴アプリケーションとともに実行中の、音の出力を伴う他のアプリケーションの画面はウインドウＡ２に表示される。TV視聴アプリケーションの画面がウインドウＡ２に表示され、他のアプリケーションの画面がウインドウＡ１に表示されるようにしてもよい。
　ステップＳ１において、制御部１３１は、他のアプリケーションから出力された、音の出力を開始することの通知を受信する。
　例えば、音の出力を伴うアプリケーションであるWeb動画再生アプリケーションからは、ユーザが、所定のWeb動画の再生を開始する操作を行った場合に、そのような通知が出力される。また、音楽再生アプリケーションからは、ユーザが、所定の音楽の再生を開始する操作を行った場合に、そのような通知が出力される。コンテンツを探すための操作などの、音の出力を開始させる操作以外の操作をユーザがウインドウＡ２の表示に対して行っている間は、音の出力を開始することの通知は出力されない。
　ステップＳ２において、制御部１３１は、再生中の番組が録画済み番組であるか否かを判定する。
　再生中の番組が録画済み番組であるとステップＳ２において判定した場合、ステップＳ３において、制御部１３１は、録画済み番組の再生を停止させる。制御部１３１は、ビデオデコーダ１４１にビデオデータのデコードを停止させ、オーディオデコーダ１４２にオーディオデータのデコードを停止させる。表示制御部１５１は、最後に出力した１フレームの映像を静止画としてウインドウＡ１に表示させ続ける。
　録画済み番組の再生が停止されることに応じて、他のアプリケーションは、スピーカ１０７から音を出力させることを開始する。
　ステップＳ４において、制御部１３１は、一時停止の解除（再生開始）が指示された否かを判定する。一時停止の状態は、例えば、ユーザが、TV視聴アプリケーションの画面に表示されている再生ボタンを押したときに解除される。制御部１３１は、一時停止の解除が指示されていないとステップＳ４において判定した場合、ステップＳ３に戻り、録画済み番組の再生を停止させ続ける。
　一方、ステップＳ４において、制御部１３１は、再生ボタンが押されたことから、一時停止の解除が指示されたと判定した場合、ステップＳ５に進み、録画済み番組の再生を再開させる。再生ボタンを押すのではなく、停止中の番組の映像をタップすることにより、一時停止の状態が解除されるようにしてもよい。
　制御部１３１は、ビデオデコーダ１４１にビデオデータのデコードを再開させ、オーディオデコーダ１４２にオーディオデータのデコードを再開させる。表示制御部１５１は、ビデオデコーダ１４１から供給されたデータに基づいて番組の映像を動画としてウインドウＡ１に表示させ、音声出力制御部１５２は、オーディオデコーダ１４２から供給されたデータに基づいて番組の音声をスピーカ１０７から出力させる。その後、処理は終了となる。
　再生中の番組が録画済み番組ではなく、ライブ視聴番組であるとステップＳ２において判定した場合、ステップＳ６において、制御部１３１は、ライブ視聴番組の映像の出力を継続させ、音声をミュートさせる。
　すなわち、制御部１３１は、ビデオデコーダ１４１にビデオデータのデコードを継続させ、表示制御部１５１に、ライブ視聴番組の映像を動画として表示させ続ける。また、制御部１３１は、オーディオデコーダ１４２にオーディオデータのデコードを継続させ、音声出力制御部１５２に音声をミュートさせる（遮断させる）。
　音声がミュートされることに応じて、他のアプリケーションは、スピーカ１０７から音を出力させることを開始する。
　ステップＳ７において、制御部１３１は、TV視聴アプリケーションの画面として表示されている番組の映像がタップされた否かを判定する。制御部１３１は、タップされていないとステップＳ７において判定した場合、ステップＳ６に戻り、ライブ視聴番組の音声のミュートを続ける。
　一方、ステップＳ７において、制御部１３１は、ライブ視聴番組の映像がタップされたと判定した場合、ステップＳ８に進み、音声出力制御部１５２を制御することによって、音声の出力を再開させる。音声出力制御部１５２により、音声のミュートが解除され、スピーカ１０７からは、映像に合わせて、ライブ視聴番組の音声が出力される。その後、処理は終了となる。
　以上の処理により、再生中の番組の音声の出力を、実行中の他のアプリケーションの種類と再生中の番組の種類に応じて適切に制御することができる。
＜５．変形例＞
　以上においては、番組の再生中に、Web動画や音楽の再生が開始された場合に、録画済み番組の再生を停止したり、ライブ視聴番組の音声をミュートしたりするものとしたが、再生を停止したり音声をミュートさせるコンテンツは番組に限られない。
　すなわち、Web動画、音楽、ゲームなどの音声を含むコンテンツの再生中に、番組の再生が開始された場合、コンテンツの再生を停止させたり、コンテンツの音声をミュートさせたりしてもよい。
　他のアプリケーションからの、音の出力を開始することの通知がない場合、複数のアプリケーションの音が同時に出力されるようにしてもよい。
　携帯型の情報処理端末で番組を視聴する場合について説明したが、上述した機能は、番組を視聴するのに用いることが可能な各種の端末に適用可能である。例えば、テレビジョン受像機、録画装置、据え置き型または携帯型のゲーム機、セットトップボックス、パーソナルコンピュータなどの端末に適用することが可能である。
　また、以上においては、記録装置２が携帯端末１のユーザの自宅に設置される装置であるものとしたが、これに限らず、インターネット上のサーバを記録装置２としてもよい。また、サーバから放送される番組がライブ視聴番組ではない場合、いつでも再生できるので、録画済み番組と同様に扱ってもよい。
＜プログラムの例＞
　上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、汎用のパーソナルコンピュータなどにインストールされる。
　インストールされるプログラムは、半導体メモリなどよりなる図８に示されるリムーバブルメディア１１２に記録して提供される。また、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供されるようにしてもよい。プログラムは、ROM１０２やフラッシュメモリ１０９に、あらかじめインストールしておくことができる。
　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
　なお、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
＜構成の組み合わせ例＞
　本技術は、以下のような構成をとることもできる。
（１）
　映像と音声を含むコンテンツを再生する再生部と、
　ディスプレイの表示モードとして、前記コンテンツの再生を管理する第１のアプリケーションを含む、実行中の複数のアプリケーションの画面をそれぞれ異なる表示領域に同時に表示するモードが設定され、再生中の前記コンテンツの映像を第１の表示領域に表示させるとともに、第２のアプリケーションの画面を第２の表示領域に表示させている場合において、前記第２のアプリケーションによる音の出力が開始されるとき、再生中の前記コンテンツが、記録済みのコンテンツであるときには前記コンテンツの再生を停止させ、ライブ視聴のコンテンツであるときには、前記コンテンツの再生を継続させる再生制御部と、
　再生が継続された前記コンテンツの映像を前記第１の表示領域に表示させ続け、音声をミュートさせる出力制御部と
　を備える情報処理端末。
（２）
　前記再生制御部は、前記第２のアプリケーションが音の出力を伴わないアプリケーションであり、ユーザが前記第２のアプリケーションの操作を行った場合、再生中の前記コンテンツが記録済みのコンテンツであるときであっても、前記コンテンツの再生を継続させる
　前記（１）に記載の情報処理端末。
（３）
　前記再生制御部は、記録済みの前記コンテンツの再生を停止している場合において、前記第１の表示領域に対する操作が行われたとき、記録済みの前記コンテンツの再生を再開し、
　前記出力制御部は、再生が再開された前記コンテンツの映像の表示と音声の出力を再開させる
　前記（１）または（２）に記載の情報処理端末。
（４）
　前記出力制御部は、記録済みの前記コンテンツの再生が停止されている間、再生が停止される前の１フレームの映像を、静止画として前記第１の表示領域に表示させ続ける
　前記（１）乃至（３）のいずれかに記載の情報処理端末。
（５）
　前記出力制御部は、ライブ試聴の前記コンテンツの音声をミュートさせている場合において、前記第１の表示領域に対する操作が行われたとき、音声の出力を再開させる
　前記（１）乃至（４）のいずれかに記載の情報処理端末。
（６）
　映像と音声を含むコンテンツを再生し、
　ディスプレイの表示モードとして、前記コンテンツの再生を管理する第１のアプリケーションを含む、実行中の複数のアプリケーションの画面をそれぞれ異なる表示領域に同時に表示するモードが設定され、再生中の前記コンテンツの映像を第１の表示領域に表示させるとともに、第２のアプリケーションの画面を第２の表示領域に表示させている場合において、前記第２のアプリケーションによる音の出力が開始されるとき、再生中の前記コンテンツが、記録済みのコンテンツであるときには前記コンテンツの再生を停止させ、
　ライブ視聴のコンテンツであるときには、前記コンテンツの再生を継続させ、
　再生が継続された前記コンテンツの映像を前記第１の表示領域に表示させ続け、音声をミュートさせる
　ステップを含む情報処理方法。
（７）
　映像と音声を含むコンテンツを再生し、
　ディスプレイの表示モードとして、前記コンテンツの再生を管理する第１のアプリケーションを含む、実行中の複数のアプリケーションの画面をそれぞれ異なる表示領域に同時に表示するモードが設定され、再生中の前記コンテンツの映像を第１の表示領域に表示させるとともに、第２のアプリケーションの画面を第２の表示領域に表示させている場合において、前記第２のアプリケーションによる音の出力が開始されるとき、再生中の前記コンテンツが、記録済みのコンテンツであるときには前記コンテンツの再生を停止させ、
　ライブ視聴のコンテンツであるときには、前記コンテンツの再生を継続させ、
　再生が継続された前記コンテンツの映像を前記第１の表示領域に表示させ続け、音声をミュートさせる
　ステップを含む処理をコンピュータに実行させるプログラム。
　１　情報処理端末，　２　録画装置，　１３１　制御部，　１３２　番組データ取得部，　１３３　再生部,　１３４　出力制御部，　１４１　ビデオデコーダ,　１４２　オーディオデコーダ，　１５１　表示制御部，　１５２　音声出力制御部

Claims (7)

  1. 　映像と音声を含むコンテンツを再生する再生部と、
    　ディスプレイの表示モードとして、前記コンテンツの再生を管理する第１のアプリケーションを含む、実行中の複数のアプリケーションの画面をそれぞれ異なる表示領域に同時に表示するモードが設定され、再生中の前記コンテンツの映像を第１の表示領域に表示させるとともに、第２のアプリケーションの画面を第２の表示領域に表示させている場合において、前記第２のアプリケーションによる音の出力が開始されるとき、再生中の前記コンテンツが、記録済みのコンテンツであるときには前記コンテンツの再生を停止させ、ライブ視聴のコンテンツであるときには、前記コンテンツの再生を継続させる再生制御部と、
    　再生が継続された前記コンテンツの映像を前記第１の表示領域に表示させ続け、音声をミュートさせる出力制御部と
    　を備える情報処理端末。
  2. 　前記再生制御部は、前記第２のアプリケーションが音の出力を伴わないアプリケーションであり、ユーザが前記第２のアプリケーションの操作を行った場合、再生中の前記コンテンツが記録済みのコンテンツであるときであっても、前記コンテンツの再生を継続させる
    　請求項１に記載の情報処理端末。
  3. 　前記再生制御部は、記録済みの前記コンテンツの再生を停止している場合において、前記第１の表示領域に対する操作が行われたとき、記録済みの前記コンテンツの再生を再開し、
    　前記出力制御部は、再生が再開された前記コンテンツの映像の表示と音声の出力を再開させる
    　請求項１に記載の情報処理端末。
  4. 　前記出力制御部は、記録済みの前記コンテンツの再生が停止されている間、再生が停止される前の１フレームの映像を、静止画として前記第１の表示領域に表示させ続ける
    　請求項１に記載の情報処理端末。
  5. 　前記出力制御部は、ライブ試聴の前記コンテンツの音声をミュートさせている場合において、前記第１の表示領域に対する操作が行われたとき、音声の出力を再開させる
    　請求項１に記載の情報処理端末。
  6. 　映像と音声を含むコンテンツを再生し、
    　ディスプレイの表示モードとして、前記コンテンツの再生を管理する第１のアプリケーションを含む、実行中の複数のアプリケーションの画面をそれぞれ異なる表示領域に同時に表示するモードが設定され、再生中の前記コンテンツの映像を第１の表示領域に表示させるとともに、第２のアプリケーションの画面を第２の表示領域に表示させている場合において、前記第２のアプリケーションによる音の出力が開始されるとき、再生中の前記コンテンツが、記録済みのコンテンツであるときには前記コンテンツの再生を停止させ、
    　ライブ視聴のコンテンツであるときには、前記コンテンツの再生を継続させ、
    　再生が継続された前記コンテンツの映像を前記第１の表示領域に表示させ続け、音声をミュートさせる
    　ステップを含む情報処理方法。
  7. 　映像と音声を含むコンテンツを再生し、
    　ディスプレイの表示モードとして、前記コンテンツの再生を管理する第１のアプリケーションを含む、実行中の複数のアプリケーションの画面をそれぞれ異なる表示領域に同時に表示するモードが設定され、再生中の前記コンテンツの映像を第１の表示領域に表示させるとともに、第２のアプリケーションの画面を第２の表示領域に表示させている場合において、前記第２のアプリケーションによる音の出力が開始されるとき、再生中の前記コンテンツが、記録済みのコンテンツであるときには前記コンテンツの再生を停止させ、
    　ライブ視聴のコンテンツであるときには、前記コンテンツの再生を継続させ、
    　再生が継続された前記コンテンツの映像を前記第１の表示領域に表示させ続け、音声をミュートさせる
    　ステップを含む処理をコンピュータに実行させるプログラム。
PCT/JP2017/033526 2016-09-29 2017-09-15 情報処理端末、情報処理方法、およびプログラム WO2018061836A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US16/331,365 US10869098B2 (en) 2016-09-29 2017-09-15 Information processing terminal, information processing method and program
JP2018542402A JP6954914B2 (ja) 2016-09-29 2017-09-15 情報処理端末、情報処理方法、およびプログラム
EP17855792.2A EP3522549B1 (en) 2016-09-29 2017-09-15 Information processing terminal, information processing method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-190719 2016-09-29
JP2016190719 2016-09-29

Publications (1)

Publication Number Publication Date
WO2018061836A1 true WO2018061836A1 (ja) 2018-04-05

Family

ID=61759557

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/033526 WO2018061836A1 (ja) 2016-09-29 2017-09-15 情報処理端末、情報処理方法、およびプログラム

Country Status (4)

Country Link
US (1) US10869098B2 (ja)
EP (1) EP3522549B1 (ja)
JP (1) JP6954914B2 (ja)
WO (1) WO2018061836A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021121398A1 (zh) * 2019-12-19 2021-06-24 维沃移动通信有限公司 一种视频录制方法及电子设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009177595A (ja) * 2008-01-25 2009-08-06 Sharp Corp 携帯型の情報処理端末、当該端末を制御するための制御方法、および当該端末を制御するためのプログラム
JP2016001787A (ja) * 2014-06-11 2016-01-07 日立マクセル株式会社 情報表示装置および情報表示方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8495679B2 (en) * 2000-06-30 2013-07-23 Thomson Licensing Method and apparatus for delivery of television programs and targeted de-coupled advertising
JP5884348B2 (ja) 2011-09-13 2016-03-15 ソニー株式会社 情報処理装置およびコンピュータプログラム
US20140282730A1 (en) * 2013-03-14 2014-09-18 Echostar Technologies L.L.C. Video preview window for an electronic program guide rendered by a video services receiver
KR102063075B1 (ko) * 2013-06-28 2020-01-07 엘지전자 주식회사 서비스 시스템, 디지털 기기 및 그 서비스 처리 방법
KR20160060846A (ko) * 2014-11-20 2016-05-31 삼성전자주식회사 디스플레이 장치 및 디스플레이 방법
US10674210B2 (en) * 2015-01-19 2020-06-02 Matthew Berman System and methods for facile, instant, and minimally disruptive playback of media files
US10284902B2 (en) * 2015-09-18 2019-05-07 Samsung Electronics Co., Ltd. Apparatus and method for playing back multimedia content

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009177595A (ja) * 2008-01-25 2009-08-06 Sharp Corp 携帯型の情報処理端末、当該端末を制御するための制御方法、および当該端末を制御するためのプログラム
JP2016001787A (ja) * 2014-06-11 2016-01-07 日立マクセル株式会社 情報表示装置および情報表示方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021121398A1 (zh) * 2019-12-19 2021-06-24 维沃移动通信有限公司 一种视频录制方法及电子设备

Also Published As

Publication number Publication date
EP3522549A1 (en) 2019-08-07
JP6954914B2 (ja) 2021-10-27
EP3522549B1 (en) 2021-12-01
US10869098B2 (en) 2020-12-15
US20190364342A1 (en) 2019-11-28
JPWO2018061836A1 (ja) 2019-07-11
EP3522549A4 (en) 2019-08-07

Similar Documents

Publication Publication Date Title
WO2017173793A1 (zh) 一种视频投屏方法及装置
WO2017181594A1 (zh) 一种视频显示方法及装置
JP2007510230A (ja) ユーザー指定情報を用いたメディアコンテンツの注釈付け
JP2009070261A (ja) 表示制御装置及び方法、並びにプログラム
JP2011015084A (ja) 番組記録装置および番組記録方法
US8813084B2 (en) Broadcast receiving apparatus and scheduling method thereof
US11589113B2 (en) Smart start-up of television
TWI571114B (zh) 網路媒體節目重啟
JP2019504517A (ja) ビデオをバッファリングしている間にコンテンツアイテムを提示するための方法、システム、および媒体
US7921449B2 (en) Smooth still image capture
WO2017181595A1 (zh) 一种视频显示方法及装置
WO2017181603A1 (zh) 一种视频显示方法及装置
KR101311463B1 (ko) 원격 영상정보 제공시스템
JP6954914B2 (ja) 情報処理端末、情報処理方法、およびプログラム
US9473757B2 (en) Presentation of a multi-frame segment of video content
KR20230029438A (ko) 디스플레이 장치 및 디스플레이 장치의 제어 방법
US11778275B2 (en) Information processing terminal, information processing method, and program
US11582514B2 (en) Source apparatus and control method therefor
US20240015364A1 (en) Information processing terminal, information processing method, and program
JP6647131B2 (ja) 配信装置及びプログラム
US20220232297A1 (en) Multi-media processing system for live stream and multi-media processing method for live stream
KR20100047764A (ko) 텔레비전의 피벗 기능을 이용한 주화면 및 부화면 출력 제어 장치 및 방법
WO2013137048A1 (ja) 情報処理方法、情報処理装置、および情報処理システム
CN117714779A (zh) 音频管理方法、交互平板及计算机可读存储介质
JP2010041220A (ja) データ処理装置、データ処理方法、及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17855792

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018542402

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2017855792

Country of ref document: EP

Effective date: 20190429