WO2019176590A1 - 情報処理装置、情報処理装置およびプログラム - Google Patents

情報処理装置、情報処理装置およびプログラム Download PDF

Info

Publication number
WO2019176590A1
WO2019176590A1 PCT/JP2019/008140 JP2019008140W WO2019176590A1 WO 2019176590 A1 WO2019176590 A1 WO 2019176590A1 JP 2019008140 W JP2019008140 W JP 2019008140W WO 2019176590 A1 WO2019176590 A1 WO 2019176590A1
Authority
WO
WIPO (PCT)
Prior art keywords
information processing
metadata
user
service
processing apparatus
Prior art date
Application number
PCT/JP2019/008140
Other languages
English (en)
French (fr)
Inventor
山岸　靖明
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to EP19767400.5A priority Critical patent/EP3767964A1/en
Priority to CN201980018039.7A priority patent/CN111837401B/zh
Priority to KR1020207024913A priority patent/KR102659489B1/ko
Priority to US16/975,286 priority patent/US11689776B2/en
Priority to JP2020506396A priority patent/JP7237927B2/ja
Publication of WO2019176590A1 publication Critical patent/WO2019176590A1/ja
Priority to US18/313,259 priority patent/US20230276105A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/005—Reproducing at a different information rate from the information rate of recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42203—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43074—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of additional data with content streams on the same device, e.g. of EPG data or interactive icon with a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H04N21/4882—Data services, e.g. news ticker for displaying messages, e.g. warnings, reminders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8126—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8166—Monomedia components thereof involving executable data, e.g. software
    • H04N21/8173—End-user applications, e.g. Web browser, game
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command

Definitions

  • the present technology relates to an information processing apparatus, an information processing apparatus, and a program that perform information processing for receiving and reproducing moving image content including video, and in particular, the moving image content is an audio-based information service for a user of the information processing device.
  • the present invention relates to an information processing apparatus, an information processing method, and a program that are suitable for a case of cooperating with a computer.
  • voice AI assistant services have become widespread. This is because the terminal corresponding to the service picks up the voice request issued by the user of the information processing device, recognizes it, analyzes the data, executes the service according to the user's request, This is an information service that responds to the result of execution by voice or the like (for example, see Patent Document 1).
  • Alexa registered trademark
  • AmazonAEcho registered trademark
  • the present inventors have studied a mechanism for using the voice AI assistant service as described above as a means for collecting information on a person or an article appearing in a video in an environment for reproducing moving image content including the video. Yes. For example, if the viewer user wants to know various things such as the role of the person appearing in the video content, the relationship with other characters, and the profile of the actor who plays the person, Information can be provided in real time from the AI assistant service.
  • the voice AI assistant service when the voice AI assistant service is actually used as a means for collecting information on a person or an article appearing in the video in an environment where video content including the video is reproduced, the characteristics of the voice AI assistant service are utilized. There are a lot of problems to be solved, such as a suitable usage is not yet established.
  • an object of the present technology is to provide an information processing apparatus, an information processing apparatus, and a program that can use the voice AI assistant service by taking advantage of the characteristics when viewing the reproduced video.
  • an information processing apparatus includes a media playback unit that acquires and plays back video data including a service target that can use a service that processes a voice request from a user; A control unit for adding an additional image for teaching the user of the service object to the reproduced video.
  • the additional image may have a unique visual feature for each service object so that the service object can be uniquely identified by voice recognition in the service.
  • the additional image may be presented at a position associated with the service object.
  • the control unit may be configured to limit the service object to which the additional image is added according to the user or the attribute of the user.
  • the control unit may be configured to skip and reproduce a video during a period in which the service object to which the additional image is added according to the user or the attribute of the user appears.
  • the control unit reproduces a video of a period in which the service object to which the additional image is added according to the user or the attribute of the user appears at a first double speed, and a period in which the service object does not appear.
  • the video may be configured to be played back at a second speed higher than the first double speed.
  • the control unit may be configured to acquire metadata for generating the additional information and add the additional information based on the acquired metadata.
  • the control unit obtains an MPD file including the AdaptationSet of the metadata, analyzes the MPD file, obtains the video data and the metadata as MPEG-DASH Media Segments,
  • the additional image based on the metadata may be configured to be presented in synchronization with each other.
  • the control unit determines whether or not there is a change in the contents of the front side metadata and the rear side metadata that are temporally changed.
  • the additional image added to the video based on the data may be added to the video synchronized with the rear metadata as an additional image based on the rear metadata.
  • the visual feature of the additional image may be given by any one of a character string, a color, a shape, or an icon related to the service object.
  • an information processing method acquires and reproduces video data including a service target that can use a service that processes a voice request from a user, and adds the service target to the reproduced video. This includes a procedure of adding an additional image for teaching an object to the user.
  • the program when the program reproduces video data including a service target that can use a service that processes a voice request from a user, the service target is added to the reproduced video.
  • the voice AI assistant service can be utilized by taking advantage of its characteristics when viewing the playback video.
  • FIG. 1 is a block diagram illustrating an overall configuration of an information processing system 100 including the information processing apparatus 4 according to the first embodiment of the present technology.
  • FIG. 2 is a sequence diagram showing an overall operation flow (part 1) in the information processing system 100 of FIG. 1.
  • FIG. 7 is a sequence diagram showing a flow (2) of the overall operation in the information processing system 100 of FIG. 1.
  • FIG. 8 is a sequence diagram showing a flow (3) of the overall operation in the information processing system 100 of FIG. 1.
  • FIG. 10 is a sequence diagram illustrating an overall operation flow (No. 3) including additional image presentation restriction in the information processing system 100 of FIG. 1. It is a figure explaining trick play reproduction based on POI metadata. It is a figure which shows the example of the application execution environment 43 which processes POI metadata. It is a figure which shows the other example of the application execution environment 43 which processes POI metadata. It is a figure which shows the example of Multi-part MIME format which packages a web application and POI metadata It is a figure which shows the structure of Media Segment in the format of MP4 file. It is a figure which shows the data structure of MPD of MPEG-DASH.
  • FIG. 3 is a diagram showing exchanges between the MPEG-DASH server 15 and the information processing apparatus 4 through network communication.
  • the information processing apparatus 4 of this embodiment is An AV decoder 41 that acquires and reproduces video data including a service object that can use a voice AI assistant service that processes a voice request from a user; An application execution environment 43 for adding an additional image for teaching the user of the service object to the reproduced video.
  • the information processing apparatus 4 of the present embodiment has an effect that the service object of the voice AI assistant service can be discriminated at a glance in the reproduced video, and there is no confusion when selecting the service object.
  • FIG. 1 is a block diagram illustrating an overall configuration of an information processing system 100 including the information processing apparatus 4 according to the first embodiment of the present technology.
  • the information processing system 100 includes a server group 1, a broadcast / net distribution system 2, a voice AI assistant service terminal 3, and a user information processing device 4.
  • the server group 1 includes a moving image content server 11, an application server 12, a POI metadata server 13, and a voice AI assistant service program server 14.
  • the video content server 11 stores video content data such as commercials and programs.
  • the data of the moving image content may be multimedia data composed of a plurality of types of media data such as video, audio, and subtitles.
  • the present technology is particularly applicable to video data, and it does not matter whether there is other media data such as audio and subtitles.
  • the POI metadata server 13 directly distributes POI metadata corresponding to the moving image content to the information processing apparatus 4 through the broadcast / net distribution system 2.
  • the moving image content server 11 collects at least moving image content data and POI metadata in a predetermined data structure and distributes them to the information processing apparatus 4
  • the POI metadata server 13 broadcasts / distributes POI metadata. This is supplied to the moving image content server 11 through the system 2.
  • the POI metadata will be described later.
  • the application server 12 directly distributes an application for executing processing based on POI metadata in the information processing apparatus 4 to the information processing apparatus 4 through the broadcast / net distribution system 2.
  • the application server 12 transmits the application through the broadcast / net distribution system 2. Supplied to the content server 11.
  • the voice AI assistant service program server 14 supplies the voice AI assistant service program to the voice AI assistant service terminal 3 through the broadcast / net distribution system 2.
  • the voice AI assistant service program is configured to generate a service execution result for a service request given from a user U who is a viewer of the video content for a service target such as a specific person or article appearing in the video content. It is a program.
  • the broadcast / net distribution system 2 broadcasts or network communication data of moving image content, a data structure of moving image content data and POI metadata, or a data structure of moving image content data, POI metadata and an application. This is a system that distributes to the information processing apparatus 4.
  • the broadcast / net distribution system 2 also transfers data between the video content server 11, the application server 12, and the POI metadata server 13, and further between the voice AI assistant service program server 14 and the voice AI assistant service terminal 3. It is also used for data transfer.
  • the information processing apparatus 4 includes, as hardware elements, a CPU (Central Processing Unit), a main memory such as a RAM (Random Access Memory), a storage device such as an HDD (Hard Disk Drive), and an SSD (Solid State Drive).
  • a user interface, a broadcast receiving unit such as an antenna and a broadcast tuner, and a communication interface such as a network interface are provided.
  • the information processing apparatus 4 may be a personal computer, a smart phone, a tablet terminal, a television, a game machine, a user-mountable information terminal such as an HMD (Head Mounted Display), or the like.
  • HMD Head Mounted Display
  • the information processing apparatus 4 includes an AV decoder 41, a POI metadata processing module 42, an application execution environment 43, and a renderer 44 as functional elements realized by the hardware elements and software elements described above.
  • the information processing apparatus 4 includes a display 45 and a speaker 46 as a user interface. Further, the information processing apparatus 4 may include a user discrimination module 47 as a functional element.
  • the AV decoder 41 decodes the multimedia data (video data, audio data, etc.) of the moving image content acquired from the moving image content server 11 through the broadcast / net distribution system 2.
  • the POI metadata processing module 42 supplies the POI metadata acquired from the video content server 11 or the POI metadata server 13 to the application execution environment 43 through the broadcast / net distribution system 2.
  • POI metadata refers to an additional image that teaches a user U of the information processing apparatus 4 to a video that is being reproduced in the information processing apparatus 4 and a specific service object to which the voice AI assistant service is assigned in the video. This is metadata for adding. POI is an abbreviation for Point of Interest.
  • the “specific service object” is a character, an article, or the like that is capable of responding to the service request from the user U by the voice AI assistant service in the video.
  • the application execution environment 43 is an environment in which a native application or a web application is executed using a CPU and a main memory.
  • the application execution environment 43 generates an additional image to be added to the service object in the video based on the POI metadata given from the POI metadata processing module 42.
  • the “additional image” is generated, for example, as a “speech balloon” so that the relationship with the service object in the video can be easily understood.
  • the present technology is not limited to this, and may be any image that can easily understand the relationship with the service target in the video.
  • the renderer 44 generates a display signal to be output to the display 45 from the video data decoded by the AV decoder 41, and outputs the audio data decoded by the AV decoder 41 to the speaker 46. Further, when an additional image is supplied from the application execution environment 43, the renderer 44 synthesizes the additional image on the program video.
  • Display 45 presents video to user U.
  • the speaker 46 presents voice to the user U.
  • the voice AI assistant service terminal 3 is a terminal that provides a voice assistant service to the user U of the information processing apparatus 4. More specifically, the voice AI assistant service terminal 3 receives a voice service request for an arbitrary service object from the user U in the video, executes the service, and sends the service execution result to the user U. It is a device that can be returned with.
  • the service request by voice from the user U is given by words such as a question format, and the execution result of the service is returned to the user U by synthesized voice such as an answer format.
  • the voice AI assistant service terminal 3 includes a microphone 31 for assistant service, a voice recognition module 32, a speaker 33 for voice AI assistant service, a voice generation module 34, and a voice AI assistant service program execution environment 35.
  • the assistant service microphone 31 captures a voice service request from the user U of the information processing apparatus 4.
  • the voice recognition module 32 recognizes the service request voice captured by the assistant service microphone 31 and passes the request data to the voice AI assistant service program execution environment 35.
  • the voice AI assistant service program execution environment 35 is an environment in which the voice AI assistant service program acquired from the voice AI assistant service program server 14 is executed.
  • the voice AI assistant service program execution environment 35 generates service execution result data for the request data supplied from the voice recognition module 32 and supplies it to the voice generation module 34.
  • the voice generation module 34 converts the data of the service execution result supplied from the voice AI assistant service program execution environment 35 into synthesized voice.
  • the speaker 33 for the assistant service presents the synthesized voice supplied from the voice generation module 34 to the user U of the information processing apparatus 4.
  • FIG. 2 is a sequence diagram showing an overall operation flow (part 1) in the information processing system 100 according to the present embodiment.
  • moving image content data, application, and POI metadata are distributed from different servers (moving image content server 11, application server 12, and POI metadata server 13).
  • an application is distributed from the application server 12 to the information processing apparatus 4 through the broadcast / net distribution system 2 (step S101). Further, the moving image content data is distributed from the moving image content server 11 to the information processing device 4 through the broadcast / net distribution system 2 (step S102).
  • the received video content data is decoded by the AV decoder 41, and the resulting video data and audio data are supplied to the display 45 and the speaker 46 through the renderer 44 (step S103).
  • step S104 the application distributed from the application server 12 to the information processing apparatus 4 is introduced into the application execution environment 43, and the application is executed (step S104).
  • POI metadata corresponding to the moving image content is distributed from the POI metadata server 13 to the information processing apparatus 4 through the broadcast / net distribution system 2 (step S105).
  • the POI metadata is supplied to the application execution environment 43 by the POI metadata processing module 42.
  • the application execution environment 43 Based on the POI metadata, the application execution environment 43 generates an additional image that teaches the service object in the video to the user U, and supplies it to the renderer 44.
  • a composite image in which the additional image is superimposed on the video of the program is obtained and displayed on the display 45 (step S106).
  • the user U gives a voice service request to the voice AI assistant service terminal 3 for the service object on which the additional image is presented in the video displayed on the display 45, and uses the voice AI assistant service (step). S107).
  • FIG. 3 is a sequence diagram showing an overall operation flow (part 2) in the information processing system 100 of the present embodiment.
  • the moving image content data and the POI metadata are distributed from different servers (moving image content server 11 and POI metadata server 13) to the information processing device 4, so that the information processing device 4, synchronization between the moving image content data and the POI metadata is not guaranteed.
  • step S201 the moving image content server 11 collects POI metadata and moving image content data in a predetermined data structure and distributes them to the information processing apparatus 4 through the broadcast / net distribution system 2 (step S203).
  • the moving image content data is extracted from the received data structure, the extracted moving image content data is decoded by the AV decoder 41, and the resulting video data and audio data are displayed through the renderer 44. 45 and the speaker 46 (step S204).
  • POI metadata is extracted from the received data structure by the POI metadata processing module 42 (step S205) and supplied to the application execution environment 43.
  • the application execution environment 43 Based on the POI metadata, the application execution environment 43 generates an additional image that teaches the service object in the video to the user U, and supplies it to the renderer 44. As a result, a composite image in which the additional image is superimposed on the video of the program is obtained and displayed on the display 45 (step S207).
  • the user U gives a voice service request to the voice AI assistant service terminal 3 for the service object on which the additional image is presented in the video displayed on the display 45, and uses the voice AI assistant service (step). S208).
  • the POI metadata and the moving image content data are collected into a predetermined data structure and distributed from the moving image content server 11 to the information processing device 4, whereby the moving image content data and the POI metadata are Can be processed synchronously with each other. For this reason, a correct additional image can always be added to the service target in the video of the program, and a stable voice AI assistant service can be maintained.
  • Step S202 the application is distributed from the application server 12 to the information processing apparatus 4 through the broadcast / net distribution system 2 (step S202), and introduced into the application execution environment 43 to execute the application.
  • Step S206 is the same as the above-described operation flow (No. 1).
  • FIG. 4 is a sequence diagram showing an overall operation flow (part 3) in the information processing system 100 of the present embodiment. In this flow of operation, it is assumed that moving image content data, POI metadata, and an application for processing the moving image content server 11 are distributed to the information processing apparatus 4 in a predetermined data structure.
  • POI metadata is supplied from the POI metadata server 13 to the video content server 11 (step S301). Further, an application is supplied from the application server 12 to the moving image content server 11 (step S302). The order of supply of POI metadata and application may be reversed. Subsequently, the moving image content server 11 collects the moving image content data, the POI metadata, and the application in a predetermined data structure and distributes them to the information processing apparatus 4 through the broadcast / net distribution system 2 (step S303).
  • the moving image content data is extracted from the received data structure, the extracted moving image content data is decoded by the AV decoder 41, and the resulting video data and audio data are displayed through the renderer 44. 45 and the speaker 46 (step S304).
  • an application is extracted from the received data structure (step S305), introduced into the application execution environment 43 and executed (step S306).
  • POI metadata is extracted from the received data structure by the POI metadata processing module 42 (step S307) and supplied to the application execution environment 43.
  • the application execution environment 43 Based on the POI metadata, the application execution environment 43 generates an additional image that teaches the service object in the video to the user U, and supplies it to the renderer 44. As a result, a composite image in which the additional image is superimposed on the program video is obtained and displayed on the display 45 (step S308).
  • the user U gives a voice service request to the voice AI assistant service terminal 3 for the service object on which the additional image is presented in the video displayed on the display 45, and uses the voice AI assistant service (step). S309).
  • FIG. 5 is a diagram illustrating an example of a video on which an additional image is superimposed.
  • the additional image may be presented, for example, as balloons 51, 52, and 53 associated with service objects J1, J2, and J3 of the voice AI assistant service in the video, respectively.
  • the service objects J1, J2, and J3 are voice AI assistant service terminals 3.
  • Unique visual features are given to each of the service objects J1, J2, J3 so that they can be uniquely identified by voice recognition. Thereby, the user U can give a service request for the service object to the voice AI assistant service terminal 3 using the voice expressing the characteristics of an arbitrary service object.
  • the character strings of the names of the characters that are service objects J1, J2, and J3 such as “Bill”, “Fred”, and “Lucy” in the balloons 51, 52, and 53 are visual features. Is displayed.
  • the user U uses a name of an arbitrary service object such as “What is Fred's recent news?” And “How old is Bill?” To make a voice request to the service U for the service object. It can be given to the assistant service terminal 3 by voice.
  • the voice AI assistant service terminal 3 can identify the service object from the name recognized by the voice recognition module 32, and the voice AI assistant service program of the voice AI assistant service program execution environment 35 is identified for the identified service object.
  • the voice AI assistant service can be executed as follows.
  • the visual features unique to each service object placed in the balloons 51, 52, and 53 include various modifications such as a character string of the name of the character, icons, balloon colors, and balloon designs. Conceivable.
  • an additional image that teaches the user U that this is a service object is generated on the service object of the voice AI assistant service in the video content video, and the video is displayed on the video content video. Since they are presented in a superimposed manner, the user U can uniquely determine the service object from the video and make a service request for any service object. Thereby, a useless operation of giving a service request for an object other than the service target from the user U to the voice AI assistant service terminal 3 can be avoided, and the voice AI assistant service can be used satisfactorily.
  • the service object can be uniquely recognized by voice recognition at the voice AI assistant service terminal 3
  • the user U can arbitrarily select the additional image by giving a unique visual feature for each service object.
  • a service request for the service object can be given to the voice AI assistant service terminal 3 by voice.
  • the user U is not confused as to how to express the service object and notify the voice AI assistant service, and the service object is surely specified in the voice AI assistant service terminal 3.
  • Voice AI assistant service is realized.
  • FIG. 6 is a block diagram showing the configuration of POI metadata.
  • the POI metadata includes a POI icon image, a POI presentation color, a POI presentation position, a POI presentation text, and POI filtering information.
  • the POI icon image is an icon file entity or a reference URL (Uniform Resource Locator) used to present an icon as a visual feature of a service target unit in an additional image.
  • the XML (Extensible Markup Language) representation of the POI icon image is shown below.
  • ⁇ POIIcon iconPng 'true'>... (base64 encoded png file)... ⁇ / POIIcon>
  • ⁇ POIIcon iconPngURL 'true'> http: //... (URL of icon png file)... ⁇ / POIIcon>
  • the POI presentation color is used when a visual feature by color is given to the additional image.
  • CSS CSS
  • the XML representation of the POI presentation color is shown below. ⁇ POIColor> ... (CSS color code) ... ⁇ / POIColor>
  • the POI presentation position is the URI (Uniform Resource Identifier) of the target content for presenting the additional image, the URI of the application that performs the process of presenting the additional image based on the POI metadata, the presentation time of the additional image, the presentation position of the additional image, etc. Contains information.
  • the XML representation of the POI presentation position is shown below.
  • ⁇ POITargetContentID URL 'http: //a.com/Program A.MPD'/>
  • ⁇ POIApplication URL 'http: //a.com/POI presentation app for program A.html (URL of POI presentation app)'/>
  • the POI presentation text is a character string presented on the additional image in order to give a visual feature by characters to the additional image.
  • the XML representation of the POI presentation text is shown below. ⁇ POIText>... (Presentation string)... ⁇ / POIText>
  • POI filtering information is used when presentation restriction is performed according to the user or user attribute of the additional image.
  • the POI filtering information is information for specifying the target user U to present the additional image, and includes the user demographic class identification name and arbitrary user identification information.
  • the user demographic class is a class that classifies the user U on the basis of attributes such as the user's gender, age, area of residence, occupation, educational background, family composition, and the like. Uniquely identified.
  • the arbitrary user identification information is user identification information such as an account name of a broadcasting station related service, for example.
  • An XML representation of arbitrary user identification information is shown below.
  • ⁇ POITargetUser privateAccount 'true'> https: //... (Service user account identification URL etc.)... ⁇ / POITargetUser>
  • the POI icon image, the POI presentation color, and the POI presentation text may be defined.
  • the POI filtering information is defined when introducing additional information presentation restrictions, which will be described later.
  • the additional image is presented to the service object of the voice AI assistant service in the video content.
  • additional images 51-55 corresponding to the number of service objects J1-J5 are presented. Therefore, a part of the program video may be hidden by these additional images 51-55, and the appearance of the program video may be impaired.
  • FIG. 9 is a sequence diagram showing a flow of an operation including the presentation restriction of the additional image.
  • the operations in steps S401 to S405 are the same as steps S101 to S105 in the operation flow (part 1) shown in FIG.
  • the user determination module 47 of the information processing apparatus 4 determines the user demographic class or the user identification information of the user U (step S406).
  • the determined user demographic class or user identification information of the user U is notified to the application execution environment 43 (step S407).
  • the user demographic class is a class that classifies users based on various attributes such as the user's gender, age, area of residence, occupation, educational background, and family composition. For example, if you can statistically say that a 20-year-old male is more interested in a recently popular new actress, the user demographic class for a 20-year-old male It matches the user demographic class defined in the POI metadata for the character (service object) to perform.
  • a method for determining the user demographic class or the user identification information of the user U by the user determination module 47 is as follows. 1.
  • the user determination module 47 estimates attributes such as the sex and age group of the user U from the analysis result of the user U's face image captured by the camera, and determines the user demographic class from the estimated attributes. 2.
  • the user discriminating module 47 estimates the attribute of the user U based on information obtained through a voice question from the voice AI assistant service terminal 3 to the user U, and discriminates the user demographic class. 3.
  • a user discrimination module can be obtained by previously registering an identification name or user identification information of a user demographic class in association with the user name of each user. 47 can determine the identification name or user identification information of the corresponding user demographic class from the user name confirmed through authentication such as biometric authentication and card authentication.
  • the application execution environment 43 of the information processing device 4 identifies the user demographic class identification name or user identification information determined by the user determination module 47 from all the POI metadata for each scene video of the moving image content. Extracts the POI metadata defined as the POI filtering information, generates an additional image for teaching the user U the service object in the video based on the extracted POI metadata, and supplies it to the renderer 44. Thereby, a composite image in which the additional image is superimposed on the video of the program is obtained and displayed on the display 45 (step S408).
  • the user U gives a voice service request to the voice AI assistant service terminal 3 for the service object on which the additional image is presented in the video displayed on the display 45, and uses the voice AI assistant service (step). S409).
  • the identification name of the user demographic class of the service object J1 in the video is “class1”, and the identification names of the user demographic classes of the other service objects J2-J5 are other than “class1”.
  • the user determination module 47 determines that the user demographic class of the user U is “class1”. In this case, since the additional image 51 is presented only to the service object J1, a part of the video of the program is hidden in the additional image 52-55 added to the service object J2-J5 that is not interesting to the user U. To minimize the contamination of the entire image.
  • the user demographic class of the user U is determined from attributes such as gender, age, area where he / she lives, occupation, educational background, family attributes, etc. Even if the user U's preference condition is calculated based on U's viewing history and the user demographic class is determined based on this preference condition or taking this preference condition into account. Good.
  • trick play reproduction based on POI metadata is the playback at the first double speed for the scene where the additional image is presented based on the POI metadata extracted based on the user demographic class or the user identification information of the user U.
  • the other scenes are reproduced at the second double speed higher than the first double speed.
  • the first double speed is, for example, a single speed (equal speed) or a double speed lower than the single speed.
  • the second double speed is, for example, fast-forward playback that is faster than the single speed.
  • the user determination module 47 determines the user demographic class or user identification information of the user U, and supplies it to the application execution environment 43.
  • the application execution environment 43 is a POI in which the identification name or user identification information of the user demographic class determined by the user determination module 47 is defined as POI filtering information from all the POI metadata for the video of each scene of the program. Metadata is selected, and trick play playback is performed based on the extracted POI metadata.
  • FIG. 10 is a diagram more specifically showing trick play reproduction based on POI metadata.
  • the user demographic classes of the service objects “Bill” and “Sam” are “class1”, and the user demographic class of the user U determined by the user determination module 47 is “class1”. .
  • the application execution environment 43 Since “Bill” whose user demographic class is “class1” appears in the video of the Ta-Ta ′ period, the application execution environment 43 displays the additional image at the first double speed during the Ta-Ta ′ period. Play the video that contains it. Thereafter, the service execution object whose user demographic class is “class1” does not appear in the video until time Tc, so that the application execution environment 43 performs reproduction at the second double speed higher than the first double speed. Note that the burden on the application execution environment 43 can be reduced by not presenting the additional image during reproduction at the second double speed.
  • the application execution environment 43 is a video including an additional image at the first double speed during the Tc-Tc ′ period. Play back. After the time Tc ′, since the service object whose user demographic class is “class1” does not appear in the video, reproduction at the second double speed is performed.
  • the scene where the additional image is presented based on the POI metadata extracted based on the user demographic class or the user identification information of the user U is reproduced at the first double speed, and the other scenes are displayed.
  • trick play playback focusing on a scene that is useful (interesting) to the user U is realized.
  • FIG. 11 is a diagram showing an example of an application execution environment 43 for processing POI metadata.
  • the application that processes POI metadata is a native application 49 that operates on the native operating system 48 of the information processing apparatus 4 is shown.
  • FIG. 12 is a diagram showing another example of the application execution environment 43 that processes POI metadata.
  • This example shows a case where the application that processes POI metadata is a web application 57 that runs on the web browser 56.
  • the POI metadata and the web application 57 are distributed to the information processing apparatus 4 simultaneously or substantially simultaneously.
  • FIG. 13 is a diagram showing an example of a Multi-part MIME format for packaging the web application and POI metadata.
  • a POI metadata file 61 and a web application file 62 are individually stored in each part delimited by the boundary-part.
  • the application that processes the POI metadata is a native application that operates using the operating system as an application execution environment, or is distributed separately from the POI metadata
  • the POI metadata is converted to the multi-part MIME format. Only the metadata file may be stored and distributed.
  • FIG. 14 is a diagram showing the configuration of the Media Segment in the MP4 file format.
  • the Media Segment has a plurality of Movie Fragments, and each Movie Fragment is composed of a moof box and an mdat box.
  • the mdat box media data is divided into a plurality of Sample boxes in units of time such as frames, and stored in a random accessible manner.
  • the moof box stores metadata related to presentation, such as information for generating timing for presenting media data of each Sample box of the mdat box.
  • POI metadata is stored in each Sample box of the Media Segment in which the video data is stored in each Sample box in the mdat box, each of the Media Segment in which the audio data is stored in each Sample box in the mdat box, and each of the Sample boxes in the mdat box.
  • Media Segment is prepared.
  • the MP4 file is a Media Segment of MPEG-DASH (Dynamic Adaptive Streaming over HTTP).
  • MPEG-DASH In MPEG-DASH, a plurality of data groups having different encoding speeds and screen sizes are prepared for one moving image content so that streaming reproduction is not interrupted.
  • the plurality of data groups are dynamically selected in consideration of the screen size of the information processing apparatus 4 and the state of the network bandwidth. Therefore, in MPEG-DASH, what kind of encoding speed and screen size data group is prepared for one moving picture content as described above is described in metadata called MPD (Media Presentation Description).
  • MPD describes information related to the structure of moving image content stored in a server in a hierarchical structure of XML (extensible markup language) format.
  • the information processing apparatus 4 acquires an MPD file corresponding to the target moving image content from the MPD file server and analyzes it to acquire a Media Segment necessary for presenting the target moving image content from the server.
  • FIG. 15 shows the data structure of MPD.
  • the MPD has one period below it, one adaptation set for each type of media below it, and a plurality of subordinate representations below it.
  • the MPD hierarchy that is, the highest hierarchy includes information such as MPD starting point, title, streaming type (on-demand / live distribution), and length as management information related to one video content.
  • Period is a unit obtained by dividing one video content by time such as a frame.
  • a Period defines a start time (start time) and an end time (end time).
  • Period is composed of a plurality of AdaptationSets.
  • AdaptationSet includes information such as codec information and language related to data for each media type (video, audio, caption, POI metadata) of the moving image content for each period.
  • the AdaptationSet has a Representation for each data with different encoding speed and image size.
  • Representation includes information such as encoding speed, image size, and storage location (URL) of different segments such as encoding speed and image size, which are respectively stored in the web server.
  • information such as encoding speed, image size, and storage location (URL) of different segments such as encoding speed and image size, which are respectively stored in the web server.
  • FIG. 16 is a diagram showing an exchange by network communication between the MPEG-DASH server 15 and the information processing apparatus 4.
  • the MPEG-DASH server 15 stores an MPD file and a media segment of various media of moving image content.
  • the CPU of the information processing apparatus 4 requests the MPD file from the MPEG-DASH server 15 (step S501).
  • the MPEG-DASH server 15 transmits an MPD file to the information processing apparatus 4 (step S502).
  • the CPU of the information processing device 4 analyzes the received MPD file and confirms what encoding speed and image size Media Segment is prepared (step S503).
  • the CPU of the information processing device 4 considers the analysis result of the MPD file, the screen size of the display, the network traffic state of the transmission path, and the like, and sends the media segment having the optimum image size and encoding speed to the MPEG-DASH server 15 A request is made (step S504).
  • the MPEG-DASH server 15 transmits a Media Segment to the information processing apparatus 4 (step S505).
  • Media Segment has a plurality of Movie Fragments, and each Movie Fragment is composed of a moof box and an mdat box.
  • media data is divided into a plurality of Sample boxes in units of time such as frames, and stored in a random accessible manner.
  • the moof box stores metadata related to presentation, such as information for generating timing for presenting the media data of each sample in the mdat box.
  • BaseMediaDecodeTime is stored as information associated with Sample (1), (2), (3),. (1), (2), (3),..., Sample Duration (1), (2), (3),..., CompositionTimeOffset (1), (2), (3),.
  • BaseMediaDecodeTime is information of relative time from the origin of Period to the origin of Movie Fragment.
  • SampleCount (1), (2), (3), ... is the number of Samples, SampleDuration (1), (2), (3), ... is the length of Sample (1), (2), (3), ... CompositionTimeOffset (1), (2), (3),... Are adjustment times.
  • FIG. 17 is a diagram showing the flow of presentation control of MPEG-DASH moving image content.
  • the horizontal axis is a real time (UTC time) axis.
  • the CPU of the information processing device 4 generates the starting point of the first period in real time based on the starting time defined as the relative time with respect to the starting point of the MPD based on the starting point of the MPD defined in the MPD file. To do.
  • the CPU of the information processing device 4 generates the origin of the Movie Fragment in real time based on the BaseMediaDecodeTime, and further uses the SampleCount, SampleDuration, CompositionTimeOffset to start the presentation of the first Sample (1) of Period. (PresentationTime (1)) is generated, and presentation of the first Sample (1) is started from that time. Subsequently, the CPU of the information processing device 4 similarly generates a presentation start time (PresentationTime (2)) of the next Sample (2), and selects an object to be presented at that time from Sample (1) to Sample (2). Switch to. Thereafter, the switching of Sample presentation is performed in the same manner. In this way, the images of Sample (1), (2),... Are presented without interruption in time.
  • the POI is displayed in the lower layer of the MPD Period (T1-T2). Metadata AdaptationSet (T1-T2) is added.
  • the POI metadata AdaptationSet (T2-T3) is displayed in a lower hierarchy of the MPD Period (T2-T3). T3) is added.
  • FIG. 19 is a diagram illustrating a more specific example of MPD to which an AdaptationSet of POI metadata is added.
  • Two Periods are stored in the lower hierarchy. Of the two periods, the first period is defined to start 0 seconds after the start of T0, and the second period is defined to start 100 seconds after the start of T0.
  • AdaptationSet for each of video, audio and POI metadata as the second Period AdaptationSet.
  • the URL of the first sample of the video is created as “HTTP://a.com/p2/video/512/000001.m4s”.
  • the URL of the initialization segment is also generated by connecting the value indicated by “BaseURL” described in each element of the MPD to the path format and adding “IS.mp4” at the end. For example, it is created like “HTTP: //a.com/p2/video/512/IS.mp4”.
  • the method for generating the URL indicating the location of the Media Segment of the POI metadata may be the same as the method of generating the URL indicating the location of the Media Segment of the video.
  • the method for generating the URL indicating the location of the initialization segment of the POI metadata may be the same as the method for generating the URL indicating the location of the initialization segment of the video.
  • the POI metadata initialization segment includes information identifying that the POI metadata is stored as a sample in the media segment.
  • the CPU of the information processing apparatus 4 can acquire video, audio, and POI metadata of moving image content in units of Samples based on the URL generated as described above.
  • FIG. 20 is a diagram showing a flow of presentation of video and additional images based on MPD.
  • the process of presenting each Sample (1), (2), (3) of the video is as described above.
  • the CPU of the information processing device 4 performs the presentation start time (PresentationTime) of the first Sample (1) of the video from the presentation start time (PresentationTime) (1) of the first Sample to the next Sample (2).
  • additional image presentation processing based on POI metadata (1) is performed.
  • the CPU of the information processing device 4 performs the presentation start time (PresentationTime) (3) of the next Sample (3) from the presentation start time (PresentationTime) (2) of the Sample (2) in real time.
  • the additional image presentation processing based on the POI metadata (2) is performed, and the actual start time (PresentationTime) (3) of the Sample (2) in real time is updated.
  • the additional image presentation processing based on the POI metadata (3) is performed before the presentation start time (PresentationTime) (4).
  • the presentation control of the additional image based on the POI metadata is performed for the presentation of other types of media such as video and audio. It can be performed by the same mechanism as the control, and other types of media such as video and audio and the additional image can be accurately synchronized and presented.
  • FIG. 21 is a diagram showing POI metadata when the service object in the video moves along the time and the presentation position of the additional image is also moved along with the movement of the service object.
  • T1 is an additional image presentation start time based on POI metadata (1)
  • T2 is an additional image presentation start time based on POI metadata (2)
  • T3 is an additional image presentation time based on POI metadata (3). This is the presentation start time.
  • the display position of the additional image is moved in synchronization with the movement of the service object accurately. be able to.
  • the POI metadata is associated with each sample video in a one-to-one correspondence control.
  • one POI metadata is applied to a plurality of consecutive sample videos. Also good.
  • the version information (Version) is added to the value of the identifier (metadataURI) of the POI metadata described in the packages 66, 67, 68 storing the POI metadata files 63, 64, 65. Added.
  • this version information is set to the same value as the version information described in the package storing the immediately previous POI metadata. If there is a change in content, it is set to an incremented value.
  • the application of the application execution environment 43 performs an operation for presenting an additional image based on POI metadata. If there is no change in the value of each version information, the additional image continues to be presented as it is without performing the calculation for presenting the additional image based on the POI metadata again. Thereby, the calculation load for presentation of an additional image can be reduced.
  • the value of the version information added to the identifier (metadataURI) of the POI metadata (1) corresponding to the video of Sample (1) is “1”
  • the second Sample (2) The value of the version information added to the identifier (metadataURI) of the POI metadata (2) corresponding to the video is “2”
  • the value of the version information added to) is “2”.
  • the additional image based on the POI metadata (3) corresponding to the third Sample (3) video is displayed.
  • the additional image added to the video of the second Sample (2) is continuously presented to the video of the third Sample (3) without performing any calculation for presentation.
  • a media playback unit that acquires and plays back video data including a service object that can use a service that processes a voice request from a user;
  • An information processing apparatus comprising: a control unit that adds an additional image for teaching the user of the service object to the reproduced video.
  • the additional image has a unique visual feature for each service object so that the service object can be uniquely identified by voice recognition in the service.
  • the information processing apparatus configured to limit the service target to which the additional image is added, in accordance with the user or an attribute of the user.
  • the information processing apparatus configured to skip and reproduce a video of a period in which the service target object to which the additional image is added appears according to the user or the attribute of the user.
  • the information processing apparatus according to any one of (1) to (4), The control unit reproduces a video of a period in which the service object to which the additional image is added according to the user or the attribute of the user appears at a first double speed, and a period in which the service object does not appear.
  • An information processing apparatus configured to reproduce a video at a second speed higher than the first double speed.
  • the information processing apparatus configured to acquire the metadata for generating the additional information and add the additional information based on the acquired metadata.
  • the information processing apparatus configured to acquire the web application for processing the metadata and process the metadata according to the acquired web application.
  • the information processing apparatus acquires an MPD file including the AdaptationSet of the metadata, analyzes the MPD file, acquires the video data and the metadata as an MPEG-DASH Media Segment, and the video data, An information processing apparatus configured to present the additional image based on the metadata in synchronization with each other.
  • the control unit determines whether there is a change in contents between the front side metadata and the back side metadata that are temporally changed, and if there is no change, the front side metadata
  • An information processing apparatus configured to add an additional image added to a video based on data as an additional image based on the rear metadata to a video synchronized with the rear metadata.
  • the information processing apparatus according to any one of (1) to (10),
  • the visual feature of the additional image is provided by any one of a character string, a color, a shape, or an icon related to the service object.
  • the program according to (23), The additional image has a unique visual feature for each service object so that the service object can be uniquely identified by voice recognition in the service.
  • the said control part is a program which restrict
  • the control unit skips and reproduces a video during a period in which the service object to which the additional image is added according to the user or the attribute of the user appears.
  • the program according to any one of (23) to (26), The control unit reproduces a video of a period in which the service object to which the additional image is added according to the user or the attribute of the user appears at a first double speed, and a period in which the service object does not appear.
  • the control unit is a program for acquiring metadata for generating the additional information and adding the additional information based on the acquired metadata.
  • the control unit determines whether there is a change in contents between the front side metadata and the back side metadata that are temporally changed, and if there is no change, the front side metadata

Abstract

この情報処理装置は、ユーザからの音声による要求を処理するサービスを利用可能なサービス対象物を含む映像データを取得して再生するＡＶデコーダ４１と、再生した映像にサービス対象物をユーザに教示するための付加画像を付加するアプリケーション実行環境４３と、を具備する。付加画像は、サービス対象物がサービスにおいて音声認識によって一意に判別され得るように、サービス対象物毎にユニークな視覚的特徴を有する。

Description

情報処理装置、情報処理装置およびプログラム
　本技術は、映像を含む動画コンテンツを受信し、再生するための情報処理を行う情報処理装置、情報処理装置およびプログラムに関し、特にその動画コンテンツが情報処理装置のユーザに対して音声ベースによる情報サービスと連携するものである場合などに好適な情報処理装置、情報処理方法およびプログラムに関する。
　近年、音声ＡＩアシスタントサービスが普及している。これは、情報処理装置のユーザが発した音声による要求を、サービスに対応する端末がマイクなどによって収音し、認識してデータを解析し、ユーザの要求に応じたサービスを実行して、その実行の結果をユーザに音声などで応答する情報サービスである（たとえば、特許文献１参照）。現在では、クラウドベースによる音声ＡＩアシスタンスサービスとして、Ａｍａｚｏｎ Ｅｃｈｏ（登録商標）のＡｌｅｘａ（登録商標）が知られている。
特開２０１５－０２２３１０号公報
　上記のような音声ＡＩアシスタントサービスを、映像を含む動画コンテンツを再生する環境において、その映像に登場する人物や物品に関する情報を収集するための手段として利用する仕組みが本発明者らによって検討されている。例えば、動画コンテンツ中に登場する人物の役柄や、他の登場人物との関係、さらにはその人物を演じる俳優のプロフィールといった様々な事柄を視聴者であるユーザがその場で知りたい場合に、音声ＡＩアシスタントサービスからリアルタイムに情報の提供を受けることができる。
　しかしながら、音声ＡＩアシスタントサービスを、映像を含む動画コンテンツを再生する環境においてその映像に登場する人物や物品に関する情報を収集するための手段として実際に利用するとなると、音声ＡＩアシスタントサービスの特性を活かした好適な使い方が未だ十分確立されていないなど、解決すべき課題は山積されている。
　そこで本技術は、再生映像を鑑賞する際に、音声ＡＩアシスタントサービスをその特性を活かして利用することのできる情報処理装置、情報処理装置およびプログラムを提供することを目的とするものである。
　上記の課題を解決するために、本技術に係る情報処理装置は、ユーザからの音声による要求を処理するサービスを利用可能なサービス対象物を含む映像データを取得して再生するメディア再生部と、上記再生した映像に上記サービス対象物を上記ユーザに教示するための付加画像を付加する制御部とを具備する。
　上記付加画像は、上記サービス対象物が上記サービスにおいて音声認識によって一意に判別され得るように、前記サービス対象物毎にユニークな視覚的特徴を有するものであってよい。
　上記付加画像は、上記サービス対象物に付随した位置に提示されてよい。
　上記制御部は、上記ユーザまたは上記ユーザの属性に応じて、前記付加画像が付加される前記サービス対象物を制限するように構成されたものであってよい。
　上記制御部は、上記ユーザまたは上記ユーザの属性に応じて上記付加画像が付加された上記サービス対象物が登場する期間の映像をスキップ再生するように構成されたものであってよい。
　上記制御部は、上記ユーザまたは上記ユーザの属性に応じて上記付加画像が付加された上記サービス対象物が登場する期間の映像を第１の倍速で再生し、上記サービス対象物が登場しない期間の映像を上記第１の倍速よりも高速な第２の速度で再生するように構成されたものにしてもよい。
　上記制御部は、上記付加情報を生成するためのメタデータを取得し、上記取得したメタデータに基づき上記付加情報を付加するように構成されたものであってよい。
　上記制御部は、上記メタデータのＡｄａｐｔａｔｉｏｎＳｅｔを含むＭＰＤファイルを取得し、このＭＰＤファイルを解析して、上記映像データおよび上記メタデータをそれぞれＭＰＥＧ－ＤＡＳＨのＭｅｄｉａ　Ｓｅｇｍｅｎｔとして取得し、上記映像データと、上記メタデータに基づく上記付加画像とを互いに同期させて提示するように構成されたものであってよい。
　上記制御部は、上記メタデータのバージョン情報に基づいて、時間的に前後する前側のメタデータと後側のメタデータとの内容の変化の有無を判別し、変化がない場合、上記前側のメタデータに基づき映像に付加した付加画像を、上記後側のメタデータに基づく付加画像として、上記後側のメタデータに同期する映像に付加するように構成されてもよい。
　また、上記付加画像の視覚的特徴は、上記サービス対象物に関する文字列、色、形状、またはアイコンのいずれか１つによって与えられるとしてよい。
　本技術に係る別の側面である情報処理方法は、ユーザからの音声による要求を処理するサービスを利用可能なサービス対象物を含む映像データを取得して再生し、上記再生した映像に上記サービス対象物を上記ユーザに教示するための付加画像を付加するという手順を含むものである。
　本技術に係るさらに別の側面であるプログラムは、ユーザからの音声による要求を処理するサービスを利用可能なサービス対象物を含む映像データをコンピュータにて再生するとき、前記再生した映像に前記サービス対象物を前記ユーザに教示するための付加画像を付加するようにコンピュータを機能させるプログラムである。
　以上のように、本技術によれば、再生映像を鑑賞する際に、音声ＡＩアシスタントサービスをその特性を活かして利用することができる。
図１は本技術に係る第１の実施形態の情報処理装置４を含む情報処理システム１００の全体構成を示すブロック図である。 図１の情報処理システム１００における全体的動作の流れ（その１）を示すシーケンス図である。 図１の情報処理システム１００における全体的動作の流れ（その２）を示すシーケンス図である。 図１の情報処理システム１００における全体的動作の流れ（その３）を示すシーケンス図である。 付加画像が重畳された映像の例を示す図である。 ＰＯＩメタデータの構成を示すブロック図である。 付加画像が重畳された映像の別の例を示す図である。 付加画像の提示制限を示す図である。 図１の情報処理システム１００における、付加画像の提示制限を含む全体的動作の流れ（その３）を示すシーケンス図である。 ＰＯＩメタデータに基づくトリックプレイ再生について説明する図である。 ＰＯＩメタデータを処理するアプリケーション実行環境４３の例を示す図である。 ＰＯＩメタデータを処理するアプリケーション実行環境４３の他の例を示す図である。 ウェブアプリケーションとＰＯＩメタデータをパッケージングするＭｕｌｔｉ－ｐａｒｔ　ＭＩＭＥフォーマットの例を示す図である ＭＰ４ファイルのフォーマットにおけるＭｅｄｉａ　Ｓｅｇｍｅｎｔの構成を示す図である。 ＭＰＥＧ－ＤＡＳＨのＭＰＤのデータ構造を示す図である。 ＭＰＥＧ－ＤＡＳＨサーバ１５と情報処理装置４との間でのネットワーク通信によるやりとりを示す図である。 ＭＰＥＧ－ＤＡＳＨ動画コンテンツの提示制御の流れを示す図である。 ＰＯＩメタデータのＡｄａｐｔａｔｉｏｎＳｅｔが追加されたＭＰＤの構成を示す図である。 ＰＯＩメタデータのＡｄａｐｔａｔｉｏｎＳｅｔが追加されたＭＰＤのより具体的な例を示す図である。 ＭＰＤに基づく映像および付加画像の提示の流れを示す図である。 サービス対象物の移動に伴って付加画像の提示位置を移動させる場合のＰＯＩメタデータを示す図である。 ＰＯＩメタデータの複数サンプル時間をまたがる提示更新制御を説明する図である。
　以下、本技術に係る実施形態を説明する。
　＜本実施形態の情報処理装置の要旨＞
　本実施形態の情報処理装置４は、
　ユーザからの音声による要求を処理する音声ＡＩアシスタントサービスを利用可能なサービス対象物を含む映像データを取得して再生するＡＶデコーダ４１と、
　前記再生した映像に前記サービス対象物を前記ユーザに教示するための付加画像を付加するアプリケーション実行環境４３と、を具備する。
　これにより、本実施形態の情報処理装置４は、再生映像において音声ＡＩアシスタントサービスのサービス対象物を一目で判別することができ、サービス対象物を選択する際に戸惑うことがなくなるという効果を有する。
　＜第１の実施形態＞
　次に、第１の実施形態の情報処理装置４を含む情報処理システム１００の構成及びその動作を詳細に説明する。
　（システム全体構成）
　図１は本技術に係る第１の実施形態の情報処理装置４を含む情報処理システム１００の全体構成を示すブロック図である。
　同図に示すように、この情報処理システム１００は、サーバ群１、放送／ネット配信システム２、音声ＡＩアシスタントサービス端末３、およびユーザの情報処理装置４を含む。
　（サーバ群１について）
　サーバ群１は、動画コンテンツサーバ１１、アプリケーションサーバ１２、ＰＯＩメタデータサーバ１３、および音声ＡＩアシスタントサービスプログラムサーバ１４を含む。
　動画コンテンツサーバ１１は、ＣＭや番組などの動画コンテンツのデータを蓄積する。動画コンテンツのデータは、映像、音声、字幕などの複数の種類のメディアデータで構成されるマルチメディアデータであってよい。本技術は、特に映像データに適用し得るものであり、音声、字幕などの他のメディアデータの有無は問わない。
　ＰＯＩメタデータサーバ１３は、動画コンテンツに対応するＰＯＩメタデータを放送／ネット配信システム２を通じて情報処理装置４にダイレクトに配信する。あるいは、動画コンテンツサーバ１１において、少なくとも動画コンテンツのデータとＰＯＩメタデータを所定のデータ構造にまとめて情報処理装置４に配信する場合には、ＰＯＩメタデータサーバ１３はＰＯＩメタデータを放送／ネット配信システム２を通じて動画コンテンツサーバ１１に供給する。ＰＯＩメタデータについては後で説明する。
　アプリケーションサーバ１２は、情報処理装置４においてＰＯＩメタデータに基づく処理を実行するためのアプリケーションを放送／ネット配信システム２を通じて情報処理装置４にダイレクトに配信する。あるいは、動画コンテンツサーバ１１において動画コンテンツのデータ、ＰＯＩメタデータおよびアプリケーションを所定のデータ構造にまとめて情報処理装置４に配信する場合には、アプリケーションサーバ１２はアプリケーションを放送／ネット配信システム２を通じて動画コンテンツサーバ１１に供給する。
　音声ＡＩアシスタントサービスプログラムサーバ１４は、放送／ネット配信システム２を通じて音声ＡＩアシスタントサービス端末３に音声ＡＩアシスタントサービスプログラムを供給する。音声ＡＩアシスタントサービスプログラムは、動画コンテンツに登場する特定の人物や物品などのサービス対象物について動画コンテンツの視聴者であるユーザＵから与えられたサービス要求に対するサービス実行結果を生成するように構成されたプログラムである。
　放送／ネット配信システム２は、動画コンテンツのデータ、あるいは動画コンテンツのデータとＰＯＩメタデータをまとめたデータ構造、あるいは動画コンテンツのデータとＰＯＩメタデータとアプリケーションをまとめたデータ構造を、放送あるいはネットワーク通信によって情報処理装置４に配信するシステムである。また、放送／ネット配信システム２は、動画コンテンツサーバ１１、アプリケーションサーバ１２、ＰＯＩメタデータサーバ１３の間でのデータ転送、さらには音声ＡＩアシスタントサービスプログラムサーバ１４と音声ＡＩアシスタントサービス端末３との間のデータ転送にも用いられる。
　（情報処理装置４について）
　情報処理装置４は、ハードウェア要素として、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）と、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）などのメインメモリと、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）などのストレージデバイスと、ユーザインタフェースと、アンテナおよび放送チューナなどの放送受信部と、ネットワークインタフェースなどの通信インタフェースとを備える。情報処理装置４は、具体的には、パーソナルコンピュータ、スマートホン、タブレット端末、テレビジョン、ゲーム機、ＨＭＤ（Ｈｅａｄ　Ｍｏｕｎｔｅｄ　Ｄｉｓｐｌａｙ）などのユーザ装着可能形の情報端末などであってよい。
　情報処理装置４は、上記のハードウェア要素とソフトウェア要素によって実現される機能的要素として、ＡＶデコーダ４１、ＰＯＩメタデータ処理モジュール４２、アプリケーション実行環境４３、レンダラ４４を有する。
　情報処理装置４は、ユーザインタフェースとして、ディスプレイ４５とスピーカ４６を備える。さらに、情報処理装置４は、機能的な要素としてユーザ判別モジュール４７を備えたものであってよい。
　ＡＶデコーダ４１は、放送／ネット配信システム２を通じて動画コンテンツサーバ１１より取得した動画コンテンツのマルチメディアデータ（映像データおよび音声データなど）を復号する。
　ＰＯＩメタデータ処理モジュール４２は、放送／ネット配信システム２を通じて動画コンテンツサーバ１１あるいはＰＯＩメタデータサーバ１３より取得したＰＯＩメタデータをアプリケーション実行環境４３に供給する。
　「ＰＯＩメタデータ」とは、情報処理装置４において再生中の映像に、当該映像中で音声ＡＩアシスタントサービスが割り当てられた特定のサービス対象物を、情報処理装置４のユーザＵに教示する追加画像を追加するためのメタデータである。ＰＯＩはＰｏｉｎｔ　ｏｆ　Ｉｎｔｅｒｅｓｔの略である。「特定のサービス対象物」は、映像において音声ＡＩアシスタントサービスがユーザＵからのサービス要求に対して応答することが可能とされた登場人物や物品などのことである。
　アプリケーション実行環境４３は、ネイティブアプリケーションまたはウェブアプリケーションをＣＰＵおよびメインメモリを用いて実行する環境である。アプリケーション実行環境４３は、ＰＯＩメタデータ処理モジュール４２より与えられたＰＯＩメタデータに基づいて、映像中のサービス対象物に付加すべき追加画像を生成する。「追加画像」は例えば、映像中のサービス対象物との関係が分かりやすいように、例えば「吹き出し」として生成される。しかし、本技術はこれに限定されず、映像中のサービス対象物との関係が分かりやすい画像であればよい。
　レンダラ４４は、ＡＶデコーダ４１により復号された映像データからディスプレイ４５に出力する表示信号を生成したり、ＡＶデコーダ４１により復号された音声データをスピーカ４６に出力する。また、レンダラ４４は、アプリケーション実行環境４３より追加画像が供給された場合にはこの追加画像を番組映像の上に合成する。
　ディスプレイ４５はユーザＵに映像を提示する。スピーカ４６はユーザＵに音声を提示する。
　（音声ＡＩアシスタントサービス端末３について）
　音声ＡＩアシスタントサービス端末３は、情報処理装置４のユーザＵに対し、音声によるアシスタントサービスを提供する端末である。音声ＡＩアシスタントサービス端末３は、より具体的には、映像中でユーザＵより任意のサービス対象物についての音声によるサービス要求を受け付け、そのサービスを実行し、サービスの実行結果をユーザＵに音声などで返すことのできる装置である。ここで、ユーザＵからの音声によるサービス要求は例えば質問形式などの言葉により与えられ、サービスの実行結果は例えば回答形式などの合成音声によってユーザＵに返される。
　音声ＡＩアシスタントサービス端末３は、アシスタントサービス用のマイク３１と、音声認識モジュール３２と、音声ＡＩアシスタントサービス用のスピーカ３３と、音声生成モジュール３４と、音声ＡＩアシスタントサービスプログラム実行環境３５を備える。
　アシスタントサービス用のマイク３１は、情報処理装置４のユーザＵからの音声によるサービス要求を取り込む。
　音声認識モジュール３２は、アシスタントサービス用のマイク３１により取り込んだサービス要求の音声を認識して要求データを音声ＡＩアシスタントサービスプログラム実行環境３５にわたす。
　音声ＡＩアシスタントサービスプログラム実行環境３５は、音声ＡＩアシスタントサービスプログラムサーバ１４より取得した音声ＡＩアシスタントサービスプログラムを実行する環境である。音声ＡＩアシスタントサービスプログラム実行環境３５は、音声認識モジュール３２より供給された要求データに対するサービスの実行結果のデータを生成し、音声生成モジュール３４に供給する。
　音声生成モジュール３４は、音声ＡＩアシスタントサービスプログラム実行環境３５より供給されたサービス実行結果のデータを合成音声に変換する。
　アシスタントサービス用のスピーカ３３は、音声生成モジュール３４より供給された合成音声を情報処理装置４のユーザＵに提示する。
　（情報処理システムの全体的動作の流れ（その１））
　図２は、本実施形態の情報処理システム１００における全体的動作の流れ（その１）を示すシーケンス図である。
　前提として、動画コンテンツのデータ、アプリケーションおよびＰＯＩメタデータがそれぞれ別々のサーバ（動画コンテンツサーバ１１、アプリケーションサーバ１２、ＰＯＩメタデータサーバ１３）から配信される場合を想定している。
　まず、アプリケーションサーバ１２から情報処理装置４に放送／ネット配信システム２を通じてアプリケーションが配信される（ステップＳ１０１）。さらに動画コンテンツサーバ１１から情報処理装置４に動画コンテンツのデータが放送／ネット配信システム２を通じて配信される（ステップＳ１０２）。情報処理装置４において、受信した動画コンテンツのデータはＡＶデコーダ４１にて復号され、この結果得られた映像データおよび音声データがレンダラ４４を通じてディスプレイ４５及びスピーカ４６にそれぞれ供給される（ステップＳ１０３）。
　また、アプリケーションサーバ１２から情報処理装置４に配信されたアプリケーションはアプリケーション実行環境４３に導入され、アプリケーションが実行される（ステップＳ１０４）。
　次に、ＰＯＩメタデータサーバ１３から情報処理装置４に放送／ネット配信システム２を通じて動画コンテンツに対応するＰＯＩメタデータが配信される（ステップＳ１０５）。情報処理装置４において、ＰＯＩメタデータはＰＯＩメタデータ処理モジュール４２によってアプリケーション実行環境４３に供給される。アプリケーション実行環境４３は、ＰＯＩメタデータに基づいて、映像中のサービス対象物をユーザＵに教示する付加画像を生成し、レンダラ４４に供給する。これにより、番組の映像の上に付加画像が重畳された合成像が得られ、ディスプレイ４５に表示される（ステップＳ１０６）。
　その後、ユーザＵは、ディスプレイ４５に表示された映像中で付加画像が提示されたサービス対象物についての音声によるサービス要求を音声ＡＩアシスタントサービス端末３に与えて、音声ＡＩアシスタントサービスを利用する（ステップＳ１０７）。
　（情報処理システムの全体的動作の流れ（その２））
　図３は本実施形態の情報処理システム１００における全体的動作の流れ（その２）を示すシーケンス図である。
　前述の動作の流れ（その１）では、動画コンテンツのデータとＰＯＩメタデータがそれぞれ別々のサーバ（動画コンテンツサーバ１１、ＰＯＩメタデータサーバ１３）から情報処理装置４に配信されるため、情報処理装置４において動画コンテンツデータとＰＯＩメタデータとの同期が保証されない。
　そこで、図３に示す動作の流れ（その２）では、まず、ＰＯＩメタデータサーバ１３から動画コンテンツサーバ１１に放送／ネット配信システム２を通じてＰＯＩメタデータが供給される（ステップＳ２０１）。続いて、動画コンテンツサーバ１１にて、ＰＯＩメタデータと動画コンテンツのデータとが所定のデータ構造にまとめられて情報処理装置４に放送／ネット配信システム２を通じて配信される（ステップＳ２０３）。
　情報処理装置４では、受信したデータ構造から動画コンテンツのデータが抽出され、抽出された動画コンテンツのデータはＡＶデコーダ４１にて復号され、この結果得られた映像データおよび音声データがレンダラ４４を通じてディスプレイ４５およびスピーカ４６にそれぞれ供給される（ステップＳ２０４）。
　また、情報処理装置４では、受信したデータ構造からＰＯＩメタデータ処理モジュール４２によってＰＯＩメタデータが抽出され（ステップＳ２０５）、アプリケーション実行環境４３に供給される。アプリケーション実行環境４３は、ＰＯＩメタデータに基づいて、映像中のサービス対象物をユーザＵに教示する付加画像を生成し、レンダラ４４に供給する。これにより、番組の映像の上に付加画像が重畳された合成像が得られ、ディスプレイ４５に表示される（ステップＳ２０７）。
　その後、ユーザＵは、ディスプレイ４５に表示された映像中で付加画像が提示されたサービス対象物についての音声によるサービス要求を音声ＡＩアシスタントサービス端末３に与えて、音声ＡＩアシスタントサービスを利用する（ステップＳ２０８）。
　このように、ＰＯＩメタデータと動画コンテンツのデータとを所定のデータ構造にまとめて動画コンテンツサーバ１１から情報処理装置４に配信することによって、情報処理装置４において動画コンテンツのデータとＰＯＩメタデータとを互いに同期して処理できることが保証される。このため、番組の映像中のサービス対象物に常に正しい付加画像を付加することができ、安定した音声ＡＩアシスタントサービスを維持することができる。
　なお、この動作の流れ（その２）において、アプリケーションは、アプリケーションサーバ１２から情報処理装置４に放送／ネット配信システム２を通じて配信され（ステップＳ２０２）、アプリケーション実行環境４３に導入されてアプリケーションが実行される（ステップＳ２０６）という点は、前述の動作の流れ（その１）と同じである。
　（情報処理システムの全体的動作の流れ（その３））
　図４は本実施形態の情報処理システム１００における全体的動作の流れ（その３）を示すシーケンス図である。
　この動作の流れでは、動画コンテンツサーバ１１から情報処理装置４に、動画コンテンツのデータとＰＯＩメタデータとこれを処理するアプリケーションが所定のデータ構造にまとめて配信される場合を想定している。
　まず、ＰＯＩメタデータサーバ１３から動画コンテンツサーバ１１にＰＯＩメタデータが供給される（ステップＳ３０１）。さらに、アプリケーションサーバ１２から動画コンテンツサーバ１１にアプリケーションが供給される（ステップＳ３０２）。ＰＯＩメタデータの供給とアプリケーションの供給の順位は逆であってもよい。続いて、動画コンテンツサーバ１１にて、動画コンテンツのデータとＰＯＩメタデータとアプリケーションとが所定のデータ構造にまとめられて情報処理装置４に放送／ネット配信システム２を通じて配信される（ステップＳ３０３）。
　情報処理装置４では、受信したデータ構造から動画コンテンツのデータが抽出され、抽出された動画コンテンツのデータはＡＶデコーダ４１にて復号され、この結果得られた映像データおよび音声データがレンダラ４４を通じてディスプレイ４５およびスピーカ４６にそれぞれ供給される（ステップＳ３０４）。
　また、情報処理装置４では、受信したデータ構造からアプリケーションが抽出され（ステップＳ３０５）、アプリケーション実行環境４３に導入されてアプリケーションが実行される（ステップＳ３０６）。
　さらに、情報処理装置４では、受信したデータ構造からＰＯＩメタデータ処理モジュール４２によってＰＯＩメタデータが抽出され（ステップＳ３０７）、アプリケーション実行環境４３に供給される。アプリケーション実行環境４３は、ＰＯＩメタデータに基づいて、映像中のサービス対象物をユーザＵに教示する付加画像を生成し、レンダラ４４に供給する。これにより、番組の映像の上に付加画像が重畳された合成像が得られ、ディスプレイ４５に表示される（ステップＳ３０８）。
　その後、ユーザＵは、ディスプレイ４５に表示された映像中で付加画像が提示されたサービス対象物についての音声によるサービス要求を音声ＡＩアシスタントサービス端末３に与えて、音声ＡＩアシスタントサービスを利用する（ステップＳ３０９）。
　（付加画像について）
　次に、ＰＯＩメタデータに基づき生成される付加画像について説明する。
　図５は付加画像が重畳された映像の例を示す図である。
　同図に示すように、付加画像は、例えば、映像中の音声ＡＩアシスタントサービスのサービス対象物Ｊ１、Ｊ２、Ｊ３にそれぞれ付随した吹き出し５１、５２、５３として提示されてよい。
　吹き出し５１、５２、５３には、サービス対象物Ｊ１、Ｊ２、Ｊ３をユーザＵが音声で音声ＡＩアシスタントサービス端末３に通知する場合にこのサービス対象物Ｊ１、Ｊ２、Ｊ３が音声ＡＩアシスタントサービス端末３において音声認識によって一意に判別され得るように、サービス対象物Ｊ１、Ｊ２、Ｊ３毎にユニークな視覚的特徴が与えられる。これによりユーザＵは、任意のサービス対象物の特徴を表現する音声を使って、そのサービス対象物についてのサービス要求を音声ＡＩアシスタントサービス端末３に与えることができる。
　例えば、図５の例では、吹き出し５１、５２、５３の中に"Ｂｉｌｌ"、"Ｆｒｅｄ"、"Ｌｕｃｙ"といったサービス対象物Ｊ１、Ｊ２、Ｊ３である登場人物の名前の文字列が視覚的特徴として表示される。これによりユーザＵは、例えば、"Ｆｒｅｄの最近のニュースは？"、"Ｂｉｌｌは何歳？"のように、任意のサービス対象物の名前を使って当該サービス対象物についてのサービス要求を音声ＡＩアシスタントサービス端末３に音声で与えることができる。一方、音声ＡＩアシスタントサービス端末３は音声認識モジュール３２によって認識された名前からサービス対象物を特定することができ、特定したサービス対象物について、音声ＡＩアシスタントサービスプログラム実行環境３５の音声ＡＩアシスタントサービスプログラムに従って音声ＡＩアシスタントサービスを実行することができる。
　なお、吹き出し５１、５２、５３に配置されるサービス対象物毎にユニークな視覚的特徴には、登場人物の名前の文字列の他、アイコン、吹き出しの色、吹き出しのデザインなど、様々な変形が考えられる。
　以上のように、本実施形態では、動画コンテンツの映像中の音声ＡＩアシスタントサービスのサービス対象物に、これがサービス対象物であることをユーザＵに教示する付加画像を生成し、動画コンテンツの映像に重畳して提示するようにしたので、ユーザＵは映像からサービス対象物を一意に判別して、任意のサービス対象物についてのサービス要求を行うことができる。これにより、ユーザＵから音声ＡＩアシスタントサービス端末３にサービス対象物以外の物体に対するサービス要求を与えるといった無駄な操作が回避され、音声ＡＩアシスタントサービスを良好に利用することができる。
　また、サービス対象物が音声ＡＩアシスタントサービス端末３での音声認識によって一意に認識され得るように、付加画像にサービス対象物毎にユニークな視覚的特徴が付与されたことによって、ユーザＵは、任意のサービス対象物の特徴を表現する音声を使って、そのサービス対象物についてのサービス要求を音声ＡＩアシスタントサービス端末３に音声で与えることができる。これにより、ユーザＵはサービス対象物をどのように表現して音声ＡＩアシスタントサービスに通知するかを戸惑うことがなくなるとともに、音声ＡＩアシスタントサービス端末３においてサービス対象物が確実に特定されるので、良好な音声ＡＩアシスタントサービスが実現される。
　次に、ＰＯＩメタデータの構造について説明する。
　（ＰＯＩメタデータの構造）
　図６はＰＯＩメタデータの構成を示すブロック図である。
　ＰＯＩメタデータは、ＰＯＩアイコンイメージ、ＰＯＩ提示色、ＰＯＩ提示位置、ＰＯＩ提示テキスト、ＰＯＩフィルタリング情報を含む。
　ＰＯＩアイコンイメージは、付加画像にサービス対象部の視覚的特徴としてアイコンを提示する場合に用いられるアイコンファイルの実体あるいはアイコンファイルへの参照ＵＲＬ（Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｌｏｃａｔｏｒ）である。ＰＯＩアイコンイメージのＸＭＬ（Ｅｘｔｅｎｓｉｂｌｅ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）表現を以下に示す。
　　<POIIcon iconPng='true'>…(base64エンコードされたpngファイル)…</POIIcon>
　　<POIIcon iconPngURL='true'>http://…(アイコンpngファイルのURL)…</POIIcon>
　ＰＯＩ提示色は、付加画像に色による視覚的特徴を与える場合に用いられる。ＰＯＩ提示色の情報には、例えば、ＣＳＳ（Ｃａｓｃａｄｉｎｇ Ｓｔｙｌｅ Ｓｈｅｅｔｓ）のカラーコードなどが用いられる。ＰＯＩ提示色のＸＭＬ表現を以下に示す。
　　<POIColor>...(CSS color code)…</POIColor> 
　ＰＯＩ提示位置は、付加画像を提示する対象コンテンツのＵＲＩ（Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｉｄｅｎｔｉｆｉｅｒ）、ＰＯＩメタデータに基づき付加画像を提示する処理を行うアプリケーションのＵＲＩ、付加画像の提示時間、付加画像の提示位置などの情報を含む。ＰＯＩ提示位置のＸＭＬ表現を以下に示す。
　　<POITargetContentID URL='http://a.com/番組A.MPD'/> 
　　<POIApplication URL='http://a.com/番組AのためのPOI提示アプリ.html(POI 提示アプリのURL)'/> 
　<POITimePosition start='P0Y0M0DT1H15M2.000S(開始時刻)'end='P0Y0M0DT1H15M2.500S(終了時刻)'/> 
　　<POISPosition x='345(x 座標ピクセル)'y='567(y 座標ピクセル)'/> 
　ＰＯＩ提示テキストは、付加画像に文字による視覚的特徴を与える場合にために付加画像に提示される文字列である。ＰＯＩ提示テキストのＸＭＬ表現を以下に示す。
　　<POIText>…(提示文字列)…</POIText> 
　ＰＯＩフィルタリング情報は、付加画像のユーザあるいはユーザ属性に応じた提示制限を行う場合に用いられる。ＰＯＩフィルタリング情報は、付加画像を提示する対象のユーザＵを特定するための情報であり、ユーザデモグラフィッククラスの識別名と任意のユーザ識別情報を含む。
　ユーザデモグラフィッククラスとは、ユーザの性別、年齢、住んでいる地域、職業、学歴、家族構成などの属性をもとにユーザＵを分類するクラスのことであり、ユーザデモグラフィッククラスの識別名によって一意に識別される。ユーザデモグラフィッククラスの識別名のＸＭＬ表現を以下に示す。
　　<POITargetUser demographicClass='true'>…(ユーザデモグラフィッククラス識別名)…</POITargetUser>
　任意のユーザ識別情報は、例えば、放送局関連サービスのアカウント名などのユーザ識別情報である。任意のユーザ識別情報のＸＭＬ表現を以下に示す。
　　<POITargetUser privateAccount='true'>https://…(サービスのユーザアカウント識別URL等)…</POITargetUser>
　なお、ＰＯＩアイコンイメージ、ＰＯＩ提示色およびＰＯＩ提示テキストは、少なくともいずれか１つが定義されればよい。ＰＯＩフィルタリング情報は、後述する付加情報の提示制限を導入する場合に定義される。
　（付加画像の提示制限について）
　上記の実施形態では、動画コンテンツの映像中の音声ＡＩアシスタントサービスのサービス対象物に付加画像を提示することとした。しかしながら、例えば、図７に示すように、一つのシーンに多数のサービス対象物Ｊ１－Ｊ５が存在する場合にはそれらのサービス対象物Ｊ１－Ｊ５の数分の付加画像５１－５５が提示されるため、これらの付加画像５１－５５によって番組の映像の一部が隠れてしまい、番組映像の見た目が損なわれるおそれがある。
　そこで、例えば図８に示すように、ユーザＵに応じて付加画像を提示するサービス対象物を制限することが有効である。例えば、ユーザＵにとって興味のあるサービス対象物に対しては付加画像を提示し、そうではないサービス対象物に対しては付加画像を提示しないようにする。これにより、付加画像によって番組の映像の一部が多数の付加画像に隠れて映像全体が汚れてしまうことを最小限に抑えることができる。この機能を「付加画像の提示制限」と呼ぶこととする。
　図９は、この付加画像の提示制限を含む動作の流れを示すシーケンス図である。
　ここで、ステップＳ４０１－Ｓ４０５の動作は、図２に示した動作の流れ（その１）のステップＳ１０１－Ｓ１０５と同じであるから、説明を省略する。
　付加画像の提示制限が行わるために、情報処理装置４のユーザ判別モジュール４７によってユーザＵのユーザデモグラフィッククラスあるいはユーザ識別情報が判別される（ステップＳ４０６）。判別されたユーザＵのユーザデモグラフィッククラスあるいはユーザ識別情報はアプリケーション実行環境４３に通知される（ステップＳ４０７）。
　ユーザデモグラフィッククラスとは、ユーザの性別、年齢、住んでいる地域、職業、学歴、家族構成などの様々な属性をもとにユーザを分類するクラスである。例えば、２０歳代男性であれば最近人気の出てきた新人女優に興味がある傾向が高いことが統計的に言える場合には、２０歳代男性のユーザデモグラフィッククラスは、番組において新人女優が演じる登場人物（サービス対象物）についてのＰＯＩメタデータに定義されたユーザデモグラフィッククラスと一致する。
　ユーザ判別モジュール４７によるユーザＵのユーザデモグラフィッククラスあるいはユーザ識別情報の判別方法には次のようなものが挙げられる。
　１．ユーザ判別モジュール４７は、カメラで撮像したユーザＵの顔画像の解析結果からユーザＵの性別や年齢層などの属性を推定し、推定した属性からユーザデモグラフィッククラスを判別する。
　２．ユーザ判別モジュール４７は、音声ＡＩアシスタントサービス端末３からユーザＵへの音声による質問を通して得られた情報を基にユーザＵの属性を推定し、ユーザデモグラフィッククラスを判別する。
　３．情報処理装置４を使用する複数のユーザが限定されている場合において、各ユーザのユーザ名に対応付けてユーザデモグラフィッククラスの識別名あるいはユーザ識別情報を予め登録しておくことで、ユーザ判別モジュール４７は、生体認証、カード認証などの認証を通して確認されたユーザ名から対応するユーザデモグラフィッククラスの識別名あるいはユーザ識別情報を判別することができる。
　次に、情報処理装置４のアプリケーション実行環境４３は、動画コンテンツの各シーンの映像に対するすべてのＰＯＩメタデータの中から、ユーザ判別モジュール４７によって判別されたユーザデモグラフィッククラスの識別名あるいはユーザ識別情報がＰＯＩフィルタリング情報として定義されたＰＯＩメタデータを抽出し、抽出したＰＯＩメタデータに基づいて映像中のサービス対象物をユーザＵに教示する付加画像を生成し、レンダラ４４に供給する。これにより、番組の映像の上に付加画像が重畳された合成像が得られ、ディスプレイ４５に表示される（ステップＳ４０８）。
　その後、ユーザＵは、ディスプレイ４５に表示された映像中で付加画像が提示されたサービス対象物についての音声によるサービス要求を音声ＡＩアシスタントサービス端末３に与えて、音声ＡＩアシスタントサービスを利用する（ステップＳ４０９）。
　なお、ここでは、図２に示した情報処理システムの全体的動作の流れ（その１）を前提した付加画像の提示制限を説明したが、全体的動作の流れ（その２）および全体的動作の流れ（その３）において同様である。
　次に、図８に戻って説明を続ける。ここで、映像中のサービス対象物Ｊ１のユーザデモグラフィッククラスの識別名は"ｃｌａｓｓ１"とし、その他のサービス対象物Ｊ２－Ｊ５のユーザデモグラフィッククラスの識別名は"ｃｌａｓｓ１"以外であったとする。一方、ユーザ判別モジュール４７によってユーザＵのユーザデモグラフィッククラスが"ｃｌａｓｓ１"と判別されたとする。この場合、サービス対象物Ｊ１に対してだけ付加画像５１が提示されることによって、番組の映像の一部分がユーザＵにとって興味のないサービス対象物Ｊ２－Ｊ５に付加される付加画像５２－５５に隠れて映像全体が汚れることを最小限に抑えることができる。
　なお、付加画像の提示制限がユーザ識別情報をフィルタリング条件として行われる場合には、特定のユーザＵだけに特定のサービス対象物に対する付加画像を提示できるように
することができる。
　（ユーザＵの視聴履歴に基づくユーザデモグラフィッククラスの設定）
　なお、上記の説明では、性別、年齢、住んでいる地域、職業、学歴、家族内属性などの属性からユーザＵのユーザデモグラフィッククラスを判別することとしたが、ユーザ判別モジュール４７にて、ユーザＵの視聴履歴をもとにユーザＵの嗜好的な条件を算出し、この嗜好的な条件をもとに、あるいは、この嗜好的な条件を加味して、ユーザデモグラフィッククラスを判別してもよい。
　（ＰＯＩメタデータに基づくトリックプレイ再生）
　次に、ＰＯＩメタデータに基づくトリックプレイ再生について説明する。
　ＰＯＩメタデータに基づくトリックプレイ再生とは、ユーザＵのユーザデモグラフィッククラスあるいはユーザ識別情報を基に抽出されたＰＯＩメタデータに基づいて付加画像が提示されるシーンについては第１の倍速での再生を行い、その他のシーンについては第１の倍速よりも高速な第２の倍速で再生することを言う。
　ここで、第１の倍速は、例えば１倍速（等倍速）あるいは１倍速より低い倍速である。第２の倍速は例えば１倍速よりも高速な早送り再生である。
　次に、このＰＯＩメタデータに基づくトリックプレイ再生の動作をより詳しく説明する。
　まず、ユーザ判別モジュール４７によってユーザＵのユーザデモグラフィッククラスあるいはユーザ識別情報を判別し、アプリケーション実行環境４３に供給する。
　アプリケーション実行環境４３は、番組の各シーンの映像に対するすべてのＰＯＩメタデータの中から、ユーザ判別モジュール４７によって判別されたユーザデモグラフィッククラスの識別名あるいはユーザ識別情報がＰＯＩフィルタリング情報として定義されたＰＯＩメタデータを選択し、抽出したＰＯＩメタデータに基づいて、トリックプレイ再生を行う。
　図１０はＰＯＩメタデータに基づくトリックプレイ再生をより具体的に示す図である。
　ここで、サービス対象物である"Ｂｉｌｌ"と"Ｓａｍ"のユーザデモグラフィッククラスは"ｃｌａｓｓ１"であり、ユーザ判別モジュール４７によって判別されたユーザＵのユーザデモグラフィッククラスが"ｃｌａｓｓ１"であったとする。
　Ｔａ－Ｔａ'期間の映像にはユーザデモグラフィッククラスが"ｃｌａｓｓ１"である"Ｂｉｌｌ"が登場しているため、アプリケーション実行環境４３は、このＴａ－Ｔａ'期間、第１の倍速で付加画像を含む映像の再生を行う。その後時刻Ｔｃになるまで、ユーザデモグラフィッククラスが"ｃｌａｓｓ１"であるサービス対象物が映像に登場しないため、アプリケーション実行環境４３は、第１の倍速よりも高速な第２の倍速で再生を行う。なお、第２の倍速での再生時は付加画像を提示しないことによってアプリケーション実行環境４３の負担を減らすことができる。Ｔｃ－Ｔｃ'期間の映像にはユーザデモグラフィッククラスが"ｃｌａｓｓ１"である"Ｓａｍ"が登場するため、アプリケーション実行環境４３は、このＴｃ－Ｔｃ'期間、第１の倍速で付加画像を含む映像の再生を行う。時刻Ｔｃ'以後はユーザデモグラフィッククラスが"ｃｌａｓｓ１"であるサービス対象物が映像に登場しないため第２の倍速での再生が行われる。
　このように、ユーザＵのユーザデモグラフィッククラスあるいはユーザ識別情報を基に抽出されたＰＯＩメタデータに基づいて付加画像が提示されるシーンについては第１の倍速での再生を行い、その他のシーンについては第１の倍速よりも高速な第２の倍速で再生することによって、ユーザＵにとって有益な（興味のある）シーンにフォーカスしたトリックプレイ再生が実現される。
　また、ユーザＵのユーザデモグラフィッククラスあるいはユーザ識別情報を基に抽出されたＰＯＩメタデータに基づいて付加画像が提示されるシーンだけをスキップ再生してもよい。
　ここまで本実施形態の情報処理システムによるＰＯＩメタデータに基づく付加画像の提示、付加画像の提示制限、トリックプレイ再生等の機能について説明した。
　（アプリケーション実行環境４３について）
　図１１はＰＯＩメタデータを処理するアプリケーション実行環境４３の例を示す図である。
　本例では、ＰＯＩメタデータを処理するアプリケーションが、情報処理装置４のネイティブのオペレーティングシステム４８の上で動作するネイティブアプリケーション４９である場合を示している。
　図１２はＰＯＩメタデータを処理するアプリケーション実行環境４３のその他の例を示す図である。
　この例では、ＰＯＩメタデータを処理するアプリケーションが、ウェブブラウザ５６上で動作するウェブアプリケーション５７である場合を示している。この場合、ＰＯＩメタデータとウェブアプリケーション５７とが互いに同時あるいは略同時に情報処理装置４に配信される。
　（ＰＯＩメタデータの転送方法）
　情報処理装置４にウェブアプリケーションとＰＯＩメタデータとを同時に配信するために、Ｍｕｌｔｉ－ｐａｒｔ　ＭＩＭＥ（Ｍｕｌｔｉｐｕｒｐｏｓｅ　Ｉｎｔｅｒｎｅｔ　ＭＡＩｌ　Ｅｘｔｅｎｓｉｏｎｓ）フォーマットを用いて両者をパッケージングする方法がある。図１３はこのウェブアプリケーションとＰＯＩメタデータをパッケージングするＭｕｌｔｉ－ｐａｒｔ　ＭＩＭＥフォーマットの例を示す図である。このＭｕｌｔｉ－ｐａｒｔ　ＭＩＭＥフォーマットでは、ｂｏｕｎｄａｒｙ－ｐａｒｔによって区切られた各部分にＰＯＩメタデータのファイル６１、ウェブアプリケーションのファイル６２がそれぞれ個別に格納される。
　なお、ＰＯＩメタデータを処理するアプリケーションが、オペレーティングシステムをアプリケーション実行環境として動作するネイティブアプリケーションである場合や、ＰＯＩメタデータとは別途配信されるものである場合には、Ｍｕｌｔｉ－ｐａｒｔ　ＭＩＭＥフォーマットにＰＯＩメタデータファイルのみを格納して配信してもよい。
　次に、ＭＰ４ファイルのフォーマットに映像データおよび音声データなどのメディアデータのトラックと同様にＰＯＩメタデータのトラックを格納して転送する方式を説明する。
　図１４はＭＰ４ファイルのフォーマットにおけるＭｅｄｉａ　Ｓｅｇｍｅｎｔの構成を示す図である。
　同図に示すように、Ｍｅｄｉａ　Ｓｅｇｍｅｎｔは複数のＭｏｖｉｅ　Ｆｒａｇｅｎｔを有し、各々のＭｏｖｉｅ　Ｆｒａｇｅｎｔはｍｏｏｆボックスとｍｄａｔボックスで構成される。ｍｄａｔボックスには、メディアデータが例えばフレームなどの時間の単位で複数のＳａｍｐｌｅボックスに分割されてランダムアクセス可能に格納される。ｍｏｏｆボックスには、ｍｄａｔボックスの各Ｓａｍｐｌｅボックスのメディアデータを提示するタイミングを生成するための情報など、提示に関するメタデータが格納される。
　本実施形態では、ｍｄａｔボックスの各Ｓａｍｐｌｅボックスに映像データが格納されたＭｅｄｉａ　Ｓｅｇｍｅｎｔ、ｍｄａｔボックスの各Ｓａｍｐｌｅボックスに音声データが格納されたＭｅｄｉａ　Ｓｅｇｍｅｎｔ、ｍｄａｔボックスの各ＳａｍｐｌｅボックスにＰＯＩメタデータが格納されたＭｅｄｉａ　Ｓｅｇｍｅｎｔが用意される。
　なお、本実施形態では、ＭＰ４ファイルがＭＰＥＧ－ＤＡＳＨ（Ｄｙｎａｍｉｃ　Ａｄａｐｔｉｖｅ　Ｓｔｒｅａｍｉｎｇ　ｏｖｅｒ　ＨＴＴＰ）のＭｅｄｉａ　Ｓｅｇｍｅｎｔであることを前提とする。
　（ＭＰＥＧ－ＤＡＳＨについて）
　ＭＰＥＧ－ＤＡＳＨでは、ストリーミング再生が途切れないように、１つの動画コンテンツについて符号化速度と画面サイズが異なる複数のデータ群が用意される。これら複数のデータ群は、情報処理装置４の画面サイズやネットワーク帯域の状態などを考慮して動的に選択される。そのためＭＰＥＧ－ＤＡＳＨでは、上記のように１つの動画コンテンツについてどのような符号化速度と画面サイズのデータ群が用意されているかがＭＰＤ（Ｍｅｄｉａ Ｐｒｅｓｅｎｔａｔｉｏｎ Ｄｅｓｃｒｉｐｔｉｏｎ）と呼ばれるメタデータに記述される。
　次に、ＭＰＤのデータ構造の詳細を説明する。
　ＭＰＤはサーバに格納された動画コンテンツの構成に関する情報をＸＭＬ（ｅｘｔｅｎｓｉｂｌｅ　ｍａｒｋｕｐ　ｌａｎｇｕａｇｅ）形式の階層構造で記述したものである。情報処理装置４は、目的の動画コンテンツに対応するＭＰＤファイルをＭＰＤファイルサーバから取得し、解析することによって、サーバから目的の動画コンテンツの提示に必要なＭｅｄｉａ　Ｓｅｇｍｅｎｔを取得する。
　図１５はＭＰＤのデータ構造を示す図である。
　ＭＰＤは、その下に１つのＰｅｒｉｏｄと、その下位に各メディアのタイプごとに一つずつのＡｄａｐｔａｔｉｏｎＳｅｔと、さらにその下位の複数のＲｅｐｒｅｓｅｎｔａｔｉｏｎとを有する。
　ＭＰＤの階層つまり最上位階層には、１本の動画コンテンツに関する管理情報として、ＭＰＤの起点、タイトル、ストリーミング種別（オンデマンド／ライブ配信）、長さなどの情報を含む。
　Ｐｅｒｉｏｄは１つの動画コンテンツを、フレームなどの時間で分割した単位である。Ｐｅｒｉｏｄには開始時刻（ｓｔａｒｔ時刻）と終了時刻（ｅｎｄ時刻）が定義される。Ｐｅｒｉｏｄは複数のＡｄａｐｔａｔｉｏｎＳｅｔで構成される。
　ＡｄａｐｔａｔｉｏｎＳｅｔは、Ｐｅｒｉｏｄ毎の動画コンテンツのメディアタイプ（映像、音声、字幕、ＰＯＩメタデータ）ごとのデータに関するコーデック情報、言語などの情報を含む。ＡｄａｐｔａｔｉｏｎＳｅｔは、その下位に符号化速度や画像サイズの異なるデータごとのＲｅｐｒｅｓｅｎｔａｔｉｏｎを有する。
　Ｒｅｐｒｅｓｅｎｔａｔｉｏｎは、それぞれウェブサーバに蓄積される、符号化速度や画像サイズなどの異なるセグメントの符号化速度、画像サイズ、置き場所（ＵＲＬ）などの情報を含む。
　図１６はＭＰＥＧ－ＤＡＳＨサーバ１５と情報処理装置４との間でのネットワーク通信によるやりとりを示す図である。
　ＭＰＥＧ－ＤＡＳＨサーバ１５には、ＭＰＤファイル、および動画コンテンツの各種メディアのＭｅｄｉａ　Ｓｅｇｍｅｎｔが格納される。
　情報処理装置４のＣＰＵは、ＭＰＥＧ－ＤＡＳＨサーバ１５にＭＰＤファイルを要求する（ステップＳ５０１）。ＭＰＥＧ－ＤＡＳＨサーバ１５は、この要求に対してＭＰＤファイルを情報処理装置４に送信する（ステップＳ５０２）。情報処理装置４のＣＰＵは、受信したＭＰＤファイルを解析して、どのような符号化速度と画像サイズのＭｅｄｉａ　Ｓｅｇｍｅｎｔが用意されているかを確認する（ステップＳ５０３）。情報処理装置４のＣＰＵは、このＭＰＤファイルの解析結果とディスプレイの画面サイズや伝送路のネットワークトラフィクの状態などを考慮して最適な画像サイズや符号化速度のＭｅｄｉａ　ＳｅｇｍｅｎｔをＭＰＥＧ－ＤＡＳＨサーバ１５に要求する（ステップＳ５０４）。ＭＰＥＧ－ＤＡＳＨサーバ１５は、この要求に対してＭｅｄｉａ　Ｓｅｇｍｅｎｔを情報処理装置４に送信する（ステップＳ５０５）。
　次に、上記ＭＰＤとＭｅｄｉａ　Ｓｅｇｍｅｎｔとの関係を説明するために、図１４に戻って、Ｍｅｄｉａ　Ｓｅｇｍｅｎｔにおけるｍｏｏｆボックスとｍｄａｔボックスのデータ構造を説明する。
　前述したように、Ｍｅｄｉａ　Ｓｅｇｍｅｎｔは複数のＭｏｖｉｅ　Ｆｒａｇｅｎｔを有し、各々のＭｏｖｉｅ　Ｆｒａｇｅｎｔはｍｏｏｆボックスとｍｄａｔボックスで構成される。ｍｄａｔボックスには、メディアデータが例えばフレームなどの時間の単位で複数のＳａｍｐｌｅボックスに分割されてランダムアクセス可能に格納される。ｍｏｏｆボックスには、ｍｄａｔボックスの各Ｓａｍｐｌｅのメディアデータを提示するタイミングを生成するための情報など、提示に関するメタデータが格納される。
　それぞれのＳａｍｐｌｅ（１），（２），（３），…のメディアデータの提示開始時刻ＰｒｅｓｅｎｔａｔｉｏｎＴｉｍｅ（１），（２），（３），…を生成するための情報として、ｍｏｏｆボックスの所定の下位ボックス（ｍｏｏｆ／ｔｒａｆボックス）にはＢａｓｅＭｅｄｉａＤｅｃｏｄｅＴｉｍｅが格納され、さらにその他のボックス（ｔｒｕｎボックス）には、Ｓａｍｐｌｅ（１），（２），（３），…にそれぞれ対応付けられた情報として、ＳａｍｐｌｅＣｏｕｎｔ（１），（２），（３），…、ＳａｍｐｌｅＤｕｒａｔｉｏｎ（１），（２），（３），…、ＣｏｍｐｏｓｉｔｉｏｎＴｉｍｅＯｆｆｓｅｔ（１），（２），（３），…が格納される。ＢａｓｅＭｅｄｉａＤｅｃｏｄｅＴｉｍｅは、Ｐｅｒｉｏｄの起点からＭｏｖｉｅ　Ｆｒａｇｍｅｎｔの起点までの相対時間の情報である。ＳａｍｐｌｅＣｏｕｎｔ（１），（２），（３），…はＳａｍｐｌｅの数、ＳａｍｐｌｅＤｕｒａｔｉｏｎ（１），（２），（３），…はＳａｍｐｌｅ（１），（２），（３），…の長さ、ＣｏｍｐｏｓｉｔｉｏｎＴｉｍｅＯｆｆｓｅｔ（１），（２），（３），…は調整時間である。
　次に、Ｓａｍｐｌｅの提示開始時刻ＰｒｅｓｅｎｔａｔｉｏｎＴｉｍｅの計算方法を示す。
　Ｎ番目のＳａｍｐｌｅの提示開始時刻をＰｒｅｓｅｎｔａｔｉｏｎＴｉｍｅ（Ｎ）とすると、ＰｒｅｓｅｎｔａｔｉｏｎＴｉｍｅ（Ｎ）は、ＢａｓｅＭｅｄｉａＤｅｃｏｄｅＴｉｍｅ＋（Ｎ－１番目までのＳａｍｐｌｅ（１），…，（Ｎ－１）のＳａｍｐｌｅＤｕｒａｔｉｏｎ（１），…，（Ｎ－１）の合計）＋（Ｎ番目のＳａｍｐｌｅのＣｏｍｐｏｓｉｔｉｏｎＴｉｍｅＯｆｆｓｅｔ）（Ｎ）により算出される。
　（ＭＰＥＧ－ＤＡＳＨ動画コンテンツの典型的な提示制御）
　図１７はＭＰＥＧ－ＤＡＳＨ動画コンテンツの提示制御の流れを示す図である。
　同図において、横軸は実時間（ＵＴＣ　ｔｉｍｅ）の軸とする。情報処理装置４のＣＰＵは、ＭＰＤファイルに定義されたＭＰＤの起点を基準に、ＰｅｒｉｏｄにＭＰＤの起点に対する相対時間として定義された開始時刻をもとに最初のＰｅｒｉｏｄの実時間上の起点を生成する。
　続いて、情報処理装置４のＣＰＵは、ＢａｓｅＭｅｄｉａＤｅｃｏｄｅＴｉｍｅに基づいてＭｏｖｉｅ　Ｆｒａｇｍｅｎｔの実時間上の起点を生成し、さらにＳａｍｐｌｅＣｏｕｎｔ、ＳａｍｐｌｅＤｕｒａｔｉｏｎ、ＣｏｍｐｏｓｉｔｉｏｎＴｉｍｅＯｆｆｓｅｔを用いて、Ｐｅｒｉｏｄの最初のＳａｍｐｌｅ（１）の提示開始時刻（ＰｒｅｓｅｎｔａｔｉｏｎＴｉｍｅ（１））を生成し、その時刻から最初のＳａｍｐｌｅ（１）の提示を開始する。続いて、情報処理装置４のＣＰＵは、次のＳａｍｐｌｅ（２）の提示開始時刻（ＰｒｅｓｅｎｔａｔｉｏｎＴｉｍｅ（２））を同様に生成して、その時刻に提示する対象をＳａｍｐｌｅ（１）からＳａｍｐｌｅ（２）に切り替える。以降同様にＳａｍｐｌｅの提示の切り替えが行われる。このようにして、各Ｓａｍｐｌｅ（１），（２），…の映像が時間的に途切れることなく提示される。
　本実施形態では、ＭＰＤファイルにＰＯＩメタデータに対応するＡｄａｐｔａｔｉｏｎＳｅｔを追加したことによって、ＭＰＥＧ－ＤＡＳＨ動画コンテンツの提示制御方法をそのまま踏襲して付加画像の提示制御を行うことが可能となる。これにより、ＭＰＥＧ－ＤＡＳＨ動画コンテンツの映像および音声などの各メディアと同期させて付加画像を提示させることができる。
　例えば、図１８に示すように、実時間上Ｔ１からＴ２のＰｅｒｉｏｄ（Ｔ１－Ｔ２）の映像に同期して付加画像を提示する場合には、ＭＰＤのＰｅｒｉｏｄ（Ｔ１－Ｔ２）の下位階層にＰＯＩメタデータのＡｄａｐｔａｔｉｏｎＳｅｔ（Ｔ１－Ｔ２）が追加される。さらに、実時間上Ｔ２からＴ３のＰｅｒｉｏｄ（Ｔ２－Ｔ３）の映像に同期して付加画像を提示する場合には、ＭＰＤのＰｅｒｉｏｄ（Ｔ２－Ｔ３）の下位階層にＰＯＩメタデータのＡｄａｐｔａｔｉｏｎＳｅｔ（Ｔ２－Ｔ３）が追加される。
　図１９は、ＰＯＩメタデータのＡｄａｐｔａｔｉｏｎＳｅｔが追加されたＭＰＤのより具体的な例を示す図である。
　このＭＰＤの最上位階層には@ａｖＡＩｌａｂｉｌｉｔｙＳｔａｒｔＴｉｍｅ=Ｔ０と記述されている。これは、動画コンテンツの時間の起点がＴ０であることを示す。その下位階層には２つのＰｅｒｉｏｄが格納される。２つのＰｅｒｉｏｄのうち、最初のＰｅｒｉｏｄはＴ０の起点から０ｓｅｃ後に開始され、２番目のＰｅｒｉｏｄはＴ０の起点から１００ｓｅｃ後に開始されることが定義される。
　この例では、２番目のＰｅｒｉｏｄのＡｄａｐｔａｔｉｏｎＳｅｔとして映像、音声およびＰＯＩメタデータそれぞれのＡｄａｐｔａｔｉｏｎＳｅｔが存在する。映像のＡｄａｐｔａｔｉｏｎＳｅｔの下位階層には異なる符号化速度（２５６Ｋｂｐｓ／５１２Ｋｂｐｓ）を示した２つのＲｅｐｒｅｓｅｎｔａｔｉｏｎが存在する。それぞれのＲｅｐｒｅｓｅｎｔａｔｉｏｎの下位階層には、映像のＭｅｄｉａ　Ｓｅｇｍｅｎｔの置き場所を示すＵＲＬの生成方法や取得周期などが記述されたＳｅｇｍｅｎｔＴｅｍｐｌａｔｅが存在する。
　ここで、"＠ｔｉｍｅｓｃａｌｅ＝"１０００""、"＠ｄｕｒａｔｉｏｎ＝"１０００""は、１／１０００秒のタイムスケールで１０００分の値つまり１秒をセグメント時間長として、このセグメント時間長の周期で映像を取得できることを意味する。"＠Ｍｅｄｉａ="＄Ｎｕｍｂｅｒ％６ｄ＄．ｍ４ｓ""は各Ｓａｍｐｌｅの映像の置き場所を示すＵＲＬの最下位の値の生成方法を示し、具体的には６桁の値の１から増加する整数を意味する。例えば、ＳａｍｐｌｅのＵＲＬは、ＭＰＤの各要素に記述された"ＢａｓｅＵＲＬ"が示す値をパス形式に繋ぎ、最後に"@Ｍｅｄｉａ="＄Ｎｕｍｂｅｒ％６ｄ＄．ｍ４ｓ""により生成される６桁の値を付加することによって生成される。すなわち、映像の１番目のＳａｍｐｌｅのＵＲＬは"ＨＴＴＰ：／／ａ.ｃｏｍ／ｐ２／ｖｉｄｅｏ／５１２／０００００１.ｍ４ｓ"のように作成される。"＠ｉｎｉｔｉａｌｉｚａｔｉｏｎ＝"ＩＳ．ｍｐ４""は、映像の１番目のＭｅｄｉａ　ＳｅｇｍｅｎｔのＩｎｉｔｉａｌｉｚａｔｉｏｎ　ＳｅｇｍｅｎｔのＵＲＬに用いられる値である。このＩｎｉｔｉａｌｉｚａｔｉｏｎ　ＳｅｇｍｅｎｔのＵＲＬについても、ＭＰＤの各要素に記述された"ＢａｓｅＵＲＬ"が示す値をパス形式に繋ぎ、最後に"ＩＳ．ｍｐ４"を付加することによって生成される。例えば、"ＨＴＴＰ：／／ａ.ｃｏｍ／ｐ２／ｖｉｄｅｏ／５１２／ＩＳ．ｍｐ４"のように作成される。
　ＰＯＩメタデータのＡｄａｐｔａｔｉｏｎＳｅｔの下位階層にはＲｅｐｒｅｓｅｎｔａｔｉｏｎが存在し、さらにその下位階層にはＰＯＩメタデータのＭｅｄｉａ　Ｓｅｇｍｅｎｔの置き場所を示すＵＲＬの生成方法や取得周期などが記述されたＳｅｇｍｅｎｔＴｅｍｐｌａｔｅが存在する。このＰＯＩメタデータのＭｅｄｉａ　Ｓｅｇｍｅｎｔの置き場所を示すＵＲＬの生成方法は映像のＭｅｄｉａ　Ｓｅｇｍｅｎｔの置き場所を示すＵＲＬの生成方法と同じであってよい。また、ＰＯＩメタデータのＩｎｉｔｉａｌｉｚａｔｉｏｎ　Ｓｅｇｍｅｎｔの置き場所を示すＵＲＬの生成方法も映像のＩｎｉｔｉａｌｉｚａｔｉｏｎ　Ｓｅｇｍｅｎｔの置き場所を示すＵＲＬの生成方法と同じであってよい。ＰＯＩメタデータのＩｎｉｔｉａｌｉｚａｔｉｏｎ　Ｓｅｇｍｅｎｔには、Ｍｅｄｉａ　ＳｅｇｍｅｎｔにＰＯＩメタデータがＳａｍｐｌｅとして格納されることを識別する情報が含まれる。具体的には、Ｉｎｉｔｉａｌｉｚａｔｉｏｎ　Ｓｅｇｍｅｎｔのｍｏｏｖ（ＭｏｖｉｅＢｏｘ）／ｔｒａｋ（ＴｒａｃｋＢｏｘ）／ｍｄｉａ（ＭｅｄｉａＢｏｘ）／ｈｄｌｒ（ＨａｎｄｌｅｒＢｏｘ）のｈａｎｄｌｅｒ＿ｔｙｐｅフィールドの値が"ｍｅｔａ"であることによって、ＰＯＩメタデータがＭｅｄｉａ　ＳｅｇｍｅｎｔにＳａｍｐｌｅとして格納されることを識別することができる。
　情報処理装置４のＣＰＵは、上記のように生成されるＵＲＬに基づいて、動画コンテンツの映像、音声およびＰＯＩメタデータをそれぞれＳａｍｐｌｅの単位で取得することができる。
　図２０は、ＭＰＤに基づく映像および付加画像の提示の流れを示す図である。
　映像の各Ｓａｍｐｌｅ（１），（２），（３）を提示する処理は上述したとおりである。
　ここで、情報処理装置４のＣＰＵは、映像の最初のＳａｍｐｌｅ（１）の実時間上の提示開始時刻（ＰｒｅｓｅｎｔａｔｉｏｎＴｉｍｅ）（１）から次のＳａｍｐｌｅ（２）の実時間上の提示開始時刻（ＰｒｅｓｅｎｔａｔｉｏｎＴｉｍｅ）（２）までの間に、ＰＯＩメタデータ（１）に基づく付加画像の提示処理を行う。この後、情報処理装置４のＣＰＵは、Ｓａｍｐｌｅ（２）の実時間上の提示開始時刻（ＰｒｅｓｅｎｔａｔｉｏｎＴｉｍｅ）（２）からその次のＳａｍｐｌｅ（３）の実時間上の提示開始時刻（ＰｒｅｓｅｎｔａｔｉｏｎＴｉｍｅ）（３）までの間にＰＯＩメタデータ（２）に基づく付加画像の提示処理を行い、さらにＳａｍｐｌｅ（２）の実時間上の提示開始時刻（ＰｒｅｓｅｎｔａｔｉｏｎＴｉｍｅ）（３）からその次のＳａｍｐｌｅ（３）の実時間上の提示開始時刻（ＰｒｅｓｅｎｔａｔｉｏｎＴｉｍｅ）（４）までの間にＰＯＩメタデータ（３）に基づく付加画像の提示処理を行う。
　以上のように、本実施形態では、ＭＰＤファイルにＰＯＩメタデータのためのＡｄａｐｔａｔｉｏｎＳｅｔを追加することによって、ＰＯＩメタデータに基づく付加画像の提示制御を、映像、音声などの他の種類のメディアの提示制御と同じ仕組みで行うことができるとともに、映像、音声などの他の種類のメディアと付加画像を正確に同期させて提示することができる。
　（付加画像の提示位置の移動）
　図２１は映像中のサービス対象物が時間に沿って移動する場合にそのサービス対象物の移動に伴って付加画像の提示位置も移動させる場合のＰＯＩメタデータを示す図である。
　ここで、Ｔ１はＰＯＩメタデータ（１）に基づく付加画像の提示開始時刻、Ｔ２はＰＯＩメタデータ（２）に基づく付加画像の提示開始時刻、Ｔ３はＰＯＩメタデータ（３）に基づく付加画像の提示開始時刻である。Ｔ１－Ｔ２はＰＯＩメタデータ（１）に基づく付加画像の提示期間であり、この期間、付加画像は、ＰＯＩメタデータ（１）中のＰＯＩＰｏｓｉｔｉｏｎ要素の値（ｘ＝ｘ１,ｙ＝ｙ１）が示す位置に提示される。Ｔ２－Ｔ３はＰＯＩメタデータ（２）に基づく付加画像の提示期間であり、この期間、付加画像は、ＰＯＩメタデータ（２）中のＰＯＩＰｏｓｉｔｉｏｎ要素の値（ｘ＝ｘ２,ｙ＝ｙ２）が示す位置に提示される。そしてＴ３－Ｔ４はＰＯＩメタデータ（３）に基づく付加画像の提示期間であり、この期間、付加画像は、ＰＯＩメタデータ（３）中のＰＯＩＰｏｓｉｔｉｏｎ要素の値（ｘ＝ｘ３,ｙ＝ｙ３）が示す位置に提示される。
　このように、各ＳａｍｐｌｅのＰＯＩメタデータにおけるＰＯＩＰｏｓｉｔｉｏｎ要素の値を、移動するサービス対象物の位置に合わせて決めることによって、付加画像の提示位置をサービス対象物の移動に正確に同期させて移動させることができる。
　（ＰＯＩメタデータの複数サンプル時間をまたがる提示更新制御）
　ここまで、各Ｓａｍｐｌｅの映像にＰＯＩメタデータを１対１に対応付けて付加画像の提示制御が行われる場合を想定したが、１つのＰＯＩメタデータを連続する複数のＳａｍｐｌｅの映像に適用させてもよい。この場合、図２２に示すように、ＰＯＩメタデータのファイル６３、６４、６５を格納したパッケージ６６、６７、６８に記述されるＰＯＩメタデータの識別子（ｍｅｔａｄａｔａＵＲＩ）の値にバージョン情報（Ｖｅｒｓｉｏｎ）が付加される。このバージョン情報は、直前のＰＯＩメタデータに対して内容の変化がない場合には、直前のＰＯＩメタデータを格納したパッケージに記述されるバージョン情報と同じ値とされ、直前のＰＯＩメタデータに対して内容の変化がある場合にはインクリメントされた値に設定される。
　これにより、アプリケーション実行環境４３のアプリケーションは、映像のＳａｍｐｌｅ間の切り替えにおいて、切り替え前後の各バージョン情報の値が変化した場合には、ＰＯＩメタデータに基づく付加画像の提示のための演算を行い、各バージョン情報の値に変化がない場合には、改めてＰＯＩメタデータに基づく付加画像の提示のための演算を行うことなく付加画像をそのまま提示し続ける。これにより、付加画像の提示のための演算の負荷を低減させることができる。
　例えば、図２２に示すように、Ｓａｍｐｌｅ（１）の映像に対応するＰＯＩメタデータ（１）の識別子（ｍｅｔａｄａｔａＵＲＩ）に付加されたバージョン情報の値は"１"、２番目のＳａｍｐｌｅ（２）の映像に対応するＰＯＩメタデータ（２）の識別子（ｍｅｔａｄａｔａＵＲＩ）に付加されたバージョン情報の値は"２"、３番目のＳａｍｐｌｅ（３）の映像に対応するＰＯＩメタデータ（３）の識別子（ｍｅｔａｄａｔａＵＲＩ）に付加されたバージョン情報の値は"２"である。この場合、２番目のＳａｍｐｌｅ（２）の映像と３番目のＳａｍｐｌｅ（３）の映像との切り替えにおいて、３番目のＳａｍｐｌｅ（３）の映像に対応するＰＯＩメタデータ（３）に基づく付加画像の提示のための演算を行うことなく、２番目のＳａｍｐｌｅ（２）の映像に付加された付加画像が３番目のＳａｍｐｌｅ（３）の映像にもそのまま続けて提示される。
　なお、本技術は、上述の実施形態にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。
　本技術は以下のような構成も採ることができる。
（１）　ユーザからの音声による要求を処理するサービスを利用可能なサービス対象物を含む映像データを取得して再生するメディア再生部と、
　前記再生した映像に前記サービス対象物を前記ユーザに教示するための付加画像を付加する制御部と
　を具備する情報処理装置。
（２）前記（１）に記載の情報処理装置であって、
　前記付加画像は、前記サービス対象物が前記サービスにおいて音声認識によって一意に判別され得るように、前記サービス対象物毎にユニークな視覚的特徴を有する
　情報処理装置。
（３）前記（１）から（２）のうちいずれか１つに記載の情報処理装置であって、
　前記付加画像は、前記サービス対象物に付随した位置に提示される
　情報処理装置。
（４）前記（１）から（３）のうちいずれか１つに記載の情報処理装置であって、
　前記制御部は、前記ユーザまたは前記ユーザの属性に応じて、前記付加画像が付加される前記サービス対象物を制限するように構成された
　情報処理装置。
（５）前記（１）から（４）のうちいずれか１つに記載の情報処理装置であって、
　前記制御部は、前記ユーザまたは前記ユーザの属性に応じて前記付加画像が付加された前記サービス対象物が登場する期間の映像をスキップ再生するように構成された
　情報処理装置。
（６）前記（１）から（４）のうちいずれか１つに記載の情報処理装置であって、
　前記制御部は、前記ユーザまたは前記ユーザの属性に応じて前記付加画像が付加された前記サービス対象物が登場する期間の映像を第１の倍速で再生し、前記サービス対象物が登場しない期間の映像を前記第１の倍速よりも高速な第２の速度で再生するように構成された
　情報処理装置。
（７）前記（１）から（６）のうちいずれか１つに記載の情報処理装置であって、
　前記制御部は、前記付加情報を生成するためのメタデータを取得し、前記取得したメタデータに基づき前記付加情報を付加するように構成された
　情報処理装置。
（８）前記（１）から（７）のうちいずれか１つに記載の情報処理装置であって、
　前記制御部は、前記メタデータを処理するためのウェブアプリケーションを取得し、前記取得したウェブアプリケーションに従って前記メタデータを処理するように構成された
　情報処理装置。
（９）前記（１）から（８）のうちいずれか１つに記載の情報処理装置であって、
　前記制御部は、前記メタデータのＡｄａｐｔａｔｉｏｎＳｅｔを含むＭＰＤファイルを取得し、このＭＰＤファイルを解析して、前記映像データおよび前記メタデータをそれぞれＭＰＥＧ－ＤＡＳＨのＭｅｄｉａ　Ｓｅｇｍｅｎｔとして取得し、前記映像データと、前記メタデータに基づく前記付加画像とを互いに同期させて提示するように構成された
　情報処理装置。
（１０）前記（１）から（９）のうちいずれか１つに記載の情報処理装置であって、
　前記制御部は、前記メタデータのバージョン情報に基づいて、時間的に前後する前側のメタデータと後側のメタデータとの内容の変化の有無を判別し、変化がない場合、前記前側のメタデータに基づき映像に付加した付加画像を、前記後側のメタデータに基づく付加画像として、前記後側のメタデータに同期する映像に付加するように構成された
　情報処理装置。
（１１）前記（１）から（１０）のうちいずれか１つに記載の情報処理装置であって、
　前記付加画像の視覚的特徴が、前記サービス対象物に関する文字列、色、形状、またはアイコンのいずれか１つによって与えられる
　情報処理装置。
（１２）ユーザからの音声による要求を処理するサービスを利用可能なサービス対象物を含む映像データを取得して再生し、
　前記再生した映像に前記サービス対象物を前記ユーザに教示するための付加画像を付加する
　情報処理方法。
（１３）前記（１２）に記載の情報処理方法であって、
　前記付加画像は、前記サービス対象物が前記サービスにおいて音声認識によって一意に判別され得るように、前記サービス対象物毎にユニークな視覚的特徴を有する
　情報処理方法。
（１４）前記（１２）または（１３）に記載の情報処理方法であって、
　前記付加画像は、前記サービス対象物に付随した位置に提示される
　情報処理方法。
（１５）前記（１２）から（１４）のうちいずれか１つに記載の情報処理方法であって、
　前記ユーザまたは前記ユーザの属性に応じて、前記付加画像が付加される前記サービス対象物を制限する
　情報処理方法。
（１６）前記（１２）から（１５）のうちいずれか１つに記載の情報処理方法であって、
　前記ユーザまたは前記ユーザの属性に応じて前記付加画像が付加された前記サービス対象物が登場する期間の映像をスキップ再生する
　情報処理方法。
（１７）前記（１２）から（１５）のうちいずれか１つに記載の情報処理方法であって、
　前記ユーザまたは前記ユーザの属性に応じて前記付加画像が付加された前記サービス対象物が登場する期間の映像を第１の倍速で再生し、前記サービス対象物が登場しない期間の映像を前記第１の倍速よりも高速な第２の速度で再生する
　情報処理方法。
（１８）前記（１２）から（１７）のうちいずれか１つに記載の情報処理方法であって、
　前記付加情報を生成するためのメタデータを取得し、前記取得したメタデータに基づき前記付加情報を付加する
　情報処理方法。
（１９）前記（１２）から（１８）のうちいずれか１つに記載の情報処理方法であって、
　前記メタデータを処理するためのウェブアプリケーションを取得し、前記取得したウェブアプリケーションに従って前記メタデータを処理する
　情報処理方法。
（２０）前記（１２）から（１９）のうちいずれか１つに記載の情報処理方法であって、
　前記メタデータのＡｄａｐｔａｔｉｏｎＳｅｔを含むＭＰＤファイルを取得し、このＭＰＤファイルを解析して、前記映像データおよび前記メタデータをそれぞれＭＰＥＧ－ＤＡＳＨのＭｅｄｉａ　Ｓｅｇｍｅｎｔとして取得し、前記映像データと、前記メタデータに基づく前記付加画像とを互いに同期させて提示する
　情報処理方法。
（２１）前記（１２）から（２０）のうちいずれか１つに記載の情報処理方法であって、
　前記メタデータのバージョン情報に基づいて、時間的に前後する前側のメタデータと後側のメタデータとの内容の変化の有無を判別し、変化がない場合、前記前側のメタデータに基づき映像に付加した付加画像を、前記後側のメタデータに基づく付加画像として、前記後側のメタデータに同期する映像に付加する
　情報処理方法。
（２２）前記（１２）から（２１）のうちいずれか１つに記載の情報処理方法であって、
　前記付加画像の視覚的特徴が、前記サービス対象物に関する文字列、色、形状、またはアイコンのいずれか１つによって与えられる
　情報処理方法。
（２３）ユーザからの音声による要求を処理するサービスを利用可能なサービス対象物を含む映像データをコンピュータにて再生するとき、前記再生した映像に前記サービス対象物を前記ユーザに教示するための付加画像を付加するようにコンピュータを機能させるプログラム。
（２４）前記（２３）に記載のプログラムであって、
　前記付加画像は、前記サービス対象物が前記サービスにおいて音声認識によって一意に判別され得るように、前記サービス対象物毎にユニークな視覚的特徴を有する
　プログラム。
（２５）前記（２３）または（２４）に記載のプログラムであって、
　前記付加画像は、前記サービス対象物に付随した位置に提示される
　プログラム。
（２６）前記（２３）から（２５）のうちいずれか１つに記載のプログラムであって、
　前記制御部は、前記ユーザまたは前記ユーザの属性に応じて、前記付加画像が付加される前記サービス対象物を制限する
　プログラム。
（２７）前記（２３）から（２６）のうちいずれか１つに記載のプログラムであって、
　前記制御部は、前記ユーザまたは前記ユーザの属性に応じて前記付加画像が付加された前記サービス対象物が登場する期間の映像をスキップ再生する
　プログラム。
（２８）前記（２３）から（２６）のうちいずれか１つに記載のプログラムであって、
　前記制御部は、前記ユーザまたは前記ユーザの属性に応じて前記付加画像が付加された前記サービス対象物が登場する期間の映像を第１の倍速で再生し、前記サービス対象物が登場しない期間の映像を前記第１の倍速よりも高速な第２の速度で再生する
　プログラム。
（２９）前記（２３）から（２８）のうちいずれか１つに記載のプログラムであって、
　前記制御部は、前記付加情報を生成するためのメタデータを取得し、前記取得したメタデータに基づき前記付加情報を付加する
　プログラム。
（３０）前記（２３）から（２８）のうちいずれか１つに記載のプログラムであって、
　前記制御部は、前記メタデータのバージョン情報に基づいて、時間的に前後する前側のメタデータと後側のメタデータとの内容の変化の有無を判別し、変化がない場合、前記前側のメタデータに基づき映像に付加した付加画像を、前記後側のメタデータに基づく付加画像として、前記後側のメタデータに同期する映像に付加する
　プログラム。
（３１）前記（２３）から（２９）のうちいずれか１つに記載のプログラムであって、
　前記付加画像の視覚的特徴が、前記サービス対象物に関する文字列、色、形状、またはアイコンのいずれか１つによって与えられる
　プログラム。
　４…情報処理装置
　１１…動画コンテンツサーバ
　１２…アプリケーションサーバ
　１３…ＰＯＩメタデータサーバ
　４１…ＡＶデコーダ
　４２…ＰＯＩメタデータ処理モジュール
　４３…アプリケーション実行環境
　４４…レンダラ
　４５…ディスプレイ
　４６…スピーカ
　４７…ユーザ判別モジュール

Claims (13)

  1. 　ユーザからの音声による要求を処理するサービスを利用可能なサービス対象物を含む映像データを取得して再生するメディア再生部と、
    　前記再生した映像に前記サービス対象物を前記ユーザに教示するための付加画像を付加する制御部と
    　を具備する情報処理装置。
  2. 　請求項１に記載の情報処理装置であって、
    　前記付加画像は、前記サービス対象物が前記サービスにおいて音声認識によって一意に判別され得るように、前記サービス対象物毎にユニークな視覚的特徴を有する
    　情報処理装置。
  3. 　請求項２に記載の情報処理装置であって、
    　前記付加画像は、前記サービス対象物に付随した位置に提示される
    　情報処理装置。
  4. 　請求項３に記載の情報処理装置であって、
    　前記制御部は、前記ユーザまたは前記ユーザの属性に応じて、前記付加画像が付加される前記サービス対象物を制限するように構成された
    　情報処理装置。
  5. 　請求項４に記載の情報処理装置であって、
    　前記制御部は、前記ユーザまたは前記ユーザの属性に応じて前記付加画像が付加された前記サービス対象物が登場する期間の映像をスキップ再生するように構成された
    　情報処理装置。
  6. 　請求項５に記載の情報処理装置であって、
    　前記制御部は、前記ユーザまたは前記ユーザの属性に応じて前記付加画像が付加された前記サービス対象物が登場する期間の映像を第１の倍速で再生し、前記サービス対象物が登場しない期間の映像を前記第１の倍速よりも高速な第２の速度で再生するように構成された
    　情報処理装置。
  7. 　請求項６に記載の情報処理装置であって、
    　前記制御部は、前記付加情報を生成するためのメタデータを取得し、前記取得したメタデータに基づき前記付加情報を付加するように構成された
    　情報処理装置。
  8. 　請求項７に記載の情報処理装置であって、
    　前記制御部は、前記メタデータを処理するためのウェブアプリケーションを取得し、前記取得したウェブアプリケーションに従って前記メタデータを処理するように構成された
    　情報処理装置。
  9. 　請求項８に記載の情報処理装置であって、
    　前記制御部は、前記メタデータのＡｄａｐｔａｔｉｏｎＳｅｔを含むＭＰＤファイルを取得し、このＭＰＤファイルを解析して、前記映像データおよび前記メタデータをそれぞれＭＰＥＧ－ＤＡＳＨのＭｅｄｉａ　Ｓｅｇｍｅｎｔとして取得し、前記映像データと、前記メタデータに基づく前記付加画像とを互いに同期させて提示するように構成された
    　情報処理装置。
  10. 　請求項９に記載の情報処理装置であって、
    　前記制御部は、前記メタデータのバージョン情報に基づいて、時間的に前後する前側のメタデータと後側のメタデータとの内容の変化の有無を判別し、変化がない場合、前記前側のメタデータに基づき映像に付加した付加画像を、前記後側のメタデータに基づく付加画像として、前記後側のメタデータに同期する映像に付加するように構成された
    　情報処理装置。
  11. 　請求項２に記載の情報処理装置であって、
    　前記付加画像の視覚的特徴が、前記サービス対象物に関する文字列、色、形状、またはアイコンのいずれか１つによって与えられる
    　情報処理装置。
  12. 　ユーザからの音声による要求を処理するサービスを利用可能なサービス対象物を含む映像データを取得して再生し、
    　前記再生した映像に前記サービス対象物を前記ユーザに教示するための付加画像を付加する
    　情報処理方法。
  13. 　ユーザからの音声による要求を処理するサービスを利用可能なサービス対象物を含む映像データを取得して再生するメディア再生部と、
    　前記再生した映像に前記サービス対象物を前記ユーザに教示するための付加画像を付加する制御部として、
    　コンピュータを機能させるプログラム。
PCT/JP2019/008140 2018-03-15 2019-03-01 情報処理装置、情報処理装置およびプログラム WO2019176590A1 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
EP19767400.5A EP3767964A1 (en) 2018-03-15 2019-03-01 Information processing device, information processing device, and program
CN201980018039.7A CN111837401B (zh) 2018-03-15 2019-03-01 信息处理设备、信息处理方法
KR1020207024913A KR102659489B1 (ko) 2018-03-15 2019-03-01 정보 처리 장치, 정보 처리 장치 및 프로그램
US16/975,286 US11689776B2 (en) 2018-03-15 2019-03-01 Information processing apparatus, information processing apparatus, and program
JP2020506396A JP7237927B2 (ja) 2018-03-15 2019-03-01 情報処理装置、情報処理装置およびプログラム
US18/313,259 US20230276105A1 (en) 2018-03-15 2023-05-05 Information processing apparatus, information processing apparatus, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018048032 2018-03-15
JP2018-048032 2018-03-15

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US16/975,286 A-371-Of-International US11689776B2 (en) 2018-03-15 2019-03-01 Information processing apparatus, information processing apparatus, and program
US18/313,259 Continuation US20230276105A1 (en) 2018-03-15 2023-05-05 Information processing apparatus, information processing apparatus, and program

Publications (1)

Publication Number Publication Date
WO2019176590A1 true WO2019176590A1 (ja) 2019-09-19

Family

ID=67906666

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/008140 WO2019176590A1 (ja) 2018-03-15 2019-03-01 情報処理装置、情報処理装置およびプログラム

Country Status (6)

Country Link
US (2) US11689776B2 (ja)
EP (1) EP3767964A1 (ja)
JP (1) JP7237927B2 (ja)
KR (1) KR102659489B1 (ja)
CN (1) CN111837401B (ja)
WO (1) WO2019176590A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002369180A (ja) * 2001-06-07 2002-12-20 Kyocera Corp 携帯端末、画像配信サーバ並びに情報表示方法
JP2012249156A (ja) * 2011-05-30 2012-12-13 Sony Corp 情報処理装置、情報処理方法、及びプログラム
JP2015022310A (ja) 2013-07-19 2015-02-02 英奇達資訊股▲ふん▼有限公司 音声アシスタントパーソナライズの方法
JP2015154195A (ja) * 2014-02-13 2015-08-24 Ｎｅｃパーソナルコンピュータ株式会社 情報処理装置、情報処理方法、及びプログラム

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0981361A (ja) * 1995-09-12 1997-03-28 Toshiba Corp 画像表示方法、データ収集方法及び対象物特定方法
AU2002213071A1 (en) * 2000-10-11 2002-04-22 United Video Properties, Inc. Systems and methods for supplementing on-demand media
ATE497227T1 (de) * 2001-08-02 2011-02-15 Intellocity Usa Inc Nachbereitung von anzeige änderungen
US8196168B1 (en) 2003-12-10 2012-06-05 Time Warner, Inc. Method and apparatus for exchanging preferences for replaying a program on a personal video recorder
JP5331773B2 (ja) * 2010-10-14 2013-10-30 株式会社ソニー・コンピュータエンタテインメント 動画再生装置、情報処理装置および動画再生方法
US20140028780A1 (en) * 2012-05-31 2014-01-30 Volio, Inc. Producing content to provide a conversational video experience
US8843953B1 (en) * 2012-06-24 2014-09-23 Time Warner Cable Enterprises Llc Methods and apparatus for providing parental or guardian control and visualization over communications to various devices in the home
US20140089423A1 (en) 2012-09-27 2014-03-27 United Video Properties, Inc. Systems and methods for identifying objects displayed in a media asset
JP2014230055A (ja) * 2013-05-22 2014-12-08 ソニー株式会社 コンテンツ供給装置、コンテンツ供給方法、プログラム、およびコンテンツ供給システム
WO2015008538A1 (ja) * 2013-07-19 2015-01-22 ソニー株式会社 情報処理装置および情報処理方法
US9137558B2 (en) * 2013-11-26 2015-09-15 At&T Intellectual Property I, Lp Method and system for analysis of sensory information to estimate audience reaction
US20160381412A1 (en) * 2015-06-26 2016-12-29 Thales Avionics, Inc. User centric adaptation of vehicle entertainment system user interfaces
US9883249B2 (en) * 2015-06-26 2018-01-30 Amazon Technologies, Inc. Broadcaster tools for interactive shopping interfaces
JP6624958B2 (ja) * 2016-02-03 2019-12-25 キヤノン株式会社 通信装置、通信システム、通信制御方法およびコンピュータプログラム
US10154293B2 (en) * 2016-09-30 2018-12-11 Opentv, Inc. Crowdsourced playback control of media content
KR102524180B1 (ko) * 2017-11-15 2023-04-21 삼성전자주식회사 디스플레이장치 및 그 제어방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002369180A (ja) * 2001-06-07 2002-12-20 Kyocera Corp 携帯端末、画像配信サーバ並びに情報表示方法
JP2012249156A (ja) * 2011-05-30 2012-12-13 Sony Corp 情報処理装置、情報処理方法、及びプログラム
JP2015022310A (ja) 2013-07-19 2015-02-02 英奇達資訊股▲ふん▼有限公司 音声アシスタントパーソナライズの方法
JP2015154195A (ja) * 2014-02-13 2015-08-24 Ｎｅｃパーソナルコンピュータ株式会社 情報処理装置、情報処理方法、及びプログラム

Also Published As

Publication number Publication date
KR20200128530A (ko) 2020-11-13
US11689776B2 (en) 2023-06-27
US20230276105A1 (en) 2023-08-31
EP3767964A4 (en) 2021-01-20
KR102659489B1 (ko) 2024-04-23
JP7237927B2 (ja) 2023-03-13
JPWO2019176590A1 (ja) 2021-03-18
EP3767964A1 (en) 2021-01-20
CN111837401B (zh) 2023-10-10
CN111837401A (zh) 2020-10-27
US20200396516A1 (en) 2020-12-17

Similar Documents

Publication Publication Date Title
US11468917B2 (en) Providing enhanced content
US8776150B2 (en) Implementation method and system for a media-on-demand frame-spanning playing mode in a peer-to-peer network
US20100169906A1 (en) User-Annotated Video Markup
JP2018513583A (ja) オーディオビデオファイルのライブストリーミング方法、システム及びサーバー
CN104065979A (zh) 一种动态显示和视频内容相关联信息方法及系统
US20230336842A1 (en) Information processing apparatus, information processing method, and program for presenting reproduced video including service object and adding additional image indicating the service object
JP2016213709A (ja) 動画再生システム、クライアント装置、サーバ装置及びプログラム
WO2019176590A1 (ja) 情報処理装置、情報処理装置およびプログラム
US20090328102A1 (en) Representative Scene Images
JP2018056811A (ja) 端末装置、コンテンツ再生システム、コンテンツ再生方法、およびプログラム
US20090307725A1 (en) Method for providing contents information in vod service and vod system implemented with the same

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19767400

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020506396

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2019767400

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2019767400

Country of ref document: EP

Effective date: 20201015