WO2018211748A1 - 情報処理装置および情報処理方法 - Google Patents

情報処理装置および情報処理方法 Download PDF

Info

Publication number
WO2018211748A1
WO2018211748A1 PCT/JP2018/003458 JP2018003458W WO2018211748A1 WO 2018211748 A1 WO2018211748 A1 WO 2018211748A1 JP 2018003458 W JP2018003458 W JP 2018003458W WO 2018211748 A1 WO2018211748 A1 WO 2018211748A1
Authority
WO
WIPO (PCT)
Prior art keywords
content
information processing
output control
control unit
information
Prior art date
Application number
PCT/JP2018/003458
Other languages
English (en)
French (fr)
Inventor
祐平 滝
広 岩瀬
真里 斎藤
真一 河野
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to EP18802511.8A priority Critical patent/EP3627495B1/en
Priority to US16/606,072 priority patent/US20200111475A1/en
Publication of WO2018211748A1 publication Critical patent/WO2018211748A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00Speech synthesis; Text to speech systems
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00Speech synthesis; Text to speech systems
    • G10L13/02Methods for producing synthetic speech; Speech synthesisers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00Speech synthesis; Text to speech systems
    • G10L13/02Methods for producing synthetic speech; Speech synthesisers
    • G10L13/04Details of speech synthesis systems, e.g. synthesiser structure or memory management
    • G10L13/047Architecture of speech synthesisers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439Processing of audio elementary streams

Definitions

  • This disclosure relates to an information processing apparatus and an information processing method.
  • Patent Literature 1 discloses a technique for selecting a speech that falls within the prelude time of a musical piece and outputting the speech as speech.
  • the contents of the information notification by the agent device are extremely diverse. For example, when the information notification to be output is longer than the non-utterance period such as the prelude time, it is difficult to cope with the technique described in Patent Document 1.
  • an output control unit that controls output of voice utterance during playback of content including an utterance interval, the output control unit extends a non-speech interval in the content and extends the non-speech
  • an information processing apparatus for outputting the voice utterance during reproduction of the utterance section.
  • the processor includes controlling the output of the voice utterance during the reproduction of the content including the utterance interval, and the controlling extends and extends the non-utterance interval in the content. And outputting the voice utterance during the reproduction of the non-speaking section.
  • FIG. 3 is a diagram illustrating a hardware configuration example according to an embodiment of the present disclosure.
  • the length of the speech utterance is the length of the non-speech segment. If it exceeds the above range, it may be unavoidable that the voice utterance overlaps with the utterance section.
  • the technical idea according to the present disclosure was conceived by paying attention to the above points, and information is notified by voice utterance during reproduction of content including utterances or during reproduction of content including utterances. It is possible to make the user more surely perceive the content of the information notification while maintaining the integrity of the information. For this reason, the information processing apparatus and the information processing method according to an embodiment of the present disclosure extend the non-speech section of the content when the output of the voice utterance is controlled during the reproduction of the content including the utterance section.
  • One of the features is that a voice utterance is output during reproduction of the non-speech interval.
  • the information processing apparatus and the information processing method according to an embodiment of the present disclosure ensure the completeness of the information notification by adjusting the length of the content according to the voice utterance related to the information notification, and And the voice utterance related to the information notification can be controlled so as not to overlap. According to the above characteristics of the information processing apparatus and the information processing method according to an embodiment of the present disclosure, it is possible to notify the user of complete information at a timing at which it is easy to hear and further enhance the convenience of information notification by voice utterance. Can be improved.
  • FIG. 1 is a diagram illustrating an example of a system configuration according to the present embodiment.
  • the information processing system according to the present embodiment includes an information processing terminal 10, an output control device 20, and an information processing server 30. Further, the information processing terminal 10 and the output control device 20, and the output control device 20 and the information processing server 30 are connected via a network 40 so that they can communicate with each other.
  • the information processing terminal 10 may be various devices that generate notification information related to user notification.
  • FIG. 2 is a diagram illustrating a utilization image of the information processing terminal 10 and the output control device 20 according to the present embodiment.
  • FIG. 2 shows a plurality of types of information processing terminals 10a to 10d as an example of the information processing terminal 10 according to the present embodiment.
  • the information processing terminal 10a is a smartphone owned by the user.
  • the information processing terminal 10 a generates, for example, notification information regarding the received message, notification information regarding the registered schedule, and the like, and transmits the notification information to the output control device 20.
  • the information processing terminal 10b is a television device.
  • the information processing terminal 10 b may generate notification information related to the start of a viewing schedule program registered by the user or the received emergency bulletin and transmit the notification information to the output control device 20.
  • the information processing terminal 10c is a refrigerator.
  • the information processing terminal 10c may generate notification information indicating that the door is not completely closed, notification information regarding a food with a near expiration date, and the like, and transmit the notification information to the output control device 20.
  • the information processing terminal 10d is an operation panel related to the water heater.
  • the information processing terminal 10 d may generate notification information indicating that the hot water supply to the bath has been completed, notification information regarding various errors, and the like, and transmit the notification information to the output control device 20.
  • the information processing terminal 10 is defined as various devices having a function of generating notification information as exemplified above.
  • the information processing terminal 10 according to the present embodiment may be, for example, a game device, a recording device, an audio device, a washing machine, a household appliance such as a lighting device, or an office device.
  • the output control apparatus 20 is an information processing apparatus that performs information notification by voice utterance based on notification information received from the information processing terminal 10.
  • One feature of the output control device 20 according to the present embodiment is that the non-speech section in the content is extended and information notification is performed by voice utterance during reproduction of the extended non-speech section.
  • the output control device 20 is a stationary agent device, and outputs the voice utterance SO1 based on the notification information received from the information processing terminal 10a.
  • the output control device 20 is not limited to the above example, and may be, for example, a smartphone, a tablet, a wearable device, a computer, an autonomous agent, or the like. Further, the output control device 20 according to the present embodiment may be realized as a television device, an audio device, a game device, or the like having a content reproduction function.
  • the output control device 20 may control the output of the voice utterance corresponding to each notification information based on the notification information received from the plurality of information processing terminals 10 as shown in FIG. it can.
  • the information notification by the plurality of information processing terminals 10 is unified, and at the same time, the content reproduction place, that is, the place where the user is highly likely to exist. Information notification can be performed, and the user can be surely notified of information.
  • the information processing server 30 is an information processing apparatus that holds content information related to content to be played back. Further, the information processing server 30 according to the present embodiment may have a function of synthesizing artificial speech used for speech utterance.
  • the network 40 has a function of connecting the information processing terminal 10 and the output control device 20, and the output control device 20 and the information processing server 30.
  • the network 40 may include a public line network such as the Internet, a telephone line network, a satellite communication network, various local area networks (LANs) including Ethernet (registered trademark), a wide area network (WAN), and the like. Further, the network 40 may include a dedicated line network such as an IP-VPN (Internet Protocol-Virtual Private Network).
  • the network 40 may include a wireless communication network such as Wi-Fi (registered trademark) or Bluetooth (registered trademark).
  • the system configuration example of the information processing system according to this embodiment has been described above. Note that the configuration described above with reference to FIGS. 1 and 2 is merely an example, and the configuration of the information processing system according to the present embodiment is not limited to the example.
  • the functions of the information processing terminal 10 and the output control device 20 may be realized by a single device.
  • the information processing system according to the present embodiment does not necessarily include the information processing server 30.
  • the output control device 20 may have a function of synthesizing artificial speech used for speech utterance.
  • the configuration of the information processing system according to the present embodiment can be flexibly modified according to specifications and operations.
  • FIG. 3 is an example of a functional block diagram of the information processing terminal 10 according to the present embodiment.
  • the information processing terminal 10 according to the present embodiment includes a notification generation unit 110 and a communication unit 120.
  • the notification generation unit 110 has a function of generating notification information related to user notification. As described above, the notification generation unit 110 according to the present embodiment can generate various types of notification information according to the characteristics of the information processing terminal 10.
  • the communication unit 120 has a function of performing information communication with the output control device 20 via the network 40. Specifically, the communication unit 120 transmits the notification information generated by the notification generation unit 110 to the output control device 20.
  • the functional configuration example of the information processing terminal 10 according to the present embodiment has been described above.
  • said structure demonstrated using FIG. 3 is an example to the last, and the function structure of the information processing terminal 10 which concerns on this embodiment is not limited to the example which concerns.
  • the information processing terminal 10 according to the present embodiment may further include a configuration other than that illustrated in FIG.
  • the information processing terminal 10 may further include a playback unit that plays back content, an input unit that receives user input operations, and the like.
  • the information processing terminal 10 may include a processing unit that performs various processes according to the characteristics of the apparatus.
  • the configuration of the information processing terminal 10 according to the present embodiment can be flexibly modified according to specifications and operations.
  • FIG. 4 is an example of a functional block diagram of the output control device 20 according to the present embodiment.
  • the output control apparatus 20 according to the present embodiment includes an analysis unit 210, an output control unit 220, a content reproduction unit 230, an audio output unit 240, and a communication unit 250.
  • the analysis unit 210 has a function of analyzing information related to an utterance interval and a non-utterance interval in content.
  • the analysis unit 210 can perform the above analysis using a method based on amplitude and zero crossing, a method based on a Gaussian mixture distribution model, a method based on a decoder, and the like.
  • the content according to the present embodiment may be, for example, music content, video content, game content, reading content, or the like.
  • the above utterance section refers to a section with audio output in the content
  • the non-utterance section refers to a section without audio output in the content.
  • the above voice refers to a voice uttered by a person or a system.
  • the output control unit 220 has a function of controlling the output of the voice utterance during the reproduction of the content including the utterance section. At this time, the output control unit 220 according to the present embodiment extends one non-speech section in the content, and outputs the voice utterance during reproduction of the extended non-speech section.
  • the output control unit 220 may extend the non-speech section based on the content.
  • the output control unit 220 can extend the non-speech section by using a part of reproduction information extracted from the content or related information related to the content.
  • the output control unit 220 may determine the length for extending the non-speech section based on the time required for outputting the speech utterance. Details of the functions of the output control unit 220 according to the present embodiment will be described later.
  • the content playback unit 230 has a function of playing back content based on control by the output control unit 220. As described above, the content reproduction unit 230 according to the present embodiment can reproduce the content in which the non-speech section is extended. Note that the content reproduction unit 230 according to the present embodiment includes an output device corresponding to the content. Various display devices, amplifiers, speakers, and the like are applied to the output device.
  • the audio output unit 240 has a function of outputting audio related to information notification based on control by the output control unit 220. At this time, the voice output unit 240 according to the present embodiment outputs a voice utterance during reproduction of the non-speaking section extended in the content. Note that the voice output unit 240 can output the voice utterance using the artificial voice synthesized based on the notification information and the related information related to the content.
  • the audio output unit 240 includes an output device such as an amplifier or a speaker.
  • the communication unit 250 has a function of performing information communication with the information processing terminal 10 and the information processing server 30 via the network 40. Specifically, the communication unit 250 receives notification information from the information processing terminal 10. In addition, the communication unit 250 transmits text information used for synthesis of artificial speech and a request for related information related to the content to the information processing server 30. In addition, the communication unit 250 receives related information related to the content and synthesized artificial speech from the information processing server 30.
  • the function configuration example of the output control device 20 according to the present embodiment has been described above. Note that the above-described configuration described with reference to FIG. 4 is merely an example, and the functional configuration of the output control device 20 according to the present embodiment is not limited to the related example. 4 may be realized as a function of another device different from the output control device 20.
  • the above-described content reproduction unit 230, audio output unit 240, and the like may be provided as functions of the information processing terminal 10 and other devices.
  • the output control device 20 according to the present embodiment may have a function of synthesizing an artificial voice, a function of interpreting an intention of an utterance by a user or the like, and generating a response sentence.
  • the configuration of the output control device 20 according to the present embodiment can be flexibly modified according to specifications and operations.
  • FIG. 5 is an example of a functional block diagram of the information processing server 30 according to the present embodiment.
  • the information processing server 30 according to the present embodiment includes a voice synthesis unit 310, a content information DB 320, and a communication unit 330.
  • the speech synthesizer 310 has a function of synthesizing artificial speech based on text information received from the output control device 20.
  • the artificial speech generated by the speech synthesizer 310 according to the present embodiment is transmitted to the output control device 20 via the communication unit 330 and the network 40, and is output by the speech output unit 240.
  • the content information DB 320 is a database that holds related information related to content.
  • the related information according to the present embodiment may include basic information regarding content, additional information, and the like.
  • the related information may include a song name, an artist name, a release time, a ranking, a comment about the song, a message, an advertisement, and the like.
  • the content information DB 320 according to the present embodiment may hold the content itself as data in addition to the related information.
  • the communication unit 330 has a function of performing information communication with the output control device 20 via the network 40. Specifically, the communication unit 330 receives from the output control device 20 a request for text information used for synthesis of artificial speech and related information related to the content. In addition, the communication unit 330 transmits the artificial voice synthesized by the voice synthesis unit 310, related information held by the content information DB 320, content data, and the like to the output control device 20.
  • the function configuration example of the information processing server 30 according to the present embodiment has been described above.
  • said structure demonstrated using FIG. 5 is an example to the last, and the function structure of the information processing server 30 which concerns on this embodiment is not limited to the example which concerns.
  • the information processing server 30 according to the present embodiment may further include a configuration other than that illustrated in FIG.
  • the information processing server 30 may have a function of interpreting the intention of the utterance by the user and generating a response sentence.
  • the function of the speech synthesizer 310 may be realized as a function of the output control device 20.
  • the configuration of the information processing server 30 according to the present embodiment can be flexibly modified according to specifications and operations.
  • FIG. 6 is a diagram for explaining output control of music content according to the present embodiment.
  • the audio utterance SO output from the audio output unit 240 of the output control device 20 is visualized in the upper part of FIG. 6, and the music content MC reproduced by the content reproduction unit 230 is visualized in the lower part of FIG. Yes.
  • FIG. 6 shows an example in which the music content MC includes two utterance sections OP-1 and OP-2 and two non-utterance sections NOP-1 and NOP-2.
  • the utterance sections OP-1 and OP-2 may be vocal sections in the music content MC, that is, sections in which singing voice, rap, dialogue, etc. are reproduced.
  • the non-utterance sections NOP-1 and NOP-2 may be sections corresponding to a prelude, an interlude, a postlude, etc. in the music content MC.
  • FIG. 6 shows an example of music content playback and voice utterance output when control by the output control device 20 according to the present embodiment is not performed.
  • the voice utterance SO is output each time without considering the timing.
  • the voice utterance SO is output redundantly with the utterance section OP-1 of the music content MC, etc., and by antagonizing the voice output related to the utterance section OP-1, Perception becomes difficult.
  • FIG. 6 an example of music content reproduction and voice utterance output when the non-speaking section extension control is performed by the output control apparatus 20 according to the present embodiment is shown.
  • the output control unit 220 extends the non-speech section NOP-1 based on the time required to output the voice utterance SO.
  • the output control unit 220 may extend the non-speech section NOP-1 using the reproduction information related to the non-speech section NOP-1 extracted from the music content. That is, the output control unit 220 according to the present embodiment can extend the non-speech section NOP-1 by repeating the reproduction information corresponding to the prelude, interlude, or follower in the music content MC. For example, the output control unit 220 can extend the non-speech section NOP-1 without causing a sense of incongruity by repeating the reproduction information described above for each measure.
  • the non-utterance section NOP in the music content MC is extended according to the voice utterance SO, and the voice utterance SO is output in the non-utterance section.
  • the voice utterance SO can be output so as not to overlap the utterance section OP while maintaining the integrity of the notification.
  • the voice utterance SO described above may be, for example, a voice utterance based on various types of notification information received from the information processing terminal 10 or a voice utterance based on related information related to the music content MC. .
  • the output control unit 220 can output, for example, a voice utterance SO including basic information and additional information of the music content MC.
  • the output control unit 220 can output a voice utterance SO including the music title and artist name of the music content MC, comments from the artist, advertisements, and the like.
  • a voice utterance SO including the music title and artist name of the music content MC, comments from the artist, advertisements, and the like.
  • an automatic radio station that extends the prelude of the music content MC and introduces the music content MC in the extended prelude, or outputs an advertisement in the extended prelude
  • a free music viewing service can be realized at low cost.
  • the output control of the music content has been described in detail.
  • the case where the output control unit 220 extends the prelude in the music content is described as a main example, but the output control unit 220 may extend a non-speech section such as an interlude or a postlude. Is possible.
  • the output control unit 220 can also acquire a plurality of voice utterances based on the notification information and the related information, and output the plurality of voice utterances dispersed in a plurality of non-speaking sections.
  • FIG. 7 is a diagram for describing output control of moving image content according to the present embodiment.
  • the audio utterance SO output from the audio output unit 240 of the output control device 20 is visualized in the upper part of FIG. 7, and the sound information related to the moving image content VC reproduced by the content reproduction unit 230 is visualized in the lower part of FIG. Is shown.
  • FIG. 7 shows an example in which the moving image content VC includes two utterance intervals OP-1 and OP-2 and two non-utterance intervals NOP-1 and NOP-2, as in FIG. Yes.
  • the utterance sections OP-1 and OP-2 are sections in which a person, character, or the like is speaking in the moving image content VC.
  • the non-utterance sections NOP-1 and NOP-2 are sections in which sound other than the utterance is output or no sound is output in the moving image content VC.
  • the voice utterance SO is output each time without considering the timing.
  • the voice utterance SO is output in duplicate with the utterance section OP-1 of the moving image content VC, and the user antagonizes the voice output related to the utterance section OP-1, thereby enabling the user to Perception becomes difficult.
  • the output control unit 220 may extend the non-speaking section NOP-1 using the reproduction information related to the non-speaking section NOP-1 extracted from the moving image content VC. That is, the output control unit 220 according to the present embodiment can extend the non-speech section NOP-1 using the still image IM extracted from the moving image content VC. In this case, for example, the output control unit 220 may extend the non-speech section NOP-1 so that one scene of the moving image content VC is repeatedly reproduced, or generates a digest image collection of the moving image content VC to It is also possible to extend the utterance section NOP-1.
  • the output control unit 220 may extend the non-speech section NOP-1 using the still image IM related to the content of the moving image content VC.
  • the output control unit 220 can perform the above control by acquiring the still image IM related to the moving image content VC from the information processing server 30.
  • the still image IM related to the moving image content VC may include, for example, an image of an appearing actor or an advertisement for a product to be tied up.
  • a photo having relevance to the moving image may be used as the still image IM.
  • the output control unit 220 may use a still image IM stored in the same folder as the moving image content VC. Or a still image IM taken at the same location or at the same location may be used.
  • the non-utterance section NOP in the video content VC is extended according to the voice utterance SO, and the voice utterance SO is output in the non-utterance section.
  • the voice utterance SO can be output so as not to overlap the utterance section OP while maintaining the integrity of the notification.
  • the voice utterance SO described above may be, for example, a voice utterance based on various types of notification information received from the information processing terminal 10, or may be a voice utterance based on related information related to the video content VC. .
  • the output control unit 220 may output, for example, a voice utterance SO including basic information and additional information of the moving image content VC.
  • the output control unit 220 may output the comment added to the moving image content VC, information such as the shooting location, date and time, weather at the time of shooting, and the like as the voice utterance SO. According to the above function of the output control unit 220, it is possible to automatically generate a narrated album including the moving image content VC and the related still image IM.
  • the output control unit 220 may translate, for example, a speech spoken in the moving image content VC and output it as a voice utterance SO. Furthermore, the output control unit 220 can also output supplemental information in the moving image content VC as the voice utterance SO, for example.
  • the supplementary information includes, for example, explanations and narrations related to the moving image content VC.
  • visual information can be supplemented by the voice utterance SO. For example, it is possible to accurately convey the content of the moving image content VC to a user with visual impairment.
  • FIG. 8 is a diagram for explaining the output control of the game content according to the present embodiment.
  • the upper part of FIG. 8 shows an example of the reproduction of the game content GC and the output of the voice utterance SO when the control by the output control device 20 according to the present embodiment is not performed.
  • the voice utterance SO is output each time without considering the timing.
  • the voice utterance SO is output overlapping with the speech L1 such as a character in the game content GC, that is, the utterance section, which makes it difficult for the user to perceive.
  • FIG. 8 shows an example of the reproduction of the game content GC and the output of the voice utterance SO when the non-speaking section extension control is performed by the output control device 20 according to the present embodiment.
  • the output control unit 220 may extend the non-speech section by setting the motion of the character in the game content GC to the idling state.
  • the idling state described above refers to a state where the progress state in the game content GC is paused while maintaining playback of moving images, background music, and the like.
  • the output control unit 220 extends the non-speech section by temporarily stopping the progress state of the game content GC while maintaining a natural action such as blinking of the character, and thereby the voice utterance SO. Is output. Further, the output control unit 220 may cancel the idling state after the output of the voice utterance SO is completed. In the case of the example shown in FIG.
  • the game content GC progresses due to the release of the idling state by the output control unit 220, and the character utters the line L2.
  • the output control unit 220 According to the function of the output control unit 220 according to the present embodiment, it is possible to output the voice utterance SO more naturally and without a sense of incongruity without completely stopping the game content VC.
  • the reading content according to the present embodiment is a content for reading out text information.
  • a book such as a novel can be read by voice.
  • FIG. 9 is a diagram for explaining reading content output control according to the present embodiment.
  • FIG. 9 shows an example in which the reading content AC includes two utterance sections OP-1 and OP-2 and two non-utterance sections NOP-1 and NOP-2.
  • the utterance sections OP-1 and OP-2 are sections in which text information is read out in the reading content AC.
  • the non-utterance sections NOP-1 and NOP-2 are sections in which the reading content AC is not read, and include, for example, a section between the utterance sections and a section in which only the background sound is output.
  • FIG. 9 shows an example of reproduction of the reading content AC and output of the speech utterance SO when the control by the output control device 20 according to the present embodiment is not performed.
  • the voice utterance SO is output each time without considering the timing.
  • the voice utterance SO is output redundantly with the utterance section OP-1 of the recitation content AC, which makes it difficult for the user to perceive.
  • the lower part of FIG. 9 shows an example of reproduction of the reading content VC and output of the voice utterance SO when the non-speaking section extension control is performed by the output control device 20 according to the present embodiment.
  • the output control unit 220 according to the present embodiment may extend the non-speech section NOP-1 using the reproduction information related to the non-speech section NOP-1 extracted from the reading content AC. That is, the output control unit 220 according to the present embodiment can extend the non-speech section NOP-1 using the background sound or interval extracted from the reading content AC.
  • the reproduction information according to the present embodiment may include a silent section. According to the function of the output control unit 220 according to the present embodiment, it is possible to output the voice utterance SO more naturally and without a sense of incongruity while maintaining the output related to the reading content AC.
  • FIG. 10 is a sequence diagram showing a flow of processing by the information processing system according to the present embodiment.
  • the information processing terminal 10 generates notification information (S1101), and transmits the notification information to the output control device 20 (S1102).
  • the output control unit 220 performs voice utterance based on information other than the notification information, the processes in steps S1101 and S1102 may be omitted.
  • the output control device 20 accumulates the notification information received in step S1102 (S1103).
  • the output control device 20 can receive notification information from the plurality of information processing terminals 10 and can control the output of voice utterances based on the notification information.
  • the output control device 20 determines whether or not the content can be controlled based on the accumulated notification information and the like (S1104). Specifically, the output control device 20 may determine whether there is a non-speech segment that can be extended to output a voice utterance.
  • step S1104 If it is determined in step S1104 that content control is possible, the output control device 20 transmits notification information to the information processing server 30 (S1105).
  • the information processing server 30 performs speech synthesis based on the notification information received in step S1105 (S1106), and transmits the synthesized artificial speech to the output control device 20 (S1107).
  • the information processing server 30 may perform speech synthesis based on content related information.
  • the output control device 20 performs voice utterance and content output control using the artificial voice received in step S1107 (S1108).
  • the output control device 20 may transmit a control impossibility notification to the information processing terminal 10 (S1109).
  • the information processing terminal 10 may execute information notification according to the characteristics of the device itself based on the control failure notification received in step S1109.
  • FIG. 11 is a flowchart showing the flow of processing by the output control device 20 according to the present embodiment.
  • the analysis unit 210 analyzes information on the utterance interval and the non-utterance interval in the content (S2101). Note that the analysis processing in step S2101 may be performed in advance or may be performed in real time on the content being played back. Further, information related to the utterance interval and the non-utterance interval may be held in advance in the content information DB 320 of the information processing server 30.
  • the output control unit 220 determines whether or not the non-speech section in the content being reproduced can be extended (S2102).
  • the output control unit 220 subsequently determines whether the non-speech section of another content can be extended. Is determined (S2103).
  • the above-mentioned different content may be, for example, content that is scheduled to be played after the content being played back ends. That is, the output control unit 220 according to the present embodiment controls continuous playback of a plurality of contents, and when there is no non-speaking section that can be extended in the content being played back, the non-speaking section in another content scheduled to be played is extended. In addition, a voice utterance can be output during reproduction of the non-speaking section.
  • the communication unit 250 transmits a control impossibility notification to the information processing terminal 10 (S2107).
  • the output control unit 220 executes control regarding the playback order of the content (S2104).
  • the output control unit 220 may control the content playback order based on, for example, the importance level of the voice utterance. More specifically, when the importance level of the voice utterance is high, the output control unit 220 increases the importance level by advancing the playback order of the content including the non-speech interval suitable for the output of the voice utterance. Control may be performed so that the voice utterance is output earlier.
  • the output control unit 220 may control the playback order related to the content based on the characteristics of the voice utterance. For example, the output control unit 220 can advance the playback order of the content that matches the content of the voice utterance, and output the voice utterance in the non-speaking section of the content. More specifically, for example, when the content of the voice utterance is a bright topic, the output control unit 220 advances the playback order of the music content having a bright tone and outputs the voice utterance in the non-speaking section of the music content. It is possible to perform such control.
  • the output control unit 220 acquires artificial speech from the information processing server 30. (S2105).
  • the output control unit 220 executes voice utterance output control and non-speaking section extension control using the artificial voice acquired in step S2105 (S2106).
  • FIG. 12 is a block diagram illustrating a hardware configuration example of the information processing terminal 10, the output control device 20, and the information processing server 30 according to an embodiment of the present disclosure.
  • the information processing terminal 10, the output control device 20, and the information processing server 30 are, for example, a CPU 871, a ROM 872, a RAM 873, a host bus 874, a bridge 875, an external bus 876, and an interface 877.
  • An input device 878, an output device 879, a storage 880, a drive 881, a connection port 882, and a communication device 883 Note that the hardware configuration shown here is an example, and some of the components may be omitted. Moreover, you may further include components other than the component shown here.
  • the CPU 871 functions as, for example, an arithmetic processing unit or a control unit, and controls the overall operation or a part of each component based on various programs recorded in the ROM 872, RAM 873, storage 880, or removable recording medium 901.
  • the ROM 872 is a means for storing programs read by the CPU 871, data used for calculations, and the like.
  • the RAM 873 for example, a program read by the CPU 871, various parameters that change as appropriate when the program is executed, and the like are temporarily or permanently stored.
  • the CPU 871, the ROM 872, and the RAM 873 are connected to each other via, for example, a host bus 874 capable of high-speed data transmission.
  • the host bus 874 is connected to an external bus 876 having a relatively low data transmission speed via a bridge 875, for example.
  • the external bus 876 is connected to various components via an interface 877.
  • the input device 878 for example, a mouse, a keyboard, a touch panel, a button, a switch, a lever, or the like is used. Furthermore, as the input device 878, a remote controller (hereinafter referred to as a remote controller) capable of transmitting a control signal using infrared rays or other radio waves may be used.
  • the input device 878 includes a voice input device such as a microphone.
  • the output device 879 is a display device such as a CRT (Cathode Ray Tube), LCD, or organic EL, an audio output device such as a speaker or a headphone, a printer, a mobile phone, or a facsimile. It is a device that can be notified visually or audibly.
  • the output device 879 according to the present disclosure includes various vibration devices that can output a tactile stimulus.
  • the storage 880 is a device for storing various data.
  • a magnetic storage device such as a hard disk drive (HDD), a semiconductor storage device, an optical storage device, a magneto-optical storage device, or the like is used.
  • the drive 881 is a device that reads information recorded on a removable recording medium 901 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory, or writes information to the removable recording medium 901.
  • a removable recording medium 901 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory
  • the removable recording medium 901 is, for example, a DVD medium, a Blu-ray (registered trademark) medium, an HD DVD medium, or various semiconductor storage media.
  • the removable recording medium 901 may be, for example, an IC card on which a non-contact IC chip is mounted, an electronic device, or the like.
  • connection port 882 is a port for connecting an external connection device 902 such as a USB (Universal Serial Bus) port, an IEEE 1394 port, a SCSI (Small Computer System Interface), an RS-232C port, or an optical audio terminal. is there.
  • an external connection device 902 such as a USB (Universal Serial Bus) port, an IEEE 1394 port, a SCSI (Small Computer System Interface), an RS-232C port, or an optical audio terminal. is there.
  • the external connection device 902 is, for example, a printer, a portable music player, a digital camera, a digital video camera, or an IC recorder.
  • the communication device 883 is a communication device for connecting to a network.
  • the output control device 20 can extend a non-utterance section in content and output a voice utterance in the extended non-utterance section. According to such a configuration, even when content including an utterance is being reproduced, it is possible to make the user more surely perceive the content of the information notification while maintaining the integrity of the information notification by voice utterance.
  • each step related to the processing of the output control device 20 of the present specification does not necessarily have to be processed in time series in the order described in the flowchart.
  • the steps related to the processing of the output control device 20 may be processed in an order different from the order described in the flowchart, or may be processed in parallel.
  • An output control unit for controlling the output of the voice utterance during the reproduction of the content including the utterance section; With The output control unit extends a non-speech section in the content and outputs the voice utterance during reproduction of the extended non-speech section.
  • Information processing device (2) The output control unit extends the non-speech interval based on the content. The information processing apparatus according to (1). (3) The output control unit extends the non-speech interval using a part of the reproduction information extracted from the content; The information processing apparatus according to (2). (4) The output control unit extends the non-speech interval using related information related to the content. The information processing apparatus according to (2) or (3).
  • the output control unit determines a length for extending the non-speech interval based on a time required for outputting the voice utterance; The information processing apparatus according to any one of (2) to (4).
  • the output control unit controls continuous playback of the plurality of contents, and when there is no non-speech section that can be extended in the content being played back, extends the non-speech section in another content scheduled to be played back. , Outputting the voice utterance during playback of the non-speaking section, The information processing apparatus according to any one of (1) to (5).
  • the output control unit controls a playback order of the plurality of contents based on the characteristics of the voice utterance; The information processing apparatus according to (6).
  • the output control unit advances the playback order of the content including the non-speech section that matches the output of the voice utterance based on the importance of the voice utterance.
  • the information processing apparatus according to (7).
  • the output control unit controls the output of the voice utterance based on notification information received from at least one or more terminals;
  • the information processing apparatus according to any one of (1) to (8).
  • the content includes music content,
  • the non-speaking section includes at least one of a prelude, an interlude, or a postlude in the music content,
  • the output control unit extends the non-speech interval by repeatedly playing the prelude, the interlude, or the posterior,
  • the information processing apparatus according to (10).
  • the output control unit controls output of the voice utterance including basic information or additional information related to the music content;
  • the content includes video content, The information processing apparatus according to any one of (1) to (12).
  • the output control unit extends the non-speech interval using a still image extracted from the moving image content.
  • the output control unit extends the non-speech interval using a still image related to the content of the moving image content.
  • the content includes reading content, The information processing apparatus according to any one of (1) to (15).
  • the content includes game content, The information processing apparatus according to any one of (1) to (16).
  • An analysis unit for analyzing information related to the utterance interval and the non-utterance interval in the content; Further comprising The information processing apparatus according to any one of (1) to (17).
  • a voice output unit for outputting the voice utterance; Further comprising The information processing apparatus according to any one of (1) to (18).
  • the processor controls the output of the voice utterance during playback of the content including the utterance period; Including The controlling includes extending a non-speech section in the content and outputting the voice utterance during reproduction of the extended non-speech section. Further including Information processing method.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】発話を含むコンテンツの再生中であっても、音声発話による情報通知の完全性を保ちながらユーザに当該情報通知に内容をより確実に知覚させる。 【解決手段】発話区間を含むコンテンツの再生中に、音声発話の出力を制御する出力制御部、を備え、前記出力制御部は、前記コンテンツにおける非発話区間を延長し、延長した前記非発話区間の再生中に、前記音声発話を出力させる、情報処理装置が提供される。また、プロセッサが、発話区間を含むコンテンツの再生中に、音声発話の出力を制御すること、を含み、前記制御することは、前記コンテンツにおける非発話区間を延長し、延長した前記非発話区間の再生中に、前記音声発話を出力させること、をさらに含む、情報処理方法が提供される。

Description

情報処理装置および情報処理方法
 本開示は、情報処理装置および情報処理方法に関する。
 近年、ユーザに対し情報通知などを行う種々のエージェント装置が普及している。また、上記のようなエージェント装置による情報通知の利便性や精度を向上させる技術が開発されている。例えば、特許文献1には、楽曲の前奏時間などに収まる台詞を選択し、当該台詞を音声出力する技術が開示されている。
特開2004-62769号公報
 しかし、エージェント装置による情報通知の内容は極めて多様であり、例えば、出力したい情報通知が前奏時間などの非発話区間よりも長い場合、特許文献1に記載の技術では対応することが困難である。また、上記のような非発話区間に合わせて情報通知に係る音声発話の長さを調整することも考えられるが、この場合、通知内容の一部を削除することとなるため、重要な情報が欠落する可能性もある。
 そこで、本開示では、発話を含むコンテンツの再生中であっても、音声発話による情報通知の完全性を保ちながらユーザに当該情報通知に内容をより確実に知覚させることが可能な、新規かつ改良された情報処理装置および情報処理方法を提案する。
 本開示によれば、発話区間を含むコンテンツの再生中に、音声発話の出力を制御する出力制御部、を備え、前記出力制御部は、前記コンテンツにおける非発話区間を延長し、延長した前記非発話区間の再生中に、前記音声発話を出力させる、情報処理装置が提供される。
 また、本開示によれば、プロセッサが、発話区間を含むコンテンツの再生中に、音声発話の出力を制御すること、を含み、前記制御することは、前記コンテンツにおける非発話区間を延長し、延長した前記非発話区間の再生中に、前記音声発話を出力させること、をさらに含む、情報処理方法が提供される。
 以上説明したように本開示によれば、発話を含むコンテンツの再生中であっても、音声発話による情報通知の完全性を保ちながらユーザに当該情報通知に内容をより確実に知覚させることが可能となる。
 なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の一実施形態に係るシステム構成の一例を示す図である。 同実施形態に係る情報処理端末と出力制御装置の活用イメージを示す図である。 同実施形態に係る情報処理端末の機能ブロック図の一例である。 同実施形態に係る出力制御装置の機能ブロック図の一例である。 同実施形態に係る情報処理サーバの機能ブロック図の一例である。 同実施形態に係る音楽コンテンツの出力制御について説明するための図である。 同実施形態に係る動画コンテンツの出力制御について説明するための図である。 同実施形態に係るゲームコンテンツの出力制御について説明するための図である。 同実施形態に係る朗読コンテンツの出力制御について説明するための図である。 同実施形態に係る情報処理システムによる処理の流れを示すシーケンス図である。 同実施形態に係る出力制御装置による処理の流れを示すフローチャートである。 本開示の一実施形態に係るハードウェア構成例を示す図である。
 以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
 なお、説明は以下の順序で行うものとする。
 1.実施形態
  1.1.背景
  1.2.システム構成例
  1.3.情報処理端末10の機能構成例
  1.4.出力制御装置20の機能構成例
  1.5.情報処理サーバ30の機能構成例
  1.6.出力制御の具体例
  1.7.処理の流れ
 2.ハードウェア構成例
 3.まとめ
 <1.実施形態>
 <<1.1.背景>>
 上述したように、近年においては、音声発話により情報通知などを行う種々のエージェント装置が普及している。また、上記のようなエージェント装置は、発話を含むコンテンツの再生中に音声発話による情報通知を行う場合もある。例えば、ヴォーカルを含む音楽コンテンツの再生中に、エージェント装置が受信したメールに係る情報通知を行う場合なども想定される。
 しかし、この際、エージェント装置が再生中の音楽コンテンツにおけるヴォーカルと重なるように音声発話を行った場合、ヴォーカルの音に邪魔されてユーザが情報通知の内容を把握できない状況が生じ得る。
 一方、上記のような状況を回避するために、音楽コンテンツにおける前奏などの非発話区間に情報通知に係る音声発話を行うことも可能であるが、当該音声発話の長さが非発話区間の長さを上回る場合には、音声発話と発話区間との重複を避けられない場合もある。
 また、非発話区間に収まるように情報通知の内容を簡素化する場合には、重要な情報が削除される懸念もあり、情報通知の本来の意図が失われる可能性もある。さらには、上記のような意図の損失を防ぐためには、情報通知の意図を保ったうえで非発話区間に合わせて音声発話の長さを人手により調整するなど、煩雑かつ非効率的な作業を行う必要がある。
 本開示に係る技術思想は上記の点に着目して発想されたものであり、発話を含むコンテンツの再生中であっても、発話を含むコンテンツの再生中であっても、音声発話による情報通知の完全性を保ちながらユーザに当該情報通知に内容をより確実に知覚させることを可能とする。このために、本開示の一実施形態に係る情報処理装置および情報処理方法は、発話区間を含むコンテンツの再生中に音声発話の出力を制御する際、当該コンテンツの非発話区間を延長し、延長した非発話区間の再生中に音声発話を出力させること、を特徴の一つとする。すなわち、本開示の一実施形態に係る情報処理装置および情報処理方法は、情報通知に係る音声発話に応じてコンテンツの長さを調整することで、情報通知の完全性を確保すると共に、コンテンツ中の発話と情報通知に係る音声発話が重複しないよう制御することができる。本開示の一実施形態に係る情報処理装置および情報処理方法が有する上記の特徴によれば、ユーザに完全な情報を聞き取り易いタイミングで通知することができ、音声発話による情報通知の利便性を一層に向上させることが可能となる。
 <<1.2.システム構成例>>
 続いて、本開示の実施形態に係るシステム構成例について説明する。図1は、本実施形態に係るシステム構成の一例を示す図である。図1を参照すると、本実施形態に係る情報処理システムは、情報処理端末10、出力制御装置20、および情報処理サーバ30を備える。また、情報処理端末10と出力制御装置20、出力制御装置20と情報処理サーバ30は、互いに通信が行えるようにネットワーク40を介して接続される。
 (情報処理端末10)
 本実施形態に係る情報処理端末10は、ユーザ通知に係る通知情報を生成する種々の装置であってよい。図2は、本実施形態に係る情報処理端末10と出力制御装置20の活用イメージを示す図である。図2には、本実施形態に係る情報処理端末10の一例として、複数の種別の情報処理端末10a~10dが示されている。
 情報処理端末10aは、ユーザの所持するスマートフォンである。情報処理端末10aは、例えば、受信したメッセージに関する通知情報や、登録されたスケジュールに関する通知情報などを生成し、出力制御装置20に送信する。
 また、情報処理端末10bは、テレビジョン装置である。情報処理端末10bは、例えば、ユーザが登録した視聴予定のプログラムが開始されたことや、受信した緊急速報などに係る通知情報を生成し、出力制御装置20に送信してもよい。
 また、情報処理端末10cは、冷蔵庫である。情報処理端末10cは、例えば、扉が完全に閉まっていないこと示す通知情報や、賞味期限の近い食材に関する通知情報などを生成し、出力制御装置20に送信してもよい。
 また、情報処理端末10dは、給湯器に係る操作パネルである。情報処理端末10dは、例えば、風呂への給湯が完了したことを示す通知情報や各種のエラーなどに関する通知情報を生成し、出力制御装置20に送信してもよい。
 以上、例示したように、本実施形態に係る情報処理端末10は、通知情報を生成する機能を有する種々の装置として定義される。本実施形態に係る情報処理端末10は、図1に示す例の他、例えば、ゲーム機器、録画機器、オーディオ機器、洗濯機、照明などの家電機器やオフィス機器であってもよい。
 (出力制御装置20)
 本実施形態に係る出力制御装置20は、情報処理端末10から受信した通知情報などに基づいて音声発話による情報通知を行う情報処理装置である。本実施形態に係る出力制御装置20は、コンテンツにおける非発話区間を延長し、延長した非発話区間の再生中に音声発話による情報通知を行うことを特徴の一つとする。図2に示す一例の場合、出力制御装置20は据え置き型のエージェント装置であり、情報処理端末10aから受信した通知情報に基づいて音声発話SO1を出力している。
 また、本実施形態に係る出力制御装置20は、上記の例に限定されず、例えば、スマートフォン、タブレット、ウェアラブル装置、コンピュータ、自律型のエージェントなどであってもよい。また、本実施形態に係る出力制御装置20は、コンテンツの再生機能を有するテレビジョン装置、オーディオ機器、ゲーム機器などとして実現されてもよい。
 なお、本実施形態に係る出力制御装置20は、図2に示すように、複数の情報処理端末10から受信した通知情報に基づいて、通知情報ごとに対応する音声発話の出力を制御することができる。本実施形態に係る出力制御装置20が有する上記の機能によれば、複数の情報処理端末10による情報通知を一本化すると同時に、コンテンツの再生場所、すなわちユーザが存在する可能性の高い場所で情報通知を行うことができ、ユーザにより確実に情報を通知することが可能となる。
 (情報処理サーバ30)
 本実施形態に係る情報処理サーバ30は、再生されるコンテンツに関するコンテンツ情報を保持する情報処理装置である。また、本実施形態に係る情報処理サーバ30は、音声発話に用いられる人工音声を合成する機能を有してもよい。
 (ネットワーク40)
 ネットワーク40は、情報処理端末10と出力制御装置20、出力制御装置20と情報処理サーバ30を接続する機能を有する。ネットワーク40は、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ethernet(登録商標)を含む各種のLAN(Local Area Network)、WAN(Wide Area Network)などを含んでもよい。また、ネットワーク40は、IP-VPN(Internet Protocol-Virtual Private Network)などの専用回線網を含んでもよい。また、ネットワーク40は、Wi-Fi(登録商標)、Bluetooth(登録商標)など無線通信網を含んでもよい。
 以上、本実施形態に係る情報処理システムのシステム構成例について説明した。なお、図1および図2を用いて説明した上記の構成はあくまで一例であり、本実施形態に係る情報処理システムの構成は係る例に限定されない。例えば、情報処理端末10と出力制御装置20が有する機能は単一の装置により実現されてもよい。また、本実施形態に係る情報処理システムは、情報処理サーバ30を必ずしも備えなくてもよい。この場合、出力制御装置20が音声発話に用いる人工音声を合成する機能を有してよい。本実施形態に係る情報処理システムの構成は、仕様や運用に応じて柔軟に変形可能である。
 <<1.3.情報処理端末10の機能構成例>>
 次に、本実施形態に係る情報処理端末10の機能構成例について説明する。図3は、本実施形態に係る情報処理端末10の機能ブロック図の一例である。図3を参照すると、本実施形態に係る情報処理端末10は、通知生成部110および通信部120を備える。
 (通知生成部110)
 本実施形態に係る通知生成部110は、ユーザ通知に係る通知情報を生成する機能を有する。上述したように、本実施形態に係る通知生成部110は、情報処理端末10の特性に応じた種々の通知情報を生成することができる。
 (通信部120)
 本実施形態に係る通信部120は、ネットワーク40を介して出力制御装置20との情報通信を行う機能を有する。具体的には、通信部120は、通知生成部110が生成した通知情報を出力制御装置20に送信する。
 以上、本実施形態に係る情報処理端末10の機能構成例について説明した。なお、図3を用いて説明した上記の構成はあくまで一例であり、本実施形態に係る情報処理端末10の機能構成は係る例に限定されない。本実施形態に係る情報処理端末10は、図3に示す以外の構成をさらに備えてもよい。例えば、情報処理端末10は、コンテンツを再生する再生部や、ユーザの入力操作などを受け付ける入力部などをさらに備えてもよい。また、情報処理端末10は、装置の特性に応じた種々の処理を行う処理部を備えてよい。本実施形態に係る情報処理端末10の構成は、仕様や運用に応じて柔軟に変形可能である。
 <<1.4.出力制御装置20の機能構成例>>
 次に、本実施形態に係る出力制御装置20の機能構成例について説明する。図4は、本実施形態に係る出力制御装置20の機能ブロック図の一例である。図4を参照すると、本実施形態に係る出力制御装置20は、解析部210、出力制御部220、コンテンツ再生部230、音声出力部240、および通信部250を備える。
 (解析部210)
 本実施形態に係る解析部210は、コンテンツにおける発話区間および非発話区間に関する情報を解析する機能を有する。解析部210は、振幅と零交差に基づく手法やガウス混合分布モデルに基づく手法、デコーダベースによる手法などを用いて上記の解析を行うことができる。
 ここで、本実施形態に係るコンテンツは、例えば、音楽コンテンツ、動画コンテンツ、ゲームコンテンツ、朗読コンテンツなどであってもよい。また、上記の発話区間とは、コンテンツ中において音声出力を伴う区間を指し、上記の非発話区間とは、コンテンツ中において音声出力を伴わない区間を指す。なお、上記の音声とは、人間やシステムなどにより発せられる声を指す。
 (出力制御部220)
 本実施形態に係る出力制御部220は、発話区間を含むコンテンツの再生中に、音声発話の出力を制御する機能を有する。この際、本実施形態に係る出力制御部220は、コンテンツにおける非発話区間を延長し、延長した非発話区間の再生中に、前記音声発話を出力させることを特徴の一つとする。
 より具体的には、本実施形態に係る出力制御部220は、コンテンツの内容に基づいて非発話区間を延長してよい。出力制御部220は、例えば、コンテンツから抽出した再生情報の一部やコンテンツの内容に関連する関連情報を用いて非発話区間を延長することができる。なお、出力制御部220は、音声発話の出力に要する時間に基づいて、非発話区間を延長する長さを決定してよい。本実施形態に係る出力制御部220が有する機能の詳細については別途後述する。
 (コンテンツ再生部230)
 本実施形態に係るコンテンツ再生部230は、出力制御部220による制御に基づいてコンテンツを再生する機能を有する。本実施形態に関するコンテンツ再生部230は、上述したように、非発話区間が延長されたコンテンツを再生することができる。なお、本実施形態に係るコンテンツ再生部230は、コンテンツの内容に応じた出力装置を含む。上記の出力装置には、各種のディスプレイ装置や、アンプ、スピーカなどが適用される。
 (音声出力部240)
 本実施形態に係る音声出力部240は、出力制御部220による制御に基づいて、情報通知に係る音声を出力する機能を有する。この際、本実施形態に係る音声出力部240は、コンテンツにおいて延長された非発話区間の再生中に音声発話を出力する。なお、音声出力部240は、通知情報やコンテンツに係る関連情報に基づいて合成された人工音声を用いて上記の音声発話を出力することができる。音声出力部240は、アンプ、スピーカなどの出力装置を含む。
 (通信部250)
 本実施形態に係る通信部250は、ネットワーク40を介して情報処理端末10および情報処理サーバ30との情報通信を行う機能を有する。具体的には、通信部250は、情報処理端末10から通知情報を受信する。また、通信部250は、人工音声の合成に用いられるテキスト情報や、コンテンツに係る関連情報の要求を情報処理サーバ30に送信する。また、通信部250は、情報処理サーバ30からコンテンツに係る関連情報や合成された人工音声を受信する。
 以上、本実施形態に係る出力制御装置20の機能構成例について説明した。なお、図4を用いて説明した上記の構成はあくまで一例であり、本実施形態に係る出力制御装置20の機能構成は係る例に限定されない。図4に示す機能の一部は、出力制御装置20とは異なる別の装置の機能として実現されてもよい。例えば、上述したコンテンツ再生部230、音声出力部240などは、情報処理端末10やその他の別の装置の機能として備えられてもよい。また、一方で、本実施形態に係る出力制御装置20は、人工音声を合成する機能や、ユーザなどによる発話の意図を解釈し応答文を生成する機能などを有してもよい。本実施形態に係る出力制御装置20の構成は、仕様や運用に応じて柔軟に変形可能である。
 <<1.5.情報処理サーバ30の機能構成例>>
 次に、本実施形態に係る情報処理サーバ30の機能構成例について説明する。図5は、本実施形態に係る情報処理サーバ30の機能ブロック図の一例である。図5を参照すると、本実施形態に係る情報処理サーバ30は、音声合成部310、コンテンツ情報DB320、及び通信部330を備える。
 (音声合成部310)
 本実施形態に係る音声合成部310は、出力制御装置20から受信したテキスト情報などに基づいて、人工音声を合成する機能を有する。本実施形態に係る音声合成部310が生成する人工音声は、通信部330およびネットワーク40を介して出力制御装置20に送信され、音声出力部240により出力される。
 (コンテンツ情報DB320)
 本実施形態に係るコンテンツ情報DB320は、コンテンツに関連する関連情報を保持するデータベースである。ここで、本実施形態に係る関連情報には、コンテンツに関する基本情報や付加情報などを含まれてよい。例えば、コンテンツが音楽コンテンツである場合、関連情報には、楽曲名、アーティスト名、リリース時期、ランキング、楽曲に関するコメント、メッセージ、広告などが含まれ得る。また、本実施形態に係るコンテンツ情報DB320は、関連情報に加え、コンテンツそのものをデータとして保持してもよい。
 (通信部330)
 通信部330は、ネットワーク40を介して出力制御装置20との情報通信を行う機能を有する。具体的には、通信部330は、出力制御装置20から人工音声の合成に用いるテキスト情報や、コンテンツに係る関連情報の要求を受信する。また、通信部330は、音声合成部310が合成した人工音声、コンテンツ情報DB320が保持する関連情報、コンテンツデータなどを出力制御装置20に送信する。
 以上、本実施形態に係る情報処理サーバ30の機能構成例について説明した。なお、図5を用いて説明した上記の構成はあくまで一例であり、本実施形態に係る情報処理サーバ30の機能構成は係る例に限定されない。本実施形態に係る情報処理サーバ30は、図5に示す以外の構成をさらに備えてもよい。情報処理サーバ30は、例えば、ユーザなどによる発話の意図を解釈し応答文を生成する機能などを有してもよい。また、上述したように音声合成部310が有する機能は、出力制御装置20の機能として実現されてもよい。本実施形態に係る情報処理サーバ30の構成は、仕様や運用に応じて柔軟に変形可能である。
 <<1.6.出力制御の具体例>>
 次に、本実施形態に係る出力制御装置20による出力制御の詳細について具体例を挙げながら説明する。
 (音楽コンテンツに係る出力制御)
 まず、本実施形態に係るコンテンツが音楽コンテンツである場合の出力制御について説明する。図6は、本実施形態に係る音楽コンテンツの出力制御について説明するための図である。ここで、図6の上段には出力制御装置20の音声出力部240が出力する音声発話SOが、図6の下段にはコンテンツ再生部230が再生する音楽コンテンツMCがそれぞれ可視化されて示されている。
 なお、図6では、音楽コンテンツMCが、2つの発話区間OP-1およびOP-2、2つの非発話区間NOP-1およびNOP-2を含む場合の一例が示されている。発話区間OP-1およびOP-2は、音楽コンテンツMCにおけるヴォーカル区間、すなわち歌声やラップ、台詞等が再生される区間であってよい。また、非発話区間NOP-1およびNOP-2は、音楽コンテンツMCにおける前奏や間奏、後奏などに該当する区間であってもよい。
 図6の左側には、本実施形態に係る出力制御装置20による制御が行われない場合の、音楽コンテンツの再生と音声発話の出力の例が示されている。本実施形態に係る出力制御装置20による制御が行われない場合、音声発話SOは、タイミングを考慮せずに都度出力される。この場合、図示するように、音声発話SOは、音楽コンテンツMCの発話区間OP-1などと重複して出力されることとなり、発話区間OP-1に係る音声出力と拮抗することで、ユーザにとって知覚が困難な状態となる。
 一方、図6の右側には、本実施形態に係る出力制御装置20による非発話区間の延長制御が行われる場合の、音楽コンテンツの再生と音声発話の出力の例が示されている。なお、ここでは、出力制御部220が、音声発話SOの出力に要する時間に基づいて非発話区間NOP-1を延長する場合の例が示されている。
 この際、本実施形態に係る出力制御部220は、音楽コンテンツから抽出した非発話区間NOP-1に係る再生情報を用いて、非発話区間NOP-1を延長してもよい。すなわち、本実施形態に係る出力制御部220は、音楽コンテンツMCにおける前奏、間奏、または後奏などに対応する再生情報を繰り返すことで、非発話区間NOP-1を延長することができる。出力制御部220は、例えば、上記の再生情報を小節ごとに繰り返すことで、違和感が生じさせることなく非発話区間NOP-1を延長可能である。
 このように、本実施形態に係る出力制御部220によれば、音声発話SOに応じて音楽コンテンツMCにおける非発話区間NOPを延長し、当該非発話区間において音声発話SOを出力させることで、情報通知の完全性を保ちながら発話区間OPと重複しないように音声発話SOを出力させることができる。
 なお、上記の音声発話SOは、例えば、情報処理端末10から受信した各種の通知情報に基づく音声発話であってもよいし、音楽コンテンツMCに関連する関連情報に基づく音声発話であってもよい。出力制御部220は、情報処理サーバ30から取得した関連情報に基づいて、例えば、音楽コンテンツMCの基本情報や付加情報などを含む音声発話SOを出力させることができる。
 より詳細には、出力制御部220は、音楽コンテンツMCの楽曲名やアーティスト名、アーティストからのコメント、広告などを含む音声発話SOを出力させることが可能である。出力制御部220が有する上記の機能によれば、例えば、音楽コンテンツMCの前奏を延長し、延長した前奏において音楽コンテンツMCの曲紹介などを行う自動ラジオステーションや、延長した前奏において広告を出力する無料音楽視聴サービスなどを低コストで実現することが可能となる。
 以上、本実施形態に係る音楽コンテンツの出力制御について詳細に説明した。なお、上記の説明においては、出力制御部220が音楽コンテンツにおける前奏を延長する場合を主な例として述べたが、出力制御部220は、間奏や後奏などの非発話区間を延長することも可能である。また、出力制御部220は、通知情報や関連情報に基づいて複数の音声発話を取得し、当該複数の音声発話を複数の非発話区間に分散させて出力させることもできる。
 (動画コンテンツに係る出力制御)
 次に、本実施形態に係るコンテンツが動画コンテンツである場合の出力制御について説明する。図7は、本実施形態に係る動画コンテンツの出力制御について説明するための図である。ここで、図7の上段には出力制御装置20の音声出力部240が出力する音声発話SOが、図6の下段にはコンテンツ再生部230により再生する動画コンテンツVCに係る音情報がそれぞれ可視化されて示されている。
 図7では、図6の場合と同様に、動画コンテンツVCが、2つの発話区間OP-1およびOP-2、2つの非発話区間NOP-1およびNOP-2を含む場合の一例が示されている。発話区間OP-1およびOP-2は、動画コンテンツVCにおいて人物やキャラクターなどが発話を行っている区間である。また、非発話区間NOP-1およびNOP-2は、動画コンテンツVCにおいて発話以外の音が出力される区分または音が出力されない区分である。
 図7の左側には、本実施形態に係る出力制御装置20による制御が行われない場合の、動画コンテンツVCの再生と音声発話SOの出力の例が示されている。本実施形態に係る出力制御装置20による制御が行われない場合、音声発話SOは、タイミングを考慮せずに都度出力される。この場合、図示するように、音声発話SOは、動画コンテンツVCの発話区間OP-1などと重複して出力されることとなり、発話区間OP-1に係る音声出力と拮抗することで、ユーザにとって知覚が困難な状態となる。
 一方、図7の右側には、本実施形態に係る出力制御装置20による非発話区間の延長制御が行われる場合の、動画コンテンツVCの再生と音声発話SOの出力の例が示されている。
 この際、本実施形態に係る出力制御部220は、動画コンテンツVCから抽出した非発話区間NOP-1に係る再生情報を用いて、非発話区間NOP-1を延長してもよい。すなわち、本実施形態に係る出力制御部220は、動画コンテンツVCから抽出した静止画像IMを用いて非発話区間NOP-1を延長することができる。この場合、出力制御部220は、例えば、動画コンテンツVCの一シーンが繰り返し再生されるように非発話区間NOP-1を延長してもよいし、動画コンテンツVCのダイジェスト画像集を生成して非発話区間NOP-1を延長することも可能である。
 一方で、出力制御部220は、動画コンテンツVCの内容に関連する静止画像IMを用いて非発話区間NOP-1を延長してもよい。出力制御部220は、情報処理サーバ30から動画コンテンツVCに関連する静止画像IMを取得することで、上記の制御を行うことが可能である。ここで、動画コンテンツVCに関連する静止画像IMには、例えば、登場する俳優の画像やタイアップする商品の広告などが含まれ得る。また、動画コンテンツVCが個人が撮影した動画などである場合には、当該動画と関連性を有する写真などを静止画像IMとして用いてもよい。具体的には、動画コンテンツVCが画像管理アプリケーションなどに保管されている場合、出力制御部220は、動画コンテンツVCと同一のフォルダに保管されている静止画像IMを用いてもよいし、動画コンテンツと近い撮影日時や同一場所で撮影された静止画像IMを用いてもよい。
 このように、本実施形態に係る出力制御部220によれば、音声発話SOに応じて動画コンテンツVCにおける非発話区間NOPを延長し、当該非発話区間において音声発話SOを出力させることで、情報通知の完全性を保ちながら発話区間OPと重複しないように音声発話SOを出力させることができる。
 なお、上記の音声発話SOは、例えば、情報処理端末10から受信した各種の通知情報に基づく音声発話であってもよいし、動画コンテンツVCに関連する関連情報に基づく音声発話であってもよい。出力制御部220は、情報処理サーバ30から取得した関連情報に基づいて、例えば、動画コンテンツVCの基本情報や付加情報などを含む音声発話SOを出力させてもよい。具体的には、出力制御部220は、動画コンテンツVCに付加されたコメントや、撮影場所、日時、撮影時の天気などの情報を音声発話SOとして出力させてもよい。出力制御部220が有する上記の機能によれば、動画コンテンツVCや関連する静止画像IMを含むナレーション付きのアルバムなどを自動で生成することも可能となる。
 また、出力制御部220は、例えば、動画コンテンツVCにおいて発話される台詞などを翻訳し音声発話SOとして出力させてもよい。さらには、出力制御部220は、例えば、動画コンテンツVCにおける補足情報を音声発話SOとして出力させることもできる。上記の補足情報には、例えば、動画コンテンツVCに係る解説やナレーションが含まれる。出力制御部220が有する上記の機能によれば、音声発話SOにより視覚情報を補うことができ、例えば、視覚障がいを有するユーザにも動画コンテンツVCの内容を的確に伝えることが可能となる。
 (ゲームコンテンツに係る出力制御)
 次に、本実施形態に係るコンテンツがゲームコンテンツである場合の出力制御について説明する。図8は、本実施形態に係るゲームコンテンツの出力制御について説明するための図である。図8の上段には、本実施形態に係る出力制御装置20による制御が行われない場合の、ゲームコンテンツGCの再生と音声発話SOの出力の例が示されている。本実施形態に係る出力制御装置20による制御が行われない場合、音声発話SOは、タイミングを考慮せずに都度出力される。この場合、図示するように、音声発話SOは、ゲームコンテンツGCにおけるキャラクターなどの台詞L1、すなわち発話区間と重複して出力されることとなり、ユーザにとって知覚が困難な状態となる。
 一方、図8の下段には、本実施形態に係る出力制御装置20による非発話区間の延長制御が行われる場合の、ゲームコンテンツGCの再生と音声発話SOの出力の例が示されている。
 この際、本実施形態に係る出力制御部220は、ゲームコンテンツGCにおけるキャラクターの動作などをアイドリング状態とすることで非発話区間を延長してもよい。上記のアイドリング状態とは、動画像や背景音楽などの再生を維持したままゲームコンテンツGCにおける進行状態が一時停止される状態を指す。図8に示す一例の場合、出力制御部220は、キャラクターのまばたきなどの自然な動作を維持したまま、ゲームコンテンツGCの進行状態を一時停止させることで、非発話区間を延長し、音声発話SOを出力させている。また、出力制御部220は、音声発話SOの出力が完了した後には、上記のアイドリング状態を解除してよい。図8の示す一例の場合、出力制御部220によりアイドリング状態が解除されたことで、ゲームコンテンツGCが進行し、キャラクターが台詞L2を発している。本実施形態に係る出力制御部220が有する上記の機能によれば、ゲームコンテンツVCを完全に停止することなく、より自然に違和感なく音声発話SOを出力させることが可能となる。
 (朗読に係る出力制御)
 次に、本実施形態に係るコンテンツが朗読コンテンツである場合の出力制御について説明する。本実施形態に係る朗読コンテンツとは、テキスト情報の読み上げを行うコンテンツであり、例えば、音声により小説などの書籍を朗読することができる。
 図9は、本実施形態に係る朗読コンテンツの出力制御について説明するための図である。図9では、朗読コンテンツACが、2つの発話区間OP-1およびOP-2、2つの非発話区間NOP-1およびNOP-2を含む場合の一例が示されている。発話区間OP-1およびOP-2は、朗読コンテンツACにおいてテキスト情報の読み上げが行われる区間である。また、非発話区間NOP-1およびNOP-2は、朗読コンテンツACにおいて朗読が行われない区間であり、例えば、発話区間の間や、背景音のみが出力される区間が含まれる。
 ここで、図9の上段には、本実施形態に係る出力制御装置20による制御が行われない場合の、朗読コンテンツACの再生と音声発話SOの出力の例が示されている。本実施形態に係る出力制御装置20による制御が行われない場合、音声発話SOは、タイミングを考慮せずに都度出力される。この場合、図示するように、音声発話SOは、朗読コンテンツACの発話区間OP-1などと重複して出力されることとなり、ユーザにとって知覚が困難な状態となる。
 一方、図9の下段には、本実施形態に係る出力制御装置20による非発話区間の延長制御が行われる場合の、朗読コンテンツVCの再生と音声発話SOの出力の例が示されている。この際、本実施形態に係る出力制御部220は、朗読コンテンツACから抽出した非発話区間NOP-1に係る再生情報を用いて、非発話区間NOP-1を延長してもよい。すなわち、本実施形態に係る出力制御部220は、朗読コンテンツACから抽出した背景音や間を用いて非発話区間NOP-1を延長することができる。このように、本実施形態に係る再生情報には、無音の区間が含まれてよい。本実施形態に係る出力制御部220が有する上記の機能によれば、朗読コンテンツACに係る出力を維持したまま、より自然に違和感なく音声発話SOを出力させることが可能となる。
 <<1.7.処理の流れ>>
 次に、本実施形態に係る情報処理方法の流れについて詳細に説明する。図10は、本実施形態に係る情報処理システムによる処理の流れを示すシーケンス図である。
 図10を参照すると、まず、情報処理端末10が通知情報を生成し(S1101)、当該通知情報を出力制御装置20に送信する(S1102)。なお、出力制御部220が通知情報以外の情報に基づいて音声発話を行う場合には、ステップS1101およびS1102における処理は省略されてよい。
 次に、出力制御装置20は、ステップS1102において受信した通知情報を蓄積する(S1103)。上述したように、本実施形態に係る出力制御装置20は、複数の情報処理端末10から通知情報を受信し、当該通知情報に基づく音声発話の出力を制御することができる。
 次に、出力制御装置20は、蓄積された通知情報などに基づいて、コンテンツの制御可否を判定する(S1104)。具体的には、出力制御装置20は、音声発話を出力するために延長可能な非発話区間が存在するか否かを判定してよい。
 ステップS1104においてコンテンツ制御が可能であると判定した場合、出力制御装置20は、通知情報を情報処理サーバ30に送信する(S1105)。次に、情報処理サーバ30は、ステップS1105において受信した通知情報に基づいて音声合成を行い(S1106)、合成した人工音声を出力制御装置20に送信する(S1107)。なお、上述したように、情報処理サーバ30は、コンテンツの関連情報に基づいて音声合成を行ってもよい。続いて、出力制御装置20は、ステップS1107において受信した人工音声を用いて音声発話およびコンテンツの出力制御を行う(S1108)。
 一方、ステップS1104においてコンテンツ制御が困難であると判定した場合、出力制御装置20は、情報処理端末10に制御不可通知を送信してもよい(S1109)。この場合、情報処理端末10は、ステップS1109において受信した制御不可通知に基づいて、装置の特性に応じた情報通知を自ら実行してよい。
 続いて、本実施形態に係る出力制御装置20による処理の流れについてより詳細に説明する。図11は、本実施形態に係る出力制御装置20による処理の流れを示すフローチャートである。
 図11を参照すると、まず、解析部210がコンテンツにおける発話区間および非発話区間の情報を解析する(S2101)。なお、ステップS2101における解析処理は、事前に実施されてもよいし、再生中のコンテンツに対しリアルタイムで行われてもよい。また、発話区間および非発話区間に係る情報は、情報処理サーバ30のコンテンツ情報DB320に予め保持されていてもよい。
 次に、出力制御部220は、再生中のコンテンツにおける非発話区間が延長可能であるか否かを判定する(S2102)。ここで、再生中のコンテンツにおける非発話区間の延長が困難であると判定した場合(S2102:No)、出力制御部220は、続いて、別コンテンツの非発話区間が延長可能であるか否かを判定する(S2103)。ここで上記の別コンテンツとは、例えば、再生中コンテンツの終了後に再生される予定であるコンテンツであってもよい。すなわち、本実施形態に係る出力制御部220は、複数のコンテンツの連続再生を制御し、再生中のコンテンツにおいて延長可能な非発話区間が存在しない場合、再生予定の別コンテンツにおける非発話区間を延長し、当該非発話区間の再生中に音声発話を出力させることができる。
 ここで、出力制御部220が別コンテンツにおける非発話区間の延長が困難であると判定した場合(S2103:No)、通信部250は情報処理端末10に制御不可通知を送信する(S2107)。
 一方、別コンテンツにおける非発話区間の延長が可能であると判定した場合(S2103:Yes)、出力制御部220は、コンテンツの再生順序に関する制御を実行する(S2104)。この際、出力制御部220は、例えば、音声発話の重要度に基づいて、コンテンツの再生順序を制御してもよい。より具体的には、出力制御部220は、音声発話の重要度が高い場合などには、当該音声発話の出力に適合する非発話区間を含むコンテンツの再生順序を早めることで、重要度の高い音声発話がより早く出力されるように制御を行ってもよい。
 また、出力制御部220は、音声発話の特性に基づいて、コンテンツに係る再生順序を制御してもよい。出力制御部220は、例えば、音声発話の内容によりマッチするコンテンツの再生順序を早め、当該コンテンツの非発話区間において音声発話を出力させることができる。より具体的には、出力制御部220は、例えば、音声発話の内容が明るい話題である場合には曲調の明るい音楽コンテンツの再生順序を早め、当該音楽コンテンツの非発話区間において音声発話を出力させるなどの制御を行うことが可能である。
 ステップS2104における再生順序の制御が完了したのち、またはステップS2102において再生中のコンテンツの非発話区間が延長可能であると判定した場合、出力制御部220は、情報処理サーバ30から人工音声を取得する(S2105)。
 続いて、出力制御部220は、ステップS2105において取得した人工音声を用いて音声発話の出力制御、および非発話区間の延長制御を実行する(S2106)。
 <2.ハードウェア構成例>
 次に、本開示の一実施形態に係る情報処理端末10、出力制御装置20、および情報処理サーバ30に共通するハードウェア構成例について説明する。図12は、本開示の一実施形態に係る情報処理端末10、出力制御装置20、および情報処理サーバ30のハードウェア構成例を示すブロック図である。図12を参照すると、情報処理端末10、出力制御装置20、および情報処理サーバ30は、例えば、CPU871と、ROM872と、RAM873と、ホストバス874と、ブリッジ875と、外部バス876と、インターフェース877と、入力装置878と、出力装置879と、ストレージ880と、ドライブ881と、接続ポート882と、通信装置883と、を有する。なお、ここで示すハードウェア構成は一例であり、構成要素の一部が省略されてもよい。また、ここで示される構成要素以外の構成要素をさらに含んでもよい。
 (CPU871)
 CPU871は、例えば、演算処理装置又は制御装置として機能し、ROM872、RAM873、ストレージ880、又はリムーバブル記録媒体901に記録された各種プログラムに基づいて各構成要素の動作全般又はその一部を制御する。
 (ROM872、RAM873)
 ROM872は、CPU871に読み込まれるプログラムや演算に用いるデータ等を格納する手段である。RAM873には、例えば、CPU871に読み込まれるプログラムや、そのプログラムを実行する際に適宜変化する各種パラメータ等が一時的又は永続的に格納される。
 (ホストバス874、ブリッジ875、外部バス876、インターフェース877)
 CPU871、ROM872、RAM873は、例えば、高速なデータ伝送が可能なホストバス874を介して相互に接続される。一方、ホストバス874は、例えば、ブリッジ875を介して比較的データ伝送速度が低速な外部バス876に接続される。また、外部バス876は、インターフェース877を介して種々の構成要素と接続される。
 (入力装置878)
 入力装置878には、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、及びレバー等が用いられる。さらに、入力装置878としては、赤外線やその他の電波を利用して制御信号を送信することが可能なリモートコントローラ(以下、リモコン)が用いられることもある。また、入力装置878には、マイクロフォンなどの音声入力装置が含まれる。
 (出力装置879)
 出力装置879は、例えば、CRT(Cathode Ray Tube)、LCD、又は有機EL等のディスプレイ装置、スピーカ、ヘッドホン等のオーディオ出力装置、プリンタ、携帯電話、又はファクシミリ等、取得した情報を利用者に対して視覚的又は聴覚的に通知することが可能な装置である。また、本開示に係る出力装置879は、触覚刺激を出力することが可能な種々の振動デバイスを含む。
 (ストレージ880)
 ストレージ880は、各種のデータを格納するための装置である。ストレージ880としては、例えば、ハードディスクドライブ(HDD)等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、又は光磁気記憶デバイス等が用いられる。
 (ドライブ881)
 ドライブ881は、例えば、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体901に記録された情報を読み出し、又はリムーバブル記録媒体901に情報を書き込む装置である。
 (リムーバブル記録媒体901)
リムーバブル記録媒体901は、例えば、DVDメディア、Blu-ray(登録商標)メディア、HD DVDメディア、各種の半導体記憶メディア等である。もちろん、リムーバブル記録媒体901は、例えば、非接触型ICチップを搭載したICカード、又は電子機器等であってもよい。
 (接続ポート882)
 接続ポート882は、例えば、USB(Universal Serial Bus)ポート、IEEE1394ポート、SCSI(Small Computer System Interface)、RS-232Cポート、又は光オーディオ端子等のような外部接続機器902を接続するためのポートである。
 (外部接続機器902)
 外部接続機器902は、例えば、プリンタ、携帯音楽プレーヤ、デジタルカメラ、デジタルビデオカメラ、又はICレコーダ等である。
 (通信装置883)
 通信装置883は、ネットワークに接続するための通信デバイスであり、例えば、有線又は無線LAN、Bluetooth(登録商標)、又はWUSB(Wireless USB)用の通信カード、光通信用のルータ、ADSL(Asymmetric Digital Subscriber Line)用のルータ、又は各種通信用のモデム等である。
 <3.まとめ>
 以上説明したように、本開示の一実施形態に係る出力制御装置20は、コンテンツにおける非発話区間を延長し、延長した非発話区間において音声発話を出力させることができる。係る構成によれば、発話を含むコンテンツの再生中であっても、音声発話による情報通知の完全性を保ちながらユーザに当該情報通知に内容をより確実に知覚させることが可能となる。
 以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
 また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
 また、本明細書の出力制御装置20の処理に係る各ステップは、必ずしもフローチャートに記載された順序に沿って時系列に処理される必要はない。例えば、出力制御装置20の処理に係る各ステップは、フローチャートに記載された順序と異なる順序で処理されても、並列的に処理されてもよい。
 なお、以下のような構成も本開示の技術的範囲に属する。
(1)
 発話区間を含むコンテンツの再生中に、音声発話の出力を制御する出力制御部、
 を備え、
 前記出力制御部は、前記コンテンツにおける非発話区間を延長し、延長した前記非発話区間の再生中に、前記音声発話を出力させる、
情報処理装置。
(2)
 前記出力制御部は、前記コンテンツの内容に基づいて前記非発話区間を延長する、
前記(1)に記載の情報処理装置。
(3)
 前記出力制御部は、前記コンテンツから抽出された再生情報の一部を用いて前記非発話区間を延長する、
前記(2)に記載の情報処理装置。
(4)
 前記出力制御部は、前記コンテンツの内容に関連する関連情報を用いて前記非発話区間を延長する、
前記(2)または(3)に記載の情報処理装置。
(5)
 前記出力制御部は、前記音声発話の出力に要する時間に基づいて、前記非発話区間を延長する長さを決定する、
前記(2)~(4)のいずれかに記載の情報処理装置。
(6)
 前記出力制御部は、複数の前記コンテンツの連続再生を制御し、再生中の前記コンテンツにおいて延長可能な前記非発話区間が存在しない場合、再生予定の別の前記コンテンツにおける前記非発話区間を延長し、当該非発話区間の再生中に前記音声発話を出力させる、
前記(1)~(5)のいずれかに記載の情報処理装置。
(7)
 前記出力制御部は、前記音声発話の特性に基づいて、複数の前記コンテンツに係る再生順序を制御する、
前記(6)に記載の情報処理装置。
(8)
 前記出力制御部は、前記音声発話の重要度に基づいて、当該音声発話の出力に適合する前記非発話区間を含む前記コンテンツの再生順序を早める、
前記(7)に記載の情報処理装置。
(9)
 前記出力制御部は、少なくとも1つ以上の端末から受信した通知情報に基づいて前記音声発話の出力を制御する、
前記(1)~(8)のいずれかに記載の情報処理装置。
(10)
 前記コンテンツは、音楽コンテンツを含む、
前記(1)~(9)のいずれかに記載の情報処理装置。
(11)
 前記非発話区間は、少なくとも前記音楽コンテンツにおける前奏、間奏、または後奏のいずれかを含み、
 前記出力制御部は、前記前奏、前記間奏、または前記後奏を繰り返し再生させることで、前記非発話区間を延長する、
前記(10)に記載の情報処理装置。
(12)
 前記出力制御部は、前記音楽コンテンツに関連する基本情報または付加情報を含む前記音声発話の出力を制御する、
前記(10)または(11)に記載の情報処理装置。
(13)
 前記コンテンツは、動画コンテンツを含む、
前記(1)~(12)のいずれかに記載の情報処理装置。
(14)
 前記出力制御部は、前記動画コンテンツから抽出された静止画像を用いて前記非発話区間を延長する、
前記(13)に記載の情報処理装置。
(15)
 前記出力制御部は、前記動画コンテンツの内容に関連する静止画像を用いて前記非発話区間を延長する、
前記(13)または(14)に記載の情報処理装置。
(16)
 前記コンテンツは、朗読コンテンツを含む、
前記(1)~(15)のいずれかに記載の情報処理装置。
(17)
 前記コンテンツは、ゲームコンテンツを含む、
前記(1)~(16)のいずれかに記載の情報処理装置。
(18)
 前記コンテンツにおける前記発話区間および前記非発話区間に関する情報を解析する解析部、
 をさらに備える、
前記(1)~(17)のいずれかに記載の情報処理装置。
(19)
 前記音声発話を出力する音声出力部、
 をさらに備える、
前記(1)~(18)のいずれかに記載の情報処理装置。
(20)
 プロセッサが、発話区間を含むコンテンツの再生中に、音声発話の出力を制御すること、
 を含み、
 前記制御することは、前記コンテンツにおける非発話区間を延長し、延長した前記非発話区間の再生中に、前記音声発話を出力させること、
 をさらに含む、
情報処理方法。
 10   情報処理端末
 110  通知生成部
 120  通信部
 20   出力制御装置
 210  解析部
 220  出力制御部
 230  コンテンツ再生部
 240  音声出力部
 250  通信部
 30   情報処理サーバ
 310  音声合成部
 320  コンテンツ情報DB

Claims (20)

  1.  発話区間を含むコンテンツの再生中に、音声発話の出力を制御する出力制御部、
     を備え、
     前記出力制御部は、前記コンテンツにおける非発話区間を延長し、延長した前記非発話区間の再生中に、前記音声発話を出力させる、
    情報処理装置。
  2.  前記出力制御部は、前記コンテンツの内容に基づいて前記非発話区間を延長する、
    請求項1に記載の情報処理装置。
  3.  前記出力制御部は、前記コンテンツから抽出された再生情報の一部を用いて前記非発話区間を延長する、
    請求項2に記載の情報処理装置。
  4.  前記出力制御部は、前記コンテンツの内容に関連する関連情報を用いて前記非発話区間を延長する、
    請求項2に記載の情報処理装置。
  5.  前記出力制御部は、前記音声発話の出力に要する時間に基づいて、前記非発話区間を延長する長さを決定する、
    請求項2に記載の情報処理装置。
  6.  前記出力制御部は、複数の前記コンテンツの連続再生を制御し、再生中の前記コンテンツにおいて延長可能な前記非発話区間が存在しない場合、再生予定の別の前記コンテンツにおける前記非発話区間を延長し、当該非発話区間の再生中に前記音声発話を出力させる、
    請求項1に記載の情報処理装置。
  7.  前記出力制御部は、前記音声発話の特性に基づいて、複数の前記コンテンツに係る再生順序を制御する、
    請求項6に記載の情報処理装置。
  8.  前記出力制御部は、前記音声発話の重要度に基づいて、当該音声発話の出力に適合する前記非発話区間を含む前記コンテンツの再生順序を早める、
    請求項7に記載の情報処理装置。
  9.  前記出力制御部は、少なくとも1つ以上の端末から受信した通知情報に基づいて前記音声発話の出力を制御する、
    請求項1に記載の情報処理装置。
  10.  前記コンテンツは、音楽コンテンツを含む、
    請求項1に記載の情報処理装置。
  11.  前記非発話区間は、少なくとも前記音楽コンテンツにおける前奏、間奏、または後奏のいずれかを含み、
     前記出力制御部は、前記前奏、前記間奏、または前記後奏を繰り返し再生させることで、前記非発話区間を延長する、
    請求項10に記載の情報処理装置。
  12.  前記出力制御部は、前記音楽コンテンツに関連する基本情報または付加情報を含む前記音声発話の出力を制御する、
    請求項10に記載の情報処理装置。
  13.  前記コンテンツは、動画コンテンツを含む、
    請求項1に記載の情報処理装置。
  14.  前記出力制御部は、前記動画コンテンツから抽出された静止画像を用いて前記非発話区間を延長する、
    請求項13に記載の情報処理装置。
  15.  前記出力制御部は、前記動画コンテンツの内容に関連する静止画像を用いて前記非発話区間を延長する、
    請求項13に記載の情報処理装置。
  16.  前記コンテンツは、朗読コンテンツを含む、
    請求項1に記載の情報処理装置。
  17.  前記コンテンツは、ゲームコンテンツを含む、
    請求項1に記載の情報処理装置。
  18.  前記コンテンツにおける前記発話区間および前記非発話区間に関する情報を解析する解析部、
     をさらに備える、
    請求項1に記載の情報処理装置。
  19.  前記音声発話を出力する音声出力部、
     をさらに備える、
    請求項1に記載の情報処理装置。
  20.  プロセッサが、発話区間を含むコンテンツの再生中に、音声発話の出力を制御すること、
     を含み、
     前記制御することは、前記コンテンツにおける非発話区間を延長し、延長した前記非発話区間の再生中に、前記音声発話を出力させること、
     をさらに含む、
    情報処理方法。
PCT/JP2018/003458 2017-05-16 2018-02-01 情報処理装置および情報処理方法 WO2018211748A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP18802511.8A EP3627495B1 (en) 2017-05-16 2018-02-01 Information processing device and information processing method
US16/606,072 US20200111475A1 (en) 2017-05-16 2018-02-01 Information processing apparatus and information processing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017096999 2017-05-16
JP2017-096999 2017-05-16

Publications (1)

Publication Number Publication Date
WO2018211748A1 true WO2018211748A1 (ja) 2018-11-22

Family

ID=64273729

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/003458 WO2018211748A1 (ja) 2017-05-16 2018-02-01 情報処理装置および情報処理方法

Country Status (3)

Country Link
US (1) US20200111475A1 (ja)
EP (1) EP3627495B1 (ja)
WO (1) WO2018211748A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2022091177A1 (ja) * 2020-10-26 2022-05-05

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108600911B (zh) * 2018-03-30 2021-05-18 联想(北京)有限公司 一种输出方法及电子设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004062769A (ja) 2002-07-31 2004-02-26 Sharp Corp コンテンツ出力装置
JP2005003795A (ja) * 2003-06-10 2005-01-06 Nissan Motor Co Ltd 車載情報提供装置
JP2006047237A (ja) * 2004-08-09 2006-02-16 Alpine Electronics Inc 車載機及びその音声出力方法
JP2009055620A (ja) * 2008-09-29 2009-03-12 Sony Corp 情報処理装置および方法、並びにプログラム
WO2009141853A1 (ja) * 2008-05-23 2009-11-26 パイオニア株式会社 曲再生装置、音声案内装置、音声出力装置およびプログラム
JP2011043710A (ja) * 2009-08-21 2011-03-03 Sony Corp 音声処理装置、音声処理方法及びプログラム

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009061651A1 (en) * 2007-11-09 2009-05-14 Wms Gaming, Inc. Presenting secondary content for a wagering game
WO2011032740A1 (en) * 2009-09-15 2011-03-24 International Business Machines Corporation Method and system of generating digital content on a user interface
US8755921B2 (en) * 2010-06-03 2014-06-17 Google Inc. Continuous audio interaction with interruptive audio
US10156455B2 (en) * 2012-06-05 2018-12-18 Apple Inc. Context-aware voice guidance
CN103716470B (zh) * 2012-09-29 2016-12-07 华为技术有限公司 语音质量监控的方法和装置
JP6020189B2 (ja) * 2013-01-18 2016-11-02 株式会社デンソー 音声出力制御装置
WO2015037396A1 (ja) * 2013-09-11 2015-03-19 株式会社デンソー 音声出力制御装置、プログラムおよび記録媒体
US9959744B2 (en) * 2014-04-25 2018-05-01 Motorola Solutions, Inc. Method and system for providing alerts for radio communications
US9508386B2 (en) * 2014-06-27 2016-11-29 Nokia Technologies Oy Method and apparatus for synchronizing audio and video signals
CN105976829B (zh) * 2015-03-10 2021-08-20 松下知识产权经营株式会社 声音处理装置、声音处理方法
US9978366B2 (en) * 2015-10-09 2018-05-22 Xappmedia, Inc. Event-based speech interactive media player
EP3369093A4 (en) * 2015-10-27 2019-07-17 Zalon, Zack J. AUDIO CONTENTS, AUDIOSISQUENCING, AUDIO SYSTEM AND METHOD
US10365887B1 (en) * 2016-03-25 2019-07-30 Amazon Technologies, Inc. Generating commands based on location and wakeword
US20170292853A1 (en) * 2016-04-06 2017-10-12 International Business Machines Corporation Tailored voice navigation analysis system
US10187440B2 (en) * 2016-05-27 2019-01-22 Apple Inc. Personalization of media streams
US11170758B2 (en) * 2018-09-27 2021-11-09 Rovi Guides, Inc. Systems and methods for providing notifications within a media asset without breaking immersion

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004062769A (ja) 2002-07-31 2004-02-26 Sharp Corp コンテンツ出力装置
JP2005003795A (ja) * 2003-06-10 2005-01-06 Nissan Motor Co Ltd 車載情報提供装置
JP2006047237A (ja) * 2004-08-09 2006-02-16 Alpine Electronics Inc 車載機及びその音声出力方法
WO2009141853A1 (ja) * 2008-05-23 2009-11-26 パイオニア株式会社 曲再生装置、音声案内装置、音声出力装置およびプログラム
JP2009055620A (ja) * 2008-09-29 2009-03-12 Sony Corp 情報処理装置および方法、並びにプログラム
JP2011043710A (ja) * 2009-08-21 2011-03-03 Sony Corp 音声処理装置、音声処理方法及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3627495A4

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2022091177A1 (ja) * 2020-10-26 2022-05-05
WO2022091177A1 (ja) * 2020-10-26 2022-05-05 株式会社ジェイテクト 音声広告配信システム、方法、プログラム及びユーザ端末
JP7434595B2 (ja) 2020-10-26 2024-02-20 株式会社ジェイテクト 音声広告配信システム、方法及びプログラム
US12080189B2 (en) 2020-10-26 2024-09-03 Connectome.Design Co., Ltd. Audio advertisement delivery system, program and user terminal based on two or more advertisement locations and the user direction

Also Published As

Publication number Publication date
US20200111475A1 (en) 2020-04-09
EP3627495B1 (en) 2022-08-10
EP3627495A4 (en) 2020-06-10
EP3627495A1 (en) 2020-03-25

Similar Documents

Publication Publication Date Title
US10062367B1 (en) Vocal effects control system
JPWO2008001500A1 (ja) 音声コンテンツ生成システム、情報交換システム、プログラム、音声コンテンツ生成方法及び情報交換方法
EP1754221A1 (en) Method of and system for modifying messages
JP6746923B2 (ja) 情報処理システム、情報処理装置、情報処理方法および情報処理プログラム
JP2017021125A (ja) 音声対話装置
WO2014067269A1 (zh) 一种发送消息的播放方法、系统及相关设备
WO2018211748A1 (ja) 情報処理装置および情報処理方法
JP2003323104A (ja) 語学学習システム
JP5986387B2 (ja) 情報処理プログラム、情報処理装置、歌詞表示方法、及び通信システム
JP6568351B2 (ja) カラオケシステム、プログラム及びカラオケ音声再生方法
KR20180012397A (ko) 디지털 음원 관리 시스템 및 방법, 디지털 음원 재생 장치 및 방법
JP6196839B2 (ja) 通信デュエット時における音声等の切換処理に特徴を有する通信カラオケシステム
JP2014197045A (ja) 広告再生装置、広告再生プログラム、および広告再生システム
JP2013097240A (ja) 聴覚障がい者支援装置およびその動作方法
KR101078367B1 (ko) 노래반주기의 영상 데이터와 음성 데이터의 동기화 장치 및 그 방법
WO2018211750A1 (ja) 情報処理装置および情報処理方法
JP7523830B1 (ja) 情報処理装置、情報処理端末、情報処理方法、情報処理プログラム
JP5777233B1 (ja) 動画生成装置及び動画生成方法
JP2008032788A (ja) 語学教材データ作成用プログラム
JP6587459B2 (ja) カラオケイントロにおける曲紹介システム
JP5708735B2 (ja) 投稿楽曲演奏システム及び投稿楽曲演奏方法
KR20180012398A (ko) 디지털 음원 관리 시스템 및 방법, 디지털 음원 재생 장치 및 방법
CN114387994A (zh) 音频数据获取方法及装置
JP2016206591A (ja) 語学学習用コンテンツ配信システム、語学学習用コンテンツ生成装置、および、語学学習用コンテンツ再生プログラム
JP6453696B2 (ja) カラオケシステム、プログラム及びカラオケ通信システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18802511

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2018802511

Country of ref document: EP

Effective date: 20191216

NENP Non-entry into the national phase

Ref country code: JP