WO2017051686A1 - 画像表示装置 - Google Patents

画像表示装置 Download PDF

Info

Publication number
WO2017051686A1
WO2017051686A1 PCT/JP2016/075857 JP2016075857W WO2017051686A1 WO 2017051686 A1 WO2017051686 A1 WO 2017051686A1 JP 2016075857 W JP2016075857 W JP 2016075857W WO 2017051686 A1 WO2017051686 A1 WO 2017051686A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
display
control unit
effect
production
Prior art date
Application number
PCT/JP2016/075857
Other languages
English (en)
French (fr)
Inventor
浩志 和田
美帆 柴田
博之 横畠
俊之 亀井
Original Assignee
シャープ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by シャープ株式会社 filed Critical シャープ株式会社
Priority to JP2017541499A priority Critical patent/JP6438148B2/ja
Priority to CN201680025486.1A priority patent/CN108141562A/zh
Publication of WO2017051686A1 publication Critical patent/WO2017051686A1/ja

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • H04N5/93Regeneration of the television signal or of selected parts thereof

Definitions

  • the present invention relates to an image display device that sequentially switches and displays images to be displayed.
  • JP 2002-281440 Japanese Published Patent Publication “JP 2011-227783” (published on November 10, 2011)
  • the present invention has been made in view of the above problems, and its purpose is to dynamically provide an effect to an image, so even if the end point of the effect is not uniform for all images, The purpose is to grasp the end point of the effect for each image and to avoid a situation in which the effect of the effect is impaired due to a mismatch between the displayed image and the effect operation being executed.
  • an image display device relates to an image display control unit that sequentially switches and displays an image to be displayed, and an image displayed by the image display control unit.
  • the effect output control unit that executes the determined effect operation in accordance with the display of the image, and the image display control unit acquires the effect operation acquired from the effect output control unit.
  • the timing for switching the display from the current display image to the next display image is controlled based on the production end time indicating the time when the display ends.
  • FIG. 6 is a time chart for explaining image display timing and effect output timing by slide show reproduction processing in the first exemplary embodiment. It is a flowchart which shows the flow of the slide show reproduction
  • regeneration processing in the said interactive robot. 10 is a time chart for explaining image display timing and effect output timing by slide show reproduction processing in the second embodiment. 10 is a time chart for explaining image display timing and effect output timing by slide show reproduction processing in the second embodiment. (A) And (b) is a flowchart which shows the flow of the slide show reproduction
  • FIG. 10 is a time chart for explaining image display timing and effect output timing by slide show reproduction processing according to the third embodiment.
  • 14 is a flowchart illustrating a flow of a slide show reproduction process in the interactive robot according to the third embodiment. It is a figure which shows the external appearance of the dialogue robot of this invention.
  • the image display apparatus of the present invention is, for example, a dialog robot having a display unit as shown in FIG. 9, and the image display method of the present invention is, for example, the dialog robot including the dialog robot. This is realized by executing a slide show application installed in the.
  • FIG. 1 is a block diagram showing a main configuration of an interactive robot as an image display device according to an embodiment of the present invention.
  • the interactive robot (image display device) 1 includes a control unit 10, a storage unit 11, an input unit 12, and a display unit 13, and further includes a speaker 14, a servo 15, and an LED 16 as necessary.
  • the dialogue robot 1 has other functions as a dialogue robot, but the description of the portions not directly related to the present invention is omitted.
  • the control unit 10 comprehensively controls various functions of the interactive robot 1.
  • the control unit 10 includes at least an image display control unit 21 and an effect output control unit 22 as functional blocks, and further includes an input processing unit 20, an image analysis unit 23, an effect creation unit 24, and a timer processing unit 25 as necessary. May be included.
  • the functional block can be realized by, for example, a CPU or the like reading a program stored in a non-volatile storage device (storage unit 11) into a RAM (not shown) and executing the program.
  • the storage unit 11 stores various information processed by the interactive robot 1 in addition to the program and the slide show application.
  • the input unit 12 is used when a user inputs an instruction signal for operating the interactive robot 1 to the interactive robot 1, and is realized by, for example, the touch panel 17 and the microphone 18 built in the interactive robot 1.
  • the display unit 13 displays various information (image DB 30 and image pattern DB 31) stored in the storage unit 11 so that the user can visually recognize the information.
  • the display unit 13 includes a display device such as an LCD (liquid crystal display). Is done.
  • the speaker 14 outputs sound data processed by the control unit 10 as voice, sound effects, music, or the like, and produces an auditory effect.
  • the servo 15 vibrates the dialog robot 1 or causes a specific gesture to realize a physical movement (hereinafter referred to as motion) of the dialog robot 1 and produce a tactile effect or a visual effect. To do.
  • the LED 16 is a light emitting element, and produces a visual effect as illumination or electrical decoration by changing the lighting / extinguishing timing or the color of light under the control of the control unit 10.
  • the display unit 13 performs image display switching under the control of the image display control unit 21, and further provides a transition period for image non-display or image display. It functions as a display switching execution body that outputs a display switching animation. Further, the speaker 14, the servo 15, and the LED 16 function as an execution subject of an effect operation that executes an effect operation to be executed in association with an image under the control of the effect output control unit 22.
  • the production output control unit 22 instructs each execution subject of the production operation to execute the production operation, and that each execution entity executes the respective production operation according to the instruction. It is expressed as “the production output control unit 22 executes the production operation” or “production output” or “output production”. Then, each execution subject that actually executes the effect operation is referred to as an (output) output unit.
  • the image database (DB) 30 stored in the storage unit 11 stores images that are displayed when a slide show is reproduced in the interactive robot 1.
  • the image is, for example, a photograph taken with a digital camera or the like, and shooting date / time information and shooting position information are associated with each image.
  • the image pattern database (DB) 31 stores information necessary for the interactive robot 1 to analyze and recognize the contents shown in the image.
  • the image pattern DB 31 stores image feature amounts (color, shape, etc.) of all things in association with names of things having the feature amounts.
  • the input processing unit 20 of the control unit 10 transmits a processing command corresponding to the input operation to each unit based on an input operation performed on the input unit 12 by the user. For example, when the user performs an operation indicating a slide show playback instruction on the input unit 12, the input processing unit 20 transmits a processing command necessary for playback of the slide show to the image display control unit 21.
  • the input processing unit 20 has a function of analyzing a signal input by operating the touch panel 17 and a function of recognizing sound input from the microphone 18. These functions are realized by any conventional technique.
  • the image display control unit 21 controls the reproduction of the slide show based on the processing command from the input processing unit 20. Specifically, one or more image groups grouped as a slide show designated by the user are specified, and the timing for displaying individual images is controlled. Further, the image display control unit 21 selects an individual image to be displayed next and notifies the image analysis unit 23 and the effect output control unit 22 of the selected image. Note that, as a reference when the image display control unit 21 selects a display target image, a criterion based on image attributes such as an ascending order of image file names or an image shooting date / time may be employed. Alternatively, the image display control unit 21 may sequentially select display target images in accordance with a user-specified order included in the processing command from the input processing unit 20.
  • the image display control unit 21 requests the effect output control unit 22 to output an effect on the display target image notified as described above, and, as a response, the end point of the effect ( Hereinafter, the production end point) is received from the production output control unit 22. Accordingly, the image display control unit 21 determines the display end time of the display target image or the display start time of the next display target image in consideration of the effect end time of the effect output in association with the display target image. decide. Specifically, the image display control unit 21 continues to display the current display image until the presentation of the currently displayed image (current display image) has not ended, and then displays the next image to be displayed (next display). (Image) is not displayed and the next display image is displayed after the presentation of the current display image is completed.
  • the image display control unit 21 controls the execution of an effect operation (animation output described later) related to an image display method executed by the display unit 13 among the effect operations to be executed in association with the image. To do.
  • the image analysis unit 23 analyzes each image stored in the image DB 30. Specifically, the names of things appearing in the image are extracted by extracting shooting date / time information and shooting position information associated with the image, or comparing the image with each of the image feature amounts stored in the image pattern DB 31. Or to identify.
  • the analysis results (subject information indicating the name of the object, shooting date / time information, and shooting position information) output from the image analysis unit 23 are stored for each image in the storage unit 11 and used when the effect creation unit 24 creates an effect. Is done.
  • any conventional technique may be employed (for example, Patent Document 2).
  • the production creating unit 24 determines the content of the production to be output together with the image designated by the production output control unit 22 in accordance with the instruction from the production output control unit 22.
  • the effect creation unit 24 determines the content of the effect so as to match the content of the image based on the analysis result of the image output by the image analysis unit 23, and creates effect information indicating the content of the effect.
  • the effect information includes a processing command for each output unit (display unit 13, speaker 14, servo 15 and LED 16) for outputting the effect.
  • the production information includes information for designating an output unit in charge of the production, content of the production to be output, and information for designating timing for outputting the production.
  • the production information is (1) animation (fade in, fade out, wipe in, wipe) on the display unit 13 to the image itself or a figure related to the image when the image is displayed / hidden. (2) Output sound data (sound, music, sound effect, etc.) to the speaker 14 while an image is displayed. A command to instruct, (3) a command to instruct the servo 15 to execute a motion x seconds after the image is displayed, and (4) a specific command while the image is being displayed to the LED 16 A command for instructing to turn on / off the light emitting element of the color, or (5) a combination of these arbitrary commands.
  • animation fade in, fade out, wipe in, wipe
  • Output sound data sound, music, sound effect, etc.
  • the effect information created by the effect creation unit 24 is stored in the storage unit 11 for each image, and from the effect output control unit, output control units (audio output control unit, motion output control unit, LED control) of each output unit (not shown). To the speaker 14, the servo 15 or the LED 16. A command for the display unit 13 included in the effect information is finally sent to the display unit 13 via the image display control unit 21.
  • the timing at which the image analysis unit 23 analyzes the image and the timing at which the effect creation unit 24 creates the effect may be implementation-dependent. For example, in the present embodiment, every time a display target image is selected by the image display control unit 21 after the slide show reproduction is started, the display target image is analyzed and an effect is created.
  • the present invention is not limited to this, and when the input processing unit 20 receives a designation of a slide show to be reproduced from the user via the input unit 12, analysis and production of all images included in the designated slide show are performed. It may be broken. Alternatively, analysis and production of an effect may be performed when an image is newly registered in the image DB 30. In this case, the analysis result and the effect information are stored in the image DB 30 in association with the image.
  • an effect may be created when an image is taken.
  • the image analysis unit 23 and the effect creation unit 24 are provided not in the interactive robot 1 but in an imaging apparatus that captures the image. Then, an image associated with the analysis result and the effect information is registered in the image DB 30.
  • the effect output control unit 22 controls the output of the effect created for the display target image selected by the image display control unit 21 in accordance with the display target image. That is, each output unit is controlled by supplying production information to each output unit that outputs the production. Specifically, the effect output control unit 22 sends a processing command for the display unit 13 to the display unit 13 via the image display control unit 21 among the processing commands included in the production information created by the effect creation unit 24. Sending out and causing the display unit 13 to perform an effect operation. Similarly, the production output control unit 22 sends processing instructions for the other output units to the speaker 14, the servo 15, and the LED 16 via an unillustrated audio output control unit, motion output control unit, and LED control unit, respectively. Send them out and cause them to perform a production operation.
  • the effect output control unit 22 when the effect output control unit 22 receives an effect output request for the display target image from the image display control unit 21, the effect output control unit 22 controls the output of the effect of the display target image as described above.
  • the image display control unit 21 is notified as a response to the request.
  • FIG. 2 is a time chart for explaining image display timing and effect output timing by the slide show reproduction processing in the first embodiment.
  • FIG. 3 is a flowchart showing a flow of slide show reproduction processing in the interactive robot 1.
  • the input processing unit 20 sends a processing command to the image display control unit 21 to start playback of the slide show specified by the user. .
  • the image display control unit 21 starts a slide show reproduction process.
  • the image display control unit 21 specifies an image group belonging to the designated slide show from the image DB 30 (S1).
  • the image display control unit 21 selects a display target image (“photo A” in the example of FIG. 2) based on a predetermined standard (S2).
  • the selected display target image is notified to the image analysis unit 23 and the effect output control unit 22, and the effect output control unit 22 is requested to output the effect of the display target image (S3).
  • the notification of the display target image is achieved by transmitting identification information associated with the display target image in the image DB 30 from the image display control unit 21 to the image analysis unit 23 or the effect output control unit 22.
  • the image analysis unit 23 analyzes the notified display target image (S6). Based on the existing technology, the image analysis unit 23 comprehensively combines the comparison result with the feature amount in the image pattern DB 31, shooting date / time information, and shooting position information, and names of things (persons, landscapes, etc.) appearing in the image. Is identified. For example, the image analysis unit 23 can discriminate an object shown in the image as a “mountain” by comparing the feature amounts of the images (using any known image recognition engine).
  • the image analysis unit 23 can acquire information on the nearest landmark (for example, “Mt. Fuji”) by performing reverse geocoding from the shooting position information included in the image. And the thing contained in an image can be specified by both combined conditions.
  • the image analysis unit 23 stores the analysis result obtained as described above in the storage unit 11.
  • the production creating unit 24 creates production information based on the analysis result (S7).
  • voice data speech A in FIG. 2 for causing the dialog robot 1 to utter the comment “I went to see Mt. Fuji with Mr. XX last May”
  • Production information including instructions for outputting the audio data from the speaker 14 at an appropriate timing is created.
  • the effect creation unit 24 can create a comment for an utterance that matches the content of the display target image using the analysis result.
  • DB comment database
  • an object that is assumed to be included in an image and a comment that matches the object are stored in association with each other.
  • a comment that matches the image can be created by combining a comment stored in the database and a predetermined standard comment.
  • the production output control unit 22 distributes the production information created by the production creation unit 24 to an appropriate output unit and outputs the production (t1 in FIG. 2, S8 in FIG. 3).
  • the effect output control unit 22 controls the speaker 14 and outputs the comment (voice A).
  • the effect output control unit 22 notifies the image display control unit 21 of the end of the effect as a response to the request in S3 (S10).
  • the image display control unit 21 continues to display the photo A in S11 unless it receives an effect end notification of the photo A from the effect output control unit 22 (NO in S11). And the image display control part 21 performs the process of non-display of the photograph A after receiving the notice of the end of the production (YES in S11, for example, t3 in FIG. 2).
  • the non-display of the photograph A is performed when the undisplayed image remains in the image group specified in S ⁇ b> 1 (YES in S ⁇ b> 12)
  • the image display control unit 21 displays the next display object after the photograph A. This is achieved by selecting the photo B to be (S2) and switching to the photo B for display (t3 in FIG. 2 and S4 in FIG. 3).
  • the image display control unit 21 ends the slide show reproduction process, whereby the non-display of the photo A is achieved.
  • the image display control unit 21 receives an effect end notification from the effect output control unit 22 that controls the output of the effect (speech, motion, electrical decoration, etc.) given to the display target image, With this notification, the current display image is not displayed. In other words, the display of the current display image is maintained until the effect for the current display image is completed.
  • the image display control unit 21 grasps the end point of the effect for each image. can do. Therefore, after the presentation of the current display image is finished, the display of the current display image can be finished or switched to the next display image. It is possible to avoid the situation where the display is unnaturally cut off.
  • control unit 10 further includes an input processing unit 20 and a timer processing unit 25 as functional blocks.
  • the timer processing unit 25 starts counting from a predetermined time point and measures an elapsed time from the time point.
  • the elapsed time measured by the timer processing unit 25 is appropriately referred to when each unit of the control unit 10 performs an arbitrary process based on a point in time when the predetermined elapsed time is reached.
  • the input processing unit 20 accepts at least an input operation related to display of the next display image and an input operation related to display continuation of the current display image as user input operations.
  • the former input operation is not limited to this, but the user performs a flick operation from left to right on the touch panel 17 when the current display image is displayed on the display unit 13, Or, (2) remarks that the user does not wish to display the current display image or the next display image via the microphone 18 (“This photo is already good”, “Nakatsumanai”, “ “Show me next”, “I'm worried about the rest”, etc.).
  • the image display control unit 21 cancels the effect of the current display image to the effect output control unit 22 when an input operation related to the display of the next display image is received by the input processing unit 20.
  • Request (request to stop production).
  • the production abort request preferably includes a predetermined substitute production output request (request to change to a predetermined production operation).
  • the display target is switched from the current display image to the next display image.
  • the next display image effect output request may be sent together with the effect discontinuation request, or may be sent after the display switching to the next display image is completed.
  • the image display control unit 21 extends the display period of the current display image to the effect output control unit 22 when the input operation unit 20 receives an input operation related to display continuation of the current display image.
  • a notification to that effect (display extension notification) is sent.
  • the display extension notification preferably includes a request for output of a predetermined additional effect (a request to execute a predetermined effect operation after the effect operation corresponding to the current display image).
  • each output unit (and production creation unit) outputs the alternative production so that the production of the current display image is interrupted. 24) is controlled.
  • the alternative effect is preferably a content that has been received when the effect of the current display image is discontinued. For example, a voice such as “Did you like this photo? Well then, let's go next” is stored in advance in the storage unit 11 as an effect output at the time of termination. A plurality of types of these sounds may be stored.
  • the effect output control unit 22 when receiving the display extension notification from the image display control unit 21, the effect output control unit 22 outputs each additional output unit (so that an additional effect is output after the effect operation corresponding to the currently displayed image currently being executed. And the production creating unit 24).
  • the additional effect is a content that is received when the display period of the current display image is extended. For example, one or a plurality of sounds such as “I'll display this picture for a while” are stored in the storage unit 11 as an effect output when the display is extended.
  • the output of the additional effect may be to repeatedly output the effect that has been output for the current display image.
  • FIGS. 4 to 6 the flow of the slide show reproduction process of the second embodiment will be described.
  • 4 and 5 are time charts for explaining image display timing and effect output timing by the slide show reproduction processing according to the second embodiment.
  • 6A and 6B are flowcharts showing the flow of a slide show reproduction process in the interactive robot 1 of the second embodiment.
  • the difference from that of the first embodiment is that the image display control unit 21 displays a display target image in S4, and then receives an effect end notification from the effect output control unit 22 in S11.
  • the input processing unit 20 receives an input operation from the user, and a process corresponding to the content is executed.
  • the photograph A is displayed in S4, and the sound A corresponding to the photograph A is output in S8.
  • the input processing unit 20 receives an input operation related to the display of the next display image (hereinafter, input operation A).
  • input operation A an input operation related to the display of the next display image
  • the image display control unit 21 sends to the effect output control unit 22 an effect discontinuation request that requests discontinuation of the effect of the photograph A (S22).
  • the image display control part 21 returns to S12, and when there exists a next display image, the process after S2 is repeated about the said next display image. That is, the current display image is switched to the next display image (t2 in FIG. 4).
  • the production output control unit 22 receives a production termination request from the image display control unit 21 before the voice A output in S8 ends (YES in S31 of FIG. 6B), the production output.
  • the control unit 22 controls the speaker 14 to interrupt the output of the sound A corresponding to the photograph A (S32, t2 in FIG. 4).
  • the production output control unit 22 causes the speaker 14 to output the sound X as the alternative production (FIG. 4). Thereafter, the effect output control unit 22 returns to S5 and waits for an effect output request for the next display image.
  • the user gives an instruction to terminate the display of the photo A before the original end time t3 ′ of the photo A and the original end time t2 ′ of the sound A at the time t2.
  • the output of the corresponding sound A can be interrupted in synchronization with the non-display of the picture A.
  • it is possible to avoid a situation in which the corresponding effect is unnaturally continued.
  • it is possible to output an alternative effect (speech X in the example of FIG. 4) in response to an abort instruction from the user.
  • speech X in the example of FIG. 4
  • the input process is performed at an arbitrary time point before the switching of the photo A (t3 ′) accompanying the end of output of the sound A (t2), for example, at the time point t4.
  • input operation B an input operation related to display continuation of the current display image
  • the image display control unit 21 displays the display period of the photo A.
  • a display extension notification for notifying that the video is extended is sent to the effect output control unit 22 (S23). Thereafter, the image display control unit 21 returns to S21 and waits for further input operation from the user.
  • the image display control unit 21 waits for an input operation from the user without waiting for an input operation from the user. May be displayed.
  • the input operation B may occur before the time t2 when the voice A ends.
  • the effect output control unit 22 controls the speaker 14 to control the sound A corresponding to the photograph A. Is output to the end (S34, t2 in FIG. 5).
  • the effect output control unit 22 causes the speaker 14 to output the sound Y as the additional effect (FIG. 5).
  • the voice Y may include a message for notifying the user that the interactive robot 1 is in an input operation standby state or for prompting the user to perform an input operation.
  • the effect output control unit 22 returns to S5 and waits for an effect output request for the next display image.
  • the image display control unit 21 grasps the end point of the presentation in advance, and based on the grasped end point, the image display switching timing and the presentation To control the output timing.
  • FIG. 7 is a time chart illustrating image display timing and effect output timing by slide show reproduction processing according to the third embodiment.
  • FIG. 8 is a flowchart illustrating the flow of a slide show reproduction process in the interactive robot 1 according to the third embodiment.
  • the image display control unit 21 executes S1 to S4 as in the first embodiment.
  • the effect output control unit 22 receives an effect output request from the image display control unit 21 together with the designation of the display target image (photo A in FIG. 7) (YES in S5 in FIG. 3)
  • the effect is output in S10.
  • the production end scheduled time is returned as a response to the request at a timing before the output of the effect ends (YES in S9, t3 in FIG. 7).
  • the production end scheduled time is information indicating the time at which the production corresponding to the current display image is scheduled to end.
  • the production end scheduled time may be information specifying how many seconds are to end, or may be specified by a time indicated by a clock unit (not shown) built in the interactive robot 1.
  • the image display control unit 21 and the production output control unit 22 can share the elapsed time measured by the timer processing unit 25 and synchronize the production end scheduled times grasped by each other.
  • production information of the production (voice A) to be output in accordance with the photograph A is determined in S7 as in the first embodiment.
  • the effect output control unit 22 analyzes the effect information, and specifies the required time (effect required time) from the output start time t1 of the sound A to the output end time t3. And if the production output control part 22 starts the production
  • the production output control unit 22 returns the scheduled production end point of the current display image to the image display control unit 21 before the production actually ends in S9.
  • the production output control unit 22 determines that the production information is confirmed during the production output. What is necessary is just to obtain
  • the effect output control unit 22 receives an effect output request including a reservation for the photo B during the output of the effect of the photo A, the sound B corresponding to the photo B from the scheduled effect end time (t3).
  • the speaker 14 is controlled so that the output of is started.
  • the image display control unit 21 controls the display switching timing from the photo A to the photo B based on the scheduled production end time. That is, the display / non-display timing of each photo is controlled so that the non-display of the photo A is completed at the time t3 and the photo B is completely displayed at the time t3. Furthermore, the image display control unit 21 may output an effect (animation) to be executed in the transition period of the display switching from the photo A to the photo B based on the scheduled end time of the effect (S43).
  • the image display control unit 21 receives from the production output control unit 22 at the time point t2 when the photograph A is displayed, the production end scheduled time point indicating that the output of the sound A is finished after z seconds.
  • the image display control unit 21 can execute an animation of fading out the photo A being displayed over z seconds.
  • the animation that hides the photo A in synchronization with the end timing of the sound A not the sequential production of executing the non-display animation of the photo A. Can be produced.
  • the image display control unit 21 controls each downstream functional block so that the time when the non-display of the photo A is completed and the time when the display (production) start of the photo B is at least after the end time of the sound A. To do.
  • the non-display completion time of the photo A and the display (production) start time of the photo B do not occur. Therefore, while the audio A corresponding to the photo A is being output, the display of the photo A is finished, the next photo B is displayed, or the audio B corresponding to the photo B is output. It is possible to avoid inconsistency between the display content and the rendering operation, such as stagnation.
  • the image display control unit 21 is in a case where the scheduled end point of the effect grasped in advance by the notification from the effect output control unit 22 is earlier than expected, that is, the total of the current display image.
  • the production output control unit 22 is interrupted with the production currently being output, and replaced with a production with a shorter scale if necessary. May be requested.
  • the image display control unit 21 ends the display of the current display image at the end of the allowable display time or at the end of the effect with a short scale.
  • the effect output control unit 22 notifies that the effect is scheduled to end after q seconds.
  • the image display control unit 21 corresponds to the photo A to the effect output control unit 22 when p seconds + q seconds exceeds a predetermined threshold (allowable display time). Requests replacement of the currently output voice A.
  • the image display control unit 21 receives the audio A. If it is determined that the scale is too long, the production output control unit 22 interrupts the voice A in response to a request from the image display control unit 21, and the subsequent voices are “this talk seems to be long, but can I continue?” It can be considered that the output is replaced with.
  • the effect output control unit 22 may resume the output of the sound A from the interruption position.
  • the production output control unit 22 outputs a voice “This story is likely to be long, so please continue” instead of the voice A, thereby forcibly terminating the output of the picture A and the voice A. Conceivable.
  • the control block (particularly, the input processing unit 20, the image display control unit 21, the effect output control unit 22, the image analysis unit 23, the effect creation unit 24, and the timer processing unit 25) of the interactive robot 1 is an integrated circuit (IC chip) or the like. It may be realized by a logic circuit (hardware) formed in the above, or may be realized by software using a CPU (Central Processing Unit).
  • IC chip integrated circuit
  • CPU Central Processing Unit
  • the interactive robot 1 includes a CPU that executes instructions of a program that is software that realizes each function, a ROM (Read Only Memory) in which the above-described program and various data are recorded so as to be readable by a computer (or CPU) or A storage device (these are referred to as “recording media”), a RAM (Random Access Memory) for expanding the program, and the like are provided.
  • a computer or CPU
  • the recording medium a “non-temporary tangible medium” such as a tape, a disk, a card, a semiconductor memory, a programmable logic circuit, or the like can be used.
  • the program may be supplied to the computer via an arbitrary transmission medium (such as a communication network or a broadcast wave) that can transmit the program.
  • a transmission medium such as a communication network or a broadcast wave
  • the present invention can also be realized in the form of a data signal embedded in a carrier wave in which the program is embodied by electronic transmission.
  • the image display apparatus (dialogue robot 1) according to the first aspect of the present invention is associated with an image display control unit (21) that sequentially switches and displays images to be displayed, and an image displayed by the image display control unit.
  • An effect output control unit (22) that determines an effect operation (speech A) to be executed and executes the determined effect operation in accordance with the display of the image, and the image display control unit includes: Timing of switching the display from the current display image (photo A) to the next display image (photo B) based on the acquired production end time (production end time / production end scheduled time) indicating the time when the production operation ends. Control.
  • the effect output control unit determines an effect operation to be executed in association with a displayed image (hereinafter, a display target image). Then, the determined effect operation is executed in accordance with the display of the image. Here, the time required for the execution of the production operation and the production end point are determined. In this way, the production end point determined by the production output control unit determining the production operation corresponding to the image is grasped by the image display control unit via the production output control unit.
  • the image display control unit that grasps the production end point of the currently displayed display target image controls the timing of switching the display from the current display image to the next display image based on the grasped production end point. To do. Therefore, it is possible to avoid a mismatch between the content of the displayed image and the rendering operation, and as a result, it is possible to reproduce the slide show without impairing the rendering effect.
  • the effect output control unit notifies the image display control unit to that effect when the effect operation corresponding to the current display image is completed.
  • the image display control unit may continue displaying the current display image until the notification is acquired.
  • the effect output control unit specifies the time required for the effect operation corresponding to the current display image, and after starting the effect operation, the process ends. In the meantime, the image display control unit is notified of the effect end time (the effect end scheduled time) calculated based on the required time, and the image display control unit performs the effect operation corresponding to the current display image.
  • the timing of switching the image may be controlled so that the non-display of the current display image is completed after the time when the image is finished.
  • the image display control unit grasps the scheduled end time of the effect operation before the effect operation corresponding to the current display image ends. And the non-display of the said current display image is completed at the time of the end of the scheduled production, or after that.
  • timing of switching the image so that the non-display of the current display image is completed may be, for example, that the current display image gradually disappears after a predetermined transition period, and is completely hidden at the end of the effect. For example, it is controlled to be displayed.
  • the image display control unit performs an effect operation corresponding to the next display image after a time point when the effect operation corresponding to the current display image ends. While requesting the effect output control unit to start, the timing for switching the image so that the next display image is displayed after the time point when the effect operation corresponding to the current display image ends may be controlled.
  • the image display control unit not only ends the display of the current display image at the time when the rendering operation corresponding to the current display image ends, or after the end time, but also displays the next display image.
  • start production For example, immediately after the end point, it is possible to synchronize the start of the display of the next display image displayed next and the start of the rendering operation of the next display image. As a result, it is possible to improve the degree of freedom and the expressiveness of the production, and to produce a more interesting production and a production that enhances the presence. In this way, the effect of production can be further enhanced.
  • the next display image gradually appears after a predetermined transition period, and is displayed completely at the end of the effect. And so on.
  • the image display control unit is configured such that when the effect end time acquired from the effect output control unit is later than a predetermined time, The current display image is hidden, and the effect output control unit is requested to interrupt the effect operation corresponding to the current display image, and the effect output control unit performs the effect operation according to the request.
  • Another shorter production operation may be executed by interrupting or replacing the production operation.
  • the image display control unit determines that the effect is too long based on the scheduled end time of the effect operation corresponding to the current display image grasped in advance
  • the image display control unit The production output control unit is requested to interrupt the production operation.
  • the effect output control unit interrupts the effect operation being executed, or replaces the effect contents so that the effect becomes shorter.
  • the image display control unit hides the current display image.
  • the timing at which this non-display is completed may be a time when it is determined that the above-described effect is too long, or may be a predetermined time described above.
  • the execution period of the rendering operation can be shortened within a natural display period of one image.
  • the degree of freedom of presentation and the expressive power are improved, and it is possible to realize reproduction of a slide show rich in expression according to the situation.
  • the display control unit changes the effect operation corresponding to the currently displayed image being executed to a predetermined effect operation (alternative effect). While requesting the effect output control unit, the display may be switched from the current display image to the next display image.
  • the display of the current display image can be skipped as desired by the user, and a corresponding effect is provided. It is possible to avoid a situation in which the output is unnatural. Furthermore, it is possible to replace the effect with the above situation. As a result, it is possible to realize the reproduction of an expressive slide show with enhanced interactive communication with the user.
  • the image display control unit executes a predetermined effect operation (additional effect) after the effect operation corresponding to the current display image being executed.
  • the display of the current display image may be continued after the end of the effect acquired from the effect output control unit.
  • the display time of the current display image can be extended as desired by the user. And even if it reaches the end point of presentation of the current display image, the display of the current display image can be continued thereafter. Furthermore, it is also possible to add an effect tailored to the situation. As a result, it is possible to realize the reproduction of an expressive slide show with enhanced interactive communication with the user.
  • the image display method determines an image display step (S4) for sequentially switching and displaying images to be displayed, and an effect operation to be executed in association with the image displayed in the image display step. Based on an effect output step (S8) for executing the determined effect operation in accordance with the display of the image, and an effect end point indicating the time point when the effect operation ends, which is found after the effect output step.
  • a switching timing control step (S11 ⁇ S12 ⁇ S2, S43) for controlling the timing of switching the display from the image to the next display image.
  • the image display device may be realized by a computer, and in this case, each unit included in the image display device (an image display control unit, an effect output control unit as a software element, An image display device control program for causing the image display device to be realized by a computer by operating as an image analysis unit, an effect creation unit, and a timer processing unit, and a computer-readable recording medium recording the image display device are also included in the present invention. Enter the category.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Television Signal Processing For Recording (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

表示画像と演出動作との不一致によって演出の効果が損なわれることを回避する。表示対象の画像を順次切り替えて表示する画像表示制御部(21)と、画像に対応付けて実行する演出動作を決定し、決定した演出動作を画像の表示に合わせて実行する演出出力制御部(22)とを備え、画像表示制御部(21)は、演出出力制御部(22)から取得した、演出終了時点に基づいて、現表示画像から次表示画像への表示切替タイミングを制御する。

Description

画像表示装置
 本発明は、表示対象の画像を順次切り替えて表示する画像表示装置に関する。
 従来、複数の画像をスライドショー形式で表示する際に、画像と紐づく演出動作(一例として、音声データの出力)を同時に実行する技術がある。例えば、特許文献1の技術において、画像に合わせて音声データを出力しようとした場合に、一定時間間隔で画像をコマ送りする方式では、音声データの長さによって、その出力が完了する前に次の画像に遷移することがあるため、音声データの出力時間に基づいて、次の画像へ切り替えるタイミングを調整していた。
日本国公開特許公報「特開2002-281440号」(2002年9月27日公開) 日本国公開特許公報「特開2011-227783号」(2011年11月10日公開)
 しかしながら、上述のような従来技術では、以下の問題が生じる。すなわち、特許文献1の技術では、画像に対応する音声データが、スライドショーの各画像に対して、事前に割り当てられていて、そのために、音声データの再生時間が事前に把握できることが前提であり、そうでなければ、画像を切り替えるタイミングを音声データの出力のタイミングに合わせることができない。具体的には、画像の内容または周辺環境に応じて音声の内容を動的に変更するようなシステムにおいては、音声データの出力時間は一律でなく、また、その出力時間は、表示する画像が特定され、特定された画像に紐付ける音声データの内容が確定するまで判明しないので、音声データに合わせて画像を切り替えるべきタイミングが特定できないという問題がある。
 本発明は、上記問題に鑑みてなされたものであり、その目的は、画像に対して動的に演出が付与されるために、演出の終了時点が全画像で一律でない場合であっても、演出終了時点を画像ごとに把握し、表示されている画像と実行されている演出動作との不一致によって演出の効果が損なわれるという事態を回避することにある。
 上記の課題を解決するために、本発明の一態様に係る画像表示装置は、表示対象の画像を順次切り替えて表示する画像表示制御部と、上記画像表示制御部によって表示される画像に対応付けて実行する演出動作を決定し、決定した演出動作を上記画像の表示に合わせて実行する演出出力制御部とを備え、上記画像表示制御部は、上記演出出力制御部から取得した、上記演出動作が終了する時点を示す演出終了時点に基づいて、現表示画像から次表示画像へ表示を切り替えるタイミングを制御する。
 本発明の一態様によれば、表示されている画像と実行されている演出動作との不一致によって演出の効果が損なわれるという事態を回避するという効果を奏する。
本発明の実施形態1における画像表示装置としての対話ロボットの要部構成を示すブロック図である。 実施形態1におけるスライドショー再生処理による、画像の表示タイミングと演出の出力タイミングとを説明するタイムチャートである。 上記対話ロボットにおけるスライドショー再生処理の流れを示すフローチャートである。 実施形態2におけるスライドショー再生処理による、画像の表示タイミングと演出の出力タイミングとを説明するタイムチャートである。 実施形態2におけるスライドショー再生処理による、画像の表示タイミングと演出の出力タイミングとを説明するタイムチャートである。 (a)および(b)は、実施形態2の対話ロボットにおけるスライドショー再生処理の流れを示すフローチャートである。 実施形態3におけるスライドショー再生処理による、画像の表示タイミングと演出の出力タイミングとを説明するタイムチャートである。 実施形態3の対話ロボットにおけるスライドショー再生処理の流れを示すフローチャートである。 本発明の対話ロボットの外観を示す図である。
 〔実施形態1〕
 以下、本発明の実施形態について図1~3を参照して詳細に説明する。一実施形態において、本発明の画像表示装置は、一例として、図9に示すような表示部を備えた対話ロボットであり、本発明の画像表示方法は、一例として、対話ロボットが、該対話ロボットに搭載されたスライドショーアプリケーションを実行することにより実現される。
 (画像表示装置の構成)
 図1は、本発明の実施形態における画像表示装置としての対話ロボットの要部構成を示すブロック図である。対話ロボット(画像表示装置)1は、制御部10、記憶部11、入力部12および表示部13を備え、必要に応じてさらに、スピーカ14、サーボ15およびLED16を備えている構成である。対話ロボット1は、対話ロボットとしてその他の機能を備えているが、このうち本発明に直接関係の無い部分については記載を省略した。
 制御部10は、対話ロボット1が有する各種の機能を統括的に制御する。制御部10は、機能ブロックとして、少なくとも、画像表示制御部21および演出出力制御部22を含み、必要に応じてさらに、入力処理部20、画像解析部23、演出作成部24およびタイマ処理部25を含んでいてもよい。機能ブロックは、例えば、CPUなどが、不揮発性の記憶装置(記憶部11)に記憶されているプログラムを不図示のRAM等に読み出して実行することで実現できる。記憶部11は、上記プログラムおよび上記スライドショーアプリケーションの他に、対話ロボット1が処理する各種情報を記憶する。入力部12は、対話ロボット1を動作させるための指示信号をユーザが対話ロボット1に対して入力するものであり、例えば、対話ロボット1に内蔵されたタッチパネル17およびマイク18などで実現される。
 表示部13は、記憶部11に記憶されている各種情報(画像DB30、画像パターンDB31)をユーザが視認可能なように表示するものであり、例えば、LCD(液晶ディスプレイ)などの表示装置で構成される。スピーカ14は、制御部10によって処理された音データを音声、効果音または音楽などとして出力し、聴覚的効果を演出するものである。サーボ15は、対話ロボット1を振動させたり、特定のジェスチャーをさせたりするなどして、対話ロボット1の物理的な動き(以下、モーション)を実現し、触覚に係る効果または視覚的効果を演出するものである。LED16は発光素子であり、制御部10の制御下で、点灯/消灯のタイミングまたは光の色を変更するなどして、照明または電飾としての視覚的効果を演出するものである。本発明の各実施形態では、一例として、表示部13は、画像表示制御部21の制御下で、画像の表示切替を実行し、さらに、画像の非表示または画像の表示に移行期間を設けて、表示切替用のアニメーションを出力する、表示切替の実行主体として機能する。また、スピーカ14、サーボ15、および、LED16は、演出出力制御部22の制御下で画像に対応付けて実行すべき演出動作を実行する、演出動作の実行主体として機能する。以下では、演出出力制御部22が演出動作の各実行主体に対して演出動作の実行を指示すること、および、その指示にしたがって各実行主体がそれぞれの演出動作を実行することを、まとめて、「演出出力制御部22が演出動作を実行する」あるいは、「演出の出力」または「演出を出力する」と表現する。そして、演出動作を実際に実行する上述の各実行主体を、(演出の)出力部と称する。
 記憶部11に記憶されている画像データベース(DB)30は、対話ロボット1においてスライドショーが再生されたときに表示される画像を格納している。画像は、例えば、デジタルカメラなどで撮影された写真であり、個々の画像には、撮影日時情報および撮影位置情報が関連付けられている。画像パターンデータベース(DB)31は、画像に写っている内容を対話ロボット1が解析して認識するために必要となる情報を記憶している。例えば、画像パターンDB31は、あらゆる事物の画像特徴量(色、形状など)と、該特徴量を有する事物の名称とを関連付けて格納するものである。
 制御部10の入力処理部20は、ユーザが入力部12に対して行った入力操作に基づいて、当該入力操作に応じた処理命令を各部に送信するものである。例えば、ユーザがスライドショーの再生指示を意味する操作を入力部12に対して行うと、入力処理部20はスライドショーの再生に必要な処理命令を、画像表示制御部21へ送信する。本実施形態では、入力処理部20は、タッチパネル17が操作されることにより入力された信号を解析する機能、および、マイク18から入力された音声を認識する機能を有する。これらの機能は従来の任意の技術により実現される。
 画像表示制御部21は、入力処理部20からの処理命令に基づいて、スライドショーの再生を制御する。詳細には、ユーザにより指定されたスライドショーとしてグループ化された1以上の画像群を特定し、個々の画像を表示するタイミングを制御する。また、画像表示制御部21は、次に表示対象となる個々の画像を選択して画像解析部23および演出出力制御部22に対して通知する。なお、画像表示制御部21が表示対象画像を選択するときの基準として、画像ファイル名の昇順、画像の撮影日時順などように画像の属性に基づく基準が採用されてもよい。あるいは、画像表示制御部21は、入力処理部20からの処理命令に含められた、ユーザ指定の順序にしたがって、順次表示対象画像を選択してもよい。特に本実施形態では、画像表示制御部21は、演出出力制御部22に対して、上述のように通知した表示対象画像について演出を出力するように要求し、その応答として上記演出の終了時点(以下、演出終了時点)を該演出出力制御部22から受け取る。これにより、画像表示制御部21は、上記表示対象画像に関連付けて出力される演出の演出終了時点を考慮して、該表示対象画像の表示終了時点またはその次の表示対象画像の表示開始時点を決定する。具体的には、画像表示制御部21は、現在表示中の画像(現表示画像)の演出が終了していないうちは、現表示画像の表示を継続し、次に表示予定の画像(次表示画像)の表示を行わず、上記現表示画像の演出が終了してから次表示画像を表示する。
 また、画像表示制御部21は、画像に対応付けて実行すべき演出動作のうち、表示部13によって実行される画像の表示の仕方に係る演出動作(後述のアニメーション出力)に関して、その実行を制御する。
 画像解析部23は、画像DB30に格納された各画像の解析を行う。具体的には、画像に関連付けられた撮影日時情報および撮影位置情報を抽出したり、画像を、画像パターンDB31に格納された画像特徴量の各々と比較して、画像に写っている事物の名称を特定したりする。画像解析部23が出力した解析結果(事物の名称を示す被写体情報、撮影日時情報および撮影位置情報)は、画像ごとに記憶部11に格納され、演出作成部24が演出を作成する際に利用される。なお、画像の解析手法については従来の任意の技術が採用されればよい(例えば、特許文献2)。
 演出作成部24は、演出出力制御部22の指示にしたがって、演出出力制御部22が指定した画像とともに出力すべき演出の内容を決定する。演出作成部24は、画像解析部23によって出力された上記画像の解析結果に基づいて、該画像の内容に合うように演出の内容を決定し、その演出の内容を示す演出情報を作成する。演出情報は、演出を出力するための各出力部(表示部13、スピーカ14、サーボ15およびLED16)に対する処理命令を含む。詳細には、演出情報は、演出を担当する出力部を指定する情報、出力される演出の内容、および、該演出を出力するタイミングを指定する情報含む。例えば、これには限定されないが、演出情報は、(1)表示部13に対して、画像の表示/非表示時に画像自体もしくは画像に関連する図形に、アニメーション(フェードイン、フェードアウト、ワイプイン、ワイプアウト、ズームイン、ズームアウトなど)を付与することを指示する命令、(2)スピーカ14に対して、画像が表示されている間に、音データ(音声、音楽、効果音など)を出力すること指示する命令、(3)サーボ15に対して、画像が表示されてからx秒後にモーションを実行することを指示する命令、(4)LED16に対して、画像表示されている間に、特定の色の発光素子の点灯/消灯を実行することを指示する命令、または、(5)これらの任意の命令の組み合わせを含む。演出作成部24によって作成された演出情報は、画像ごとに記憶部11に格納され、演出出力制御部から、図示しない各出力部の出力制御部(音声出力制御部、モーション出力制御部、LED制御部)を介して、スピーカ14、サーボ15またはLED16に送られる。なお、演出情報に含まれる表示部13に対する命令は、画像表示制御部21を介して最終的に表示部13に送られる。
 ここで、画像解析部23が画像を解析するタイミング、および、演出作成部24が演出を作成するタイミングは実装依存であってよい。例えば、本実施形態では、スライドショーの再生が開始されてから、画像表示制御部21によって表示対象画像が選択される度に、該表示対象画像について、解析および演出の作成が行われる。しかしこれに限定されず、入力処理部20が入力部12を介してユーザから再生すべきスライドショーの指定を受け付けた時に、指定されたスライドショーに含まれるすべての画像について、解析および演出の作成が行われてもよい。あるいは、画像が、画像DB30に新規に登録された時に解析および演出の作成が行われてもよい。この場合、解析結果および演出情報は、上記画像に対応付けて画像DB30に併せて格納される。あるいは、画像が撮影された時点で演出が作成されてもよい。この場合、画像解析部23および演出作成部24は、対話ロボット1ではなく、上記画像を撮像する撮像装置に設けられる。そして、解析結果および演出情報が関連付けられた画像が画像DB30に登録される。
 演出出力制御部22は、画像表示制御部21によって選択された表示対象画像について、該表示対象画像に合わせて作成された演出の出力を制御する。すなわち、演出を出力する各出力部に演出情報を供給することにより、各出力部を制御する。具体的には、演出出力制御部22は、演出作成部24によって作成された演出情報に含まれる処理命令のうち、表示部13に対する処理命令を、画像表示制御部21を介して表示部13に送出して、表示部13に演出動作を実行させる。同様に、演出出力制御部22は、その他の出力部に対する処理命令を、図示しない音声出力制御部、モーション出力制御部、および、LED制御部を介して、それぞれ、スピーカ14、サーボ15およびLED16に送出して、これらに演出動作を実行させる。特に本実施形態では、演出出力制御部22は、上記表示対象画像についての演出出力の要求を画像表示制御部21から受け付けると、上述のように表示対象画像の演出の出力を制御するとともに、該演出の出力が終了すると、その旨を、上記要求に対する応答として画像表示制御部21へ通知する。
 (スライドショー再生処理の流れ)
 図2および図3を参照して、実施形態1のスライドショー再生処理の流れを説明する。図2は、実施形態1におけるスライドショー再生処理による、画像の表示タイミングと演出の出力タイミングとを説明するタイムチャートである。図3は、対話ロボット1におけるスライドショー再生処理の流れを示すフローチャートである。
 入力部12を介して、ユーザからスライドショー再生の指示が入力されると、入力処理部20は、ユーザによって指定されたスライドショーの再生を開始するように画像表示制御部21に対して処理命令を送る。これを受けて画像表示制御部21はスライドショー再生処理を開始する。まず、画像表示系統において、画像表示制御部21は、指定されたスライドショーに属する画像群を画像DB30から特定する(S1)。そして、画像表示制御部21は、所定の基準に基づいて表示対象画像(図2の例では「写真A」)を選択する(S2)。続いて、選択した表示対象画像を画像解析部23および演出出力制御部22に通知するとともに、演出出力制御部22に対して該表示対象画像の演出の出力を要求する(S3)。表示対象画像の通知は、画像DB30において表示対象画像に関連付けられている識別情報などが画像表示制御部21から画像解析部23または演出出力制御部22に対して伝達されることにより達成される。
 画像表示制御部21が選択した表示対象画像を表示部13に表示している一方(図2のt0、図3のS4)、画像表示制御部21によって、演出出力要求がなされると(S5においてYES)、演出出力系統において、画像解析部23は通知された表示対象画像について解析を行う(S6)。画像解析部23は、既存の技術に基づき、画像パターンDB31における特徴量との比較結果と撮影日時情報と撮影位置情報とを総合的に組み合わせて、画像に写る事物(人物、風景など)の名称を特定する。例えば、画像解析部23は、画像の特徴量の比較によって(任意の公知の画像認識エンジンを用いて)、画像に写っている事物を「山」と判別できる。加えて、画像解析部23は、画像に含まれる撮影位置情報から逆ジオコーディングすることにより最寄りのランドマーク(例えば「富士山」など)の情報を取得できる。そして、両者の複合条件で、画像に含まれる事物を特定することができる。画像解析部23は、以上のようにして得られた解析結果を記憶部11に格納する。
 続いて、演出作成部24は解析結果に基づいて演出情報を作成する(S7)。図2の例では、「去年の5月に○○さんと一緒に富士山を見に行ったんだよね。」というコメントを対話ロボット1に発話させるための音声データ(図2の音声A)と、該音声データを適切なタイミングでスピーカ14から出力させるための命令とを含む演出情報を作成する。なお、演出作成部24は、上記解析結果を用いて、表示対象画像の内容に合致した発話のためのコメントを作成することができる。例えば、図示しないコメントデータベース(DB)には、画像に含まれていることが想定されている事物と、その事物に合ったコメントとが対応付けて格納されており、演出作成部24は、上記データベースに格納されているコメント、および、所定の定型コメントを組み合わせて、その画像に合致したコメントを作成することができる。
 続いて、演出出力制御部22は、演出作成部24によって作成された演出情報を、適切な出力部に分配して演出を出力する(図2のt1、図3のS8)。図2の例では、演出出力制御部22は、スピーカ14を制御して、上記コメント(音声A)を出力する。音声Aの出力が終了すると(図2のt2、図3のS9でYES)、演出出力制御部22は、S3の要求に対する応答として、画像表示制御部21に演出終了を通知する(S10)。
 画像表示制御部21は、S11において、演出出力制御部22から写真Aの演出終了通知を受け取らないうちは(S11でNO)写真Aの表示を継続する。そして、画像表示制御部21は、演出終了通知の受信以降に(S11でYES、例えば、図2のt3)、写真Aの非表示の処理を実行する。例えば、写真Aの非表示は、S1において特定された画像群の中に未表示の画像が残っている場合には(S12でYES)、画像表示制御部21が、写真Aの次に表示対象となる写真Bを選択して(S2)、写真Bに切り替えて表示する(図2のt3、図3のS4)ことにより達成される。一方、全ての画像の表示が完了した場合(S12でNO)、画像表示制御部21が、スライドショー再生処理を終了することにより、写真Aの非表示が達成される。
 上記構成および方法によれば、画像表示制御部21は、表示対象画像に付与された演出(発話、モーション、電飾等)の出力を制御する演出出力制御部22から、演出終了通知を受け取り、その通知をもって現表示画像の非表示を実行する。すなわち、現表示画像のための演出が終了しないうちは、現表示画像の表示が維持される。
 これにより、画像に対して動的に演出が付与されるために、演出の終了時点が全画像で一律でない場合であっても、画像表示制御部21は、画像ごとの演出の終了時点を把握することができる。したがって、現表示画像の演出が終了してから、現表示画像の表示を終了したり、次表示画像に切り替えたりすることができるので、現表示画像の演出が終了しないうちに、現表示画像の表示が不自然に打ち切られるという事態を回避することが可能となる。
 〔実施形態2〕
 本発明の他の実施形態について、図1、図4~6に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。本実施形態では、現表示画像の演出が終了していないうちに、受け付けた入力操作の内容に応じて、画像の表示切替タイミングおよび演出の出力タイミングを制御する。
 (画像表示装置の構成)
 本実施形態では、制御部10は、機能ブロックとして、さらに、入力処理部20およびタイマ処理部25を含む。タイマ処理部25は、所定の時点から計時を開始し、当該時点からの経過時間を計測するものである。タイマ処理部25が計測した経過時間は、制御部10の各部が、所定の経過時間に到達した時点に基づいて任意の処理を行うときに適宜参照される。
 本実施形態では、入力処理部20は、ユーザの入力操作として、少なくとも、次表示画像の表示に関する入力操作と、現表示画像の表示継続に関する入力操作とを受け付ける。前者の入力操作としては、これには限定されないが、ユーザが、表示部13に現表示画像が表示されているときに、(1)タッチパネル17に対して左から右へフリック操作を行うこと、あるいは、(2)マイク18を介して、現表示画像の表示を希望しない旨、または、次表示画像の表示を希望する旨の発言(「この写真はもういいや」、「なんかつまんない」、「次見せて」、「この後が気になる」など)を入力することなどが想定される。後者の入力操作としては、これには限定されないが、ユーザが、表示部13に現表示画像が表示されているときに、(1)タッチパネル17に対して長押し操作を行うこと、あるいは、(2)マイク18を介して、現表示画像の表示を希望する旨の発言、または、現表示画像の内容についての発言(「あーいい写真だね」、「すごーい」、「ずっと見ていたいな」、「富士山きれいに撮れたなー」など)を入力することなどが想定される。
 本実施形態では、画像表示制御部21は、入力処理部20にて次表示画像の表示に関する入力操作が受け付けられた場合には、演出出力制御部22に対して、現表示画像の演出打ち切りを要求する(演出打ち切り要求)。該演出打ち切り要求には、所定の代替演出の出力要求(所定の演出動作に変更するように要求すること)が含まれていることが好ましい。次に、上記現表示画像から上記次表示画像へ表示対象を切り替える。なお、次表示画像の演出出力要求は、演出打ち切り要求とともに送出されてもよいし、次表示画像への表示の切り替えが完了した後に送出されてもよい。
 また、画像表示制御部21は、入力処理部20にて現表示画像の表示継続に関する入力操作が受け付けられた場合には、演出出力制御部22に対して、現表示画像の表示期間を延長する旨の通知(表示延長通知)を送出する。該表示延長通知には、所定の追加演出の出力要求(現表示画像に対応する演出動作の後に所定の演出動作を実行するように要求すること)が含まれていることが好ましい。
 本実施形態では、演出出力制御部22は、画像表示制御部21から演出打ち切り要求を受け付けると、現表示画像の演出を中断し、代替演出が出力されるよう、各出力部(および演出作成部24)を制御する。なお、代替演出は、現表示画像の演出が打ち切りになったことを受けた内容であることが好ましい。例えば、「この写真はお好みじゃなかったのかな?じゃあ、次にいくね」などの音声が、打ち切り時に出力される演出として、あらかじめ記憶部11に格納されている。これらの音声は複数種類格納されていてもよい。
 また、演出出力制御部22は、画像表示制御部21から表示延長通知を受け付けると、現在実行中の上記現表示画像に対応する演出動作の後に、追加演出が出力されるよう、各出力部(および演出作成部24)を制御する。なお、追加演出は、現表示画像の表示期間が延長されたことを受けた内容であることが好ましい。例えば、「しばらく、この写真を表示しておくね」などの音声が、表示延長時に出力される演出として、1または複数個記憶部11に格納されている。あるいは、追加演出の出力とは、現表示画像について出力済の演出を繰り返し出力することであってもよい。
 (スライドショー再生処理の流れ)
 図4~図6を参照して、実施形態2のスライドショー再生処理の流れを説明する。図4および図5は、実施形態2におけるスライドショー再生処理による、画像の表示タイミングと演出の出力タイミングとを説明するタイムチャートである。図6の(a)および(b)は、実施形態2の対話ロボット1におけるスライドショー再生処理の流れを示すフローチャートである。
 本実施形態のスライドショー再生処理において、実施形態1のそれと異なる点は、画像表示制御部21が、S4にて表示対象画像を表示した後、S11にて演出出力制御部22から演出終了通知を受け取るまでの間に、入力処理部20がユーザから入力操作を受け付け、その内容に応じた処理が実行される点である。
 例えば、図4に示すとおり、S4にて写真Aが表示されるとともに、S8にて写真Aに対応する音声Aが出力される。ここで、音声Aの出力が終了しないうちに、すなわち、t2’よりも前のt2の時点で、入力処理部20が、次表示画像の表示に関する入力操作(以下、入力操作A)を受け付けると(図6の(a)のS21でYES、A)、画像表示制御部21は、写真Aの演出を打ち切ることを要求する演出打ち切り要求を演出出力制御部22に送出する(S22)。そして、画像表示制御部21は、S12に戻り、次表示画像がある場合には、当該次表示画像についてS2以降の処理を繰り返す。すなわち、現表示画像を次表示画像に切り替える(図4のt2)。
 一方、演出出力制御部22は、S8にて出力された音声Aが終了しないうちに、画像表示制御部21から演出打ち切り要求を受け付けると(図6の(b)のS31でYES)、演出出力制御部22は、スピーカ14を制御して、写真Aに対応する音声Aの出力を中断する(S32、図4のt2)。ここで、さらに、演出打ち切り要求に代替演出出力要求が含まれている場合には、演出出力制御部22は、スピーカ14に、代替演出としての音声Xを出力させる(図4)。その後、演出出力制御部22は、S5に戻り、次表示画像の演出出力要求を待機する。
 上記構成および方法によれば、写真Aの本来の終了時点t3’、および、音声Aの本来の終了時点t2’よりも前に、写真Aの表示を打ち切る旨の指示がt2の時点でユーザから入力された場合に、そのt2の時点で、写真Aを非表示にするのに同期して、対応する音声Aの出力を打ち切ることができる。結果として、現表示画像の表示がユーザの指示にしたがって打ち切られた場合に、対応する演出が不自然に継続されるという事態を回避することが可能となる。さらに、ユーザからの打ち切り指示に呼応した代替演出(図4の例では、音声X)を出力することができる。これにより、ユーザとの双方向コミュニケーションが充実した表現豊かなスライドショー再生処理を実現することが可能となる。
 あるいは、別の例では、図5に示すとおり、音声Aの出力終了(t2)に伴う写真Aの切り替え(t3’)が起こるよりも前の任意の時点、例えば、t4の時点で、入力処理部20が、現表示画像の表示継続に関する入力操作(以下、入力操作B)を受け付けると(図6の(a)のS21でYES、B)、画像表示制御部21は、写真Aの表示期間を延長する旨を通知する表示延長通知を演出出力制御部22に送出する(S23)。その後、画像表示制御部21は、S21に戻り、ユーザからさらに入力操作が実施されるのを待機する。あるいは、タイマ処理部25がt4の時点から計測を開始し、計測された経過時間が所定時間に到達した場合に、画像表示制御部21が、ユーザからの入力操作を待つことなく、次表示画像の表示を進めてもよい。なお、入力操作Bは、音声Aが終了する時点t2よりも前に起こってもよい。
 一方、演出出力制御部22は、S8にて写真Aに対応する音声Aを出力し始めた後から、次のS5にて次表示画像(写真B)の演出出力要求を受け付けるまでの間に、画像表示制御部21から表示延長通知を受け付けると(図6の(b)のS31でNO、S33でYES)、演出出力制御部22は、スピーカ14を制御して、写真Aに対応する音声Aの出力を最後まで実行させる(S34、図5のt2)。ここで、さらに、表示延長通知に追加演出出力要求が含まれている場合には、演出出力制御部22は、スピーカ14に、追加演出としての音声Yを出力させる(図5)。このとき、対話ロボット1が入力操作待機状態である旨をユーザに通知するための、あるいは、入力操作をユーザに促すためのメッセージが上記音声Yに含まれていてもよい。その後、演出出力制御部22は、S5に戻り、次表示画像の演出出力要求を待機する。
 なお、図6の(a)のS21において、入力操作Aも入力操作Bも起こらなかった場合には(S21でNO)、画像表示系統および演出出力系統において、実施形態1と同様の処理が実行される。
 上記構成および方法によれば、写真Aの本来の終了時点t3’よりも前に、写真Aの表示を継続する旨の指示がt4の時点でユーザから入力された場合に、t3’以降も、写真Aの表示を継続させることができる。また、表示延長に合わせて、対応する音声Aの出力を継続させることができる。結果として、現表示画像の表示がユーザの指示にしたがって延長された場合に、対応する演出が不自然に途切れるという事態を回避することが可能となる。さらに、ユーザからの延長指示に呼応した追加演出(図5の例では、音声Y)を出力することができる。これにより、ユーザとの双方向コミュニケーションが充実した表現豊かなスライドショー再生処理を実現することが可能となる。
 〔実施形態3〕
 本発明の他の実施形態について、図7に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。本実施形態では、現表示画像の演出が終了していないうちに、画像表示制御部21が該演出の終了時点を事前に把握し、把握した終了時点に基づいて、画像の表示切替タイミングおよび演出の出力タイミングを制御する。
 (スライドショー再生処理の流れ)
 図7は、実施形態3におけるスライドショー再生処理による、画像の表示タイミングと演出の出力タイミングとを説明するタイムチャートである。図8は、実施形態3の対話ロボット1におけるスライドショー再生処理の流れを示すフローチャートである。
 本実施形態では、画像表示系統において、画像表示制御部21は、実施形態1と同様にS1~S4を実行する。これに対し、演出出力制御部22は、画像表示制御部21から、表示対象画像(図7の写真A)の指定とともに演出出力要求を受け付けると(図3のS5でYES)、S10にて演出終了通知を応答として返すことに代えて、演出の出力が終了する(S9でYES、図7のt3)よりも前のタイミングにて、演出終了予定時点を上記要求の応答として返す。演出終了予定時点は、現表示画像に対応する演出が終了する予定の時点を示す情報である。例えば、演出終了予定時点は、あと何秒で終了するのかを指定する情報であってもよいし、対話ロボット1に内蔵された時計部(不図示)が示す時刻によって指定されてもよい。前者の場合、画像表示制御部21および演出出力制御部22は、タイマ処理部25が計測する経過時間を共有して、互いに把握する演出終了予定時点を同期させることができる。
 より詳細には、演出出力系統において、実施形態1と同様にS7にて、写真Aに合わせて出力させる演出(音声A)の演出情報が確定する。演出出力制御部22は、この演出情報を解析して、音声Aの出力開始時点t1から出力終了時点t3までの所要時間(演出所要時間)を特定する。そして、演出出力制御部22は、S8にて演出の出力を開始すると、その演出開始時点(t1)からタイマ処理部25が計時を開始する。演出出力制御部22は、上記演出開始時点(t1)に上記演出所要時間を加算して、演出終了予定時点(t3)を求める。演出出力制御部22は、S9で演出が実際に終了するよりも前に、現表示画像の上記演出終了予定時点を画像表示制御部21に返す。なお、S7にて演出情報が確定するよりも前に、S8にて演出の出力が開始される場合には、演出出力制御部22は、当該演出の出力中に演出情報が確定したときに、当該演出情報のうちの未出力の部分の演出所要時間と、タイマ処理部25によって計測された現在の経過時間とに基づいて演出終了予定時点を求めればよい。
 一方、図8を参照して、画像表示制御部21は、S4の後、写真Aの演出終了予定時点を演出出力制御部22から受け付けると(図8のS41でYES)、現在時刻が当該演出終了予定時点に到達するよりも前に、演出出力制御部22に対して、次表示画像(図7の写真B)の演出の出力を要求する(S42)。ここで送出される演出出力要求は、実施形態1とは異なり、写真Bの演出の出力を、上記演出終了予定時点で開始するように要求する、いわば、写真Bの演出を予約するための要求である。
 これに対し、演出出力制御部22は、写真Aの演出の出力中に、写真Bの予約を含む演出出力要求を受け付けた場合、上記演出終了予定時点(t3)から写真Bに対応する音声Bの出力が開始されるように、スピーカ14を制御する。
 画像表示制御部21は、上記演出終了予定時点に基づいて、写真Aから写真Bへの表示の切り替えタイミングを制御する。すなわち、t3の時点で、写真Aの非表示化を完了させるように、また、t3の時点で、写真Bを完全に表示させるように、それぞれの写真の表示/非表示のタイミングを制御する。さらに、画像表示制御部21は、写真Aから写真Bへの表示切替の移行期間に実行する演出(アニメーション)を、上記演出終了予定時点に基づいて、タイミングよく出力してもよい(S43)。
 その一例について、図7を参照して説明する。例えば、画像表示制御部21は、写真Aを表示中のt2の時点で、演出出力制御部22から、z秒後に音声Aの出力が終了することを示す演出終了予定時点を受け取る。この場合、画像表示制御部21は、z秒かけて表示中の写真Aをフェードアウトさせるというアニメーションを実行させることができる。これにより、演出(音声A)の出力が終了してから、写真Aの非表示のアニメーションを実行するというシーケンシャルな演出ではなく、音声Aの終了タイミングに同期させて写真Aを非表示にするアニメーションを出力するという演出が可能となる。結果として、演出の自由度および表現力が向上し、より面白味のある演出、また、より臨場感を高める演出を実現することができる。
 なお、上述の説明では、写真Aの音声A(演出)の終了時点で、(1)写真Aの非表示化を完了させる、(2)次の写真Bの表示を開始させる、(3)次の写真Bの演出を開始させる例について説明したが、これに限定されない。写真Aの非表示化の完了時点、写真Bの表示開始時点、および、写真Bの演出開始時点は、音声Aの終了時点に必ず合致していなくてもよい。すなわち、画像表示制御部21は、写真Aの非表示化の完了時点および写真Bの表示(演出)開始時点が、少なくとも、音声Aの終了時点以降となるように、下流の各機能ブロックを制御する。これにより、音声Aの終了時点に先行して、写真Aの非表示完了時点、および、写真Bの表示(演出)開始時点に到達することは起こらない。したがって、写真Aに対応する音声Aが出力されている間に、写真Aの表示が終わってしまったり、次の写真Bが表示されてしまったり、写真Bに対応する音声Bが出力されてしまったりするという、表示内容と演出動作との不一致が回避できる。
 〔変形例〕
 実施形態3において、画像表示制御部21は、演出出力制御部22から通知されることによって事前に把握した演出終了予定時点が想定以上に先である場合には、すなわち、現表示画像のトータルの表示時間が、写真1枚につき許容される表示時間を超える場合には、現在出力中の演出の中断、および、必要に応じて、より尺が短い演出への差し替えを演出出力制御部22に対して要求してもよい。また、画像表示制御部21は、現表示画像の表示を、上記許容される表示時間の満了時点で、あるいは、上記尺が短い演出の終了時点で終了させる。
 例えば、画像表示制御部21が写真Aをp秒間表示した時点で、演出出力制御部22からq秒後に演出が終了するという演出終了予定時点の通知があったとする。このとき、画像表示制御部21は、p秒+q秒が、予め定められた閾値(許容される表示時間)を超えている場合に、演出出力制御部22に対して、写真Aに対応して現在出力されている音声Aの差し替えを要求する。
 上記構成によれば、例えば、音声Aが「去年の5月に○○さんと一緒に富士山を見に行ったんだよね。」まで出力された時点で、画像表示制御部21が、音声Aの尺が長すぎると判断した場合、演出出力制御部22は、画像表示制御部21の要求に応じて、音声Aを中断し、以降の音声を「この話長くなりそうだけど続けてもいい?」に差し替えて出力することが考えられる。ここで、ユーザから、現表示画像の表示継続に関する入力操作を受け付けた場合に、演出出力制御部22は、音声Aの出力を中断位置から再開してもよい。あるいは、演出出力制御部22は、音声Aに代えて、「この話長くなりそうなので続きはまたね」という音声を出力し、これにより、写真Aおよび音声Aの出力を強制的に打ち切ることが考えられる。
 〔ソフトウェアによる実現例〕
 対話ロボット1の制御ブロック(特に、入力処理部20、画像表示制御部21、演出出力制御部22、画像解析部23、演出作成部24およびタイマ処理部25)は、集積回路(ICチップ)等に形成された論理回路(ハードウェア)によって実現してもよいし、CPU(Central Processing Unit)を用いてソフトウェアによって実現してもよい。
 後者の場合、対話ロボット1は、各機能を実現するソフトウェアであるプログラムの命令を実行するCPU、上記プログラムおよび各種データがコンピュータ(またはCPU)で読み取り可能に記録されたROM(Read Only Memory)または記憶装置(これらを「記録媒体」と称する)、上記プログラムを展開するRAM(Random Access Memory)などを備えている。そして、コンピュータ(またはCPU)が上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体(通信ネットワークや放送波等)を介して上記コンピュータに供給されてもよい。なお、本発明は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
 〔まとめ〕
 本発明の態様1に係る画像表示装置(対話ロボット1)は、表示対象の画像を順次切り替えて表示する画像表示制御部(21)と、上記画像表示制御部によって表示される画像に対応付けて実行する演出動作(音声A)を決定し、決定した演出動作を上記画像の表示に合わせて実行する演出出力制御部(22)とを備え、上記画像表示制御部は、上記演出出力制御部から取得した、上記演出動作が終了する時点を示す演出終了時点(演出終了時点/演出終了予定時点)に基づいて、現表示画像(写真A)から次表示画像(写真B)へ表示を切り替えるタイミングを制御する。
 上記の構成によれば、演出出力制御部は、表示される画像(以下、表示対象画像)に対応付けて実行する演出動作を決定する。そして、決定した演出動作を上記画像の表示に合わせて実行する。ここで、演出動作の実行にかかる所要時間および演出終了時点が確定する。こうして、演出出力制御部が画像に対応する演出動作を決定したことにより判明した演出終了時点は、演出出力制御部を介して画像表示制御部によって把握される。
 現在表示中の表示対象画像(以下、現表示画像)の演出終了時点を把握した画像表示制御部は、把握した演出終了時点に基づいて、現表示画像から次表示画像へ表示を切り替えるタイミングを制御する。そのため、表示されている画像の内容と、演出動作との不一致を回避することができ、結果として、演出の効果が損なわれることなくスライドショーを再生することが可能となる。
 本発明の態様2に係る画像表示装置では、上記態様1において、上記演出出力制御部は、上記現表示画像に対応する演出動作が終了したときに、その旨を上記画像表示制御部に通知し、上記画像表示制御部は、上記通知を取得するまで、上記現表示画像の表示を継続してもよい。
 上記の構成によれば、現表示画像の演出が終了しないうちに、現表示画像の表示が不自然に打ち切られるという事態を回避することが可能となる。結果として、演出の効果が損なわれることなくスライドショーを再生することが可能となる。
 本発明の態様3に係る画像表示装置では、上記態様1において、上記演出出力制御部は、上記現表示画像に対応する演出動作の所要時間を特定し、該演出動作を開始した後、終了するまでの間に、上記所要時間に基づいて算出した、上記演出終了時点(演出終了予定時点)を上記画像表示制御部に通知し、上記画像表示制御部は、上記現表示画像に対応する演出動作が終了する時点以降に、現表示画像の非表示化が完了するように画像を切り替えるタイミングを制御してもよい。
 上記の構成によれば、画像表示制御部は、現表示画像に対応する演出動作が終了するよりも前に、その演出動作の終了予定時点を把握する。そして、予定されている演出の終了時点、あるいは、それより後に、上記現表示画像の非表示化を完了させる。
 このように、現表示画像の演出の出力が終了した後で、該現表示画像の非表示に係る動作するというシーケンシャルな表現ではなく、現表示画像の演出の終了タイミングに同期させて、現表示画像の表示を終わらせるという表現がスライドショー再生において可能となる。結果として、演出の自由度および表現力が向上し、より面白味のある演出、また、より臨場感を高める演出を実現することができる。こうして演出の効果をより一層高めることが可能となる。
 なお、現表示画像の非表示化が完了するように画像を切り替えるタイミングを制御することとしては、例えば、現表示画像が所定の移行期間を経て徐々に消失し、上記演出終了時点で完全に非表示化されるように制御することなどが挙げられる。
 本発明の態様4に係る画像表示装置では、上記態様3において、上記画像表示制御部は、上記次表示画像に対応する演出動作を、上記現表示画像に対応する演出動作が終了する時点以降に開始するように上記演出出力制御部に要求するとともに、上記現表示画像に対応する演出動作が終了する時点以降に上記次表示画像が表示されるように画像を切り替えるタイミングを制御してもよい。
 上記の構成によれば、画像表示制御部は、現表示画像に対応する演出動作が終了した時点、あるいは、終了時点より後に、現表示画像の表示を終了させるだけでなく、次表示画像の表示および演出を開始させる。例えば、上記終了時点直後に、その次に表示される次表示画像の表示の開始と、当該次表示画像の演出動作の開始とを同期させることが可能となる。結果として、演出の自由度および表現力が向上し、より面白味のある演出、また、より臨場感を高める演出を実現することができる。こうして演出の効果をより一層高めることが可能となる。
 なお、次表示画像が表示されるように画像を切り替えるタイミングを制御することとしては、例えば、次表示画像が所定の移行期間を経て徐々に出現し、上記演出終了時点で完全に表示されるように制御することなどが挙げられる。
 本発明の態様5に係る画像表示装置では、上記態様3または4において、上記画像表示制御部は、上記演出出力制御部から取得した上記演出終了時点が、所定時点よりも後である場合に、上記現表示画像を非表示にするとともに、上記現表示画像に対応する演出動作を中断するように上記演出出力制御部に要求し、上記演出出力制御部は、上記要求にしたがって、上記演出動作を中断するまたは上記演出動作に差し替えて、より短い別の演出動作を実行してもよい。
 上記の構成によれば、画像表示制御部は、事前に把握した現表示画像に対応する演出動作の終了予定時点に基づいて、演出が長すぎると判断した場合には、画像表示制御部は、当該演出動作の中断を演出出力制御部に要求する。演出出力制御部は、この要求に応じて、実行中の演出動作を中断したり、より短い演出になるように演出内容を差し替えて実行する。また、画像表示制御部は、現表示画像を非表示にする。この非表示化が完了するタイミングは、上述の演出が長すぎると判断した時点であってもよいし、上述の所定の時点であってもよい。これにより、画像に合わせて演出動作が決定された結果、当該演出動作が不自然に長くなる場合に、演出動作の実行期間を1枚の画像における自然な表示期間内に短縮することができる。結果として、演出の自由度および表現力が向上し、状況に応じて、表現が豊かなスライドショーの再生を実現することが可能となる。
 本発明の態様6に係る画像表示装置では、上記態様1~5において、上記現表示画像に対応する演出動作が終了しないうちに、上記画像表示装置に対して入力操作があったとき、上記画像表示制御部は、上記入力操作が上記次表示画像の表示に関する入力操作である場合に、実行中の上記現表示画像に対応する演出動作を、所定の演出動作(代替演出)に変更するように上記演出出力制御部に要求するとともに、上記現表示画像から上記次表示画像へ表示を切り替えてもよい。
 上記の構成によれば、ユーザが現表示画像の表示を早々に切り上げて、次表示画像の表示を希望した場合に、ユーザの希望どおり、現表示画像の表示をスキップできるとともに、対応する演出が不自然に出力されたままになるという事態を回避することができる。さらには、上述の状況に合わせた演出に差し替えることも可能である。結果として、ユーザとの双方向コミュニケーションが充実した表現豊かなスライドショーの再生を実現することが可能となる。
 本発明の態様7に係る画像表示装置では、上記態様1~6において、上記現表示画像に対応する演出動作が終了しないうちに、上記画像表示装置に対して入力操作があったとき、上記画像表示制御部は、上記入力操作が上記現表示画像の表示継続に関する入力操作である場合に、実行中の上記現表示画像に対応する演出動作の後に、所定の演出動作(追加演出)を実行するように上記演出出力制御部に要求するとともに、上記演出出力制御部から取得した上記演出終了時点以降も上記現表示画像の表示を継続してもよい。
 上記の構成によれば、ユーザが現表示画像の表示の継続を希望した場合に、ユーザの希望どおり、現表示画像の表示時間を延長することができる。そして、現表示画像の演出終了時点に到達しても、それ以降も現表示画像の表示を継続できる。さらには、その状況に合わせた演出を追加することも可能である。結果として、ユーザとの双方向コミュニケーションが充実した表現豊かなスライドショーの再生を実現することが可能となる。
 本発明の態様8に係る画像表示方法は、表示対象の画像を順次切り替えて表示する画像表示ステップ(S4)と、上記画像表示ステップで表示される画像に対応付けて実行する演出動作を決定し、決定した演出動作を上記画像の表示に合わせて実行する演出出力ステップ(S8)と、上記演出出力ステップの後に判明する、上記演出動作が終了する時点を示す演出終了時点に基づいて、現表示画像から次表示画像へ表示を切り替えるタイミングを制御する切替タイミング制御ステップ(S11→S12→S2、S43)とを含む。
 本発明の各態様に係る画像表示装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記画像表示装置が備える各部(ソフトウェア要素としての、画像表示制御部、演出出力制御部、画像解析部、演出作成部、タイマ処理部)として動作させることにより上記画像表示装置をコンピュータにて実現させる画像表示装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
 本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。
1 対話ロボット(画像表示装置)、10 制御部、11 記憶部、12 入力部、13
 表示部、14 スピーカ(演出出力部)、15 サーボ(演出出力部)、16 LED(演出出力部)、17 タッチパネル、18 マイク、20 入力処理部、21 画像表示制御部、22 演出出力制御部、23 画像解析部、24 演出作成部、25 タイマ処理部

Claims (7)

  1.  表示対象の画像を順次切り替えて表示する画像表示制御部と、
     上記画像表示制御部によって表示される画像に対応付けて実行する演出動作を決定し、決定した演出動作を上記画像の表示に合わせて実行する演出出力制御部とを備え、
     上記画像表示制御部は、上記演出出力制御部から取得した、上記演出動作が終了する時点を示す演出終了時点に基づいて、現表示画像から次表示画像へ表示を切り替えるタイミングを制御することを特徴とする画像表示装置。
  2.  上記演出出力制御部は、上記現表示画像に対応する演出動作が終了したときに、その旨を上記画像表示制御部に通知し、
     上記画像表示制御部は、上記通知を取得するまで、上記現表示画像の表示を継続することを特徴とする請求項1に記載の画像表示装置。
  3.  上記演出出力制御部は、上記現表示画像に対応する演出動作の所要時間を特定し、該演出動作を開始した後、終了するまでの間に、上記所要時間に基づいて算出した、上記演出終了時点を上記画像表示制御部に通知し、
     上記画像表示制御部は、上記現表示画像に対応する演出動作が終了する時点以降に、現表示画像の非表示化が完了するように画像を切り替えるタイミングを制御することを特徴とする請求項1に記載の画像表示装置。
  4.  上記画像表示制御部は、上記次表示画像に対応する演出動作を、上記現表示画像に対応する演出動作が終了する時点以降に開始するように上記演出出力制御部に要求するとともに、上記現表示画像に対応する演出動作が終了する時点以降に上記次表示画像が表示されるように画像を切り替えるタイミングを制御することを特徴とする請求項3に記載の画像表示装置。
  5.  上記画像表示制御部は、上記演出出力制御部から取得した上記演出終了時点が、所定時点よりも後である場合に、上記現表示画像を非表示にするとともに、上記現表示画像に対応する演出動作を中断するように上記演出出力制御部に要求し、
     上記演出出力制御部は、上記要求にしたがって、上記演出動作を中断するまたは上記演出動作に差し替えて、より短い別の演出動作を実行することを特徴とする請求項3または4に記載の画像表示装置。
  6.  上記現表示画像に対応する演出動作が終了しないうちに、上記画像表示装置に対して入力操作があったとき、
     上記画像表示制御部は、
     上記入力操作が上記次表示画像の表示に関する入力操作である場合に、実行中の上記現表示画像に対応する演出動作を、所定の演出動作に変更するように上記演出出力制御部に要求するとともに、上記現表示画像から上記次表示画像へ表示を切り替えることを特徴とする請求項1から5までのいずれか1項に記載の画像表示装置。
  7.  上記現表示画像に対応する演出動作が終了しないうちに、上記画像表示装置に対して入力操作があったとき、
     上記画像表示制御部は、
     上記入力操作が上記現表示画像の表示継続に関する入力操作である場合に、実行中の上記現表示画像に対応する演出動作の後に、所定の演出動作を実行するように上記演出出力制御部に要求するとともに、上記演出出力制御部から取得した上記演出終了時点以降も上記現表示画像の表示を継続することを特徴とする請求項1から6までのいずれか1項に記載の画像表示装置。
PCT/JP2016/075857 2015-09-25 2016-09-02 画像表示装置 WO2017051686A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2017541499A JP6438148B2 (ja) 2015-09-25 2016-09-02 画像表示装置
CN201680025486.1A CN108141562A (zh) 2015-09-25 2016-09-02 图像显示装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015188733 2015-09-25
JP2015-188733 2015-09-25

Publications (1)

Publication Number Publication Date
WO2017051686A1 true WO2017051686A1 (ja) 2017-03-30

Family

ID=58386063

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/075857 WO2017051686A1 (ja) 2015-09-25 2016-09-02 画像表示装置

Country Status (3)

Country Link
JP (1) JP6438148B2 (ja)
CN (1) CN108141562A (ja)
WO (1) WO2017051686A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10145730A (ja) * 1996-11-13 1998-05-29 Sony Corp 静止画像および音声再生装置並びに再生方法
JP2002185928A (ja) * 2000-12-08 2002-06-28 Baku:Kk サウンド同期画像再生方法、サウンド同期画像再生機能付きのコンピュータによって読み取り可能な記憶媒体、及び、サウンド同期画像作成方法
JP2003216174A (ja) * 2002-01-22 2003-07-30 Seiko Epson Corp プロジェクタの遠隔操作装置
JP2008035227A (ja) * 2006-07-28 2008-02-14 Daiichikosho Co Ltd 静止画像表示切替システム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100448285C (zh) * 2002-12-18 2008-12-31 索尼株式会社 信息处理设备和信息处理方法
CN101034358A (zh) * 2007-04-13 2007-09-12 珠海金山软件股份有限公司 双屏播放幻灯片的方法
CN101751901B (zh) * 2009-12-18 2014-09-24 康佳集团股份有限公司 一种动感电子相册播放方法及装置
CN102088511A (zh) * 2010-12-09 2011-06-08 中兴通讯股份有限公司 移动终端投影演示的控制方法、系统及移动终端
CN103975582A (zh) * 2011-12-14 2014-08-06 索尼公司 信息处理设备、信息处理方法及程序

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10145730A (ja) * 1996-11-13 1998-05-29 Sony Corp 静止画像および音声再生装置並びに再生方法
JP2002185928A (ja) * 2000-12-08 2002-06-28 Baku:Kk サウンド同期画像再生方法、サウンド同期画像再生機能付きのコンピュータによって読み取り可能な記憶媒体、及び、サウンド同期画像作成方法
JP2003216174A (ja) * 2002-01-22 2003-07-30 Seiko Epson Corp プロジェクタの遠隔操作装置
JP2008035227A (ja) * 2006-07-28 2008-02-14 Daiichikosho Co Ltd 静止画像表示切替システム

Also Published As

Publication number Publication date
JPWO2017051686A1 (ja) 2018-02-15
CN108141562A (zh) 2018-06-08
JP6438148B2 (ja) 2018-12-12

Similar Documents

Publication Publication Date Title
CN107613357B (zh) 声画同步优化方法、装置及可读存储介质
WO2020216107A1 (zh) 会议数据处理方法、装置、系统及电子设备
JP6665446B2 (ja) 情報処理装置、プログラム及び音声合成方法
CN111914523B (zh) 基于人工智能的多媒体处理方法、装置及电子设备
CN105282591B (zh) 独立输出流的同步
KR20070020252A (ko) 메시지를 수정하기 위한 방법 및 시스템
WO2019015613A1 (zh) 电子书语音播放方法、装置及终端设备
WO2012105318A1 (ja) 入力支援装置、入力支援方法及び記録媒体
US8837912B2 (en) Information processing apparatus, information processing method and program
US9913033B2 (en) Synchronization of independent output streams
US11211074B2 (en) Presentation of audio and visual content at live events based on user accessibility
US9711181B2 (en) Systems and methods for creating, editing and publishing recorded videos
JP6438148B2 (ja) 画像表示装置
WO2018039059A1 (en) Computer device, method, and graphical user interface for automating the digital transformation, enhancement, and editing of videos
JP5267606B2 (ja) 表示装置及びプログラム
US7933671B2 (en) Data outputting device, data outputting method, data outputting program, and recording medium
WO2018173312A1 (ja) 仮想現実視聴システム、再生同期方法および仮想現実視聴用プログラム
JP6110731B2 (ja) ジェスチャーによるコマンド入力識別システム
CN113655984A (zh) 音频播放控制方法、音频播放控制装置及计算机存储介质
US20160275967A1 (en) Presentation support apparatus and method
CN113948054A (zh) 音轨处理方法、装置、电子设备和存储介质
JP7156748B1 (ja) 情報処理システム及び情報処理方法
JP7492092B1 (ja) 電子マニュアルの作成を支援するためのコンピュータシステムおよびプログラム
JP7321991B2 (ja) メディアファイルの生成装置、メディアファイルの再生装置、メディアファイルの生成方法、メディアファイルの再生方法、プログラム、記憶媒体
JP5860575B1 (ja) 音声録音プログラム、音声録音端末装置、及び音声録音システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16848474

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017541499

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16848474

Country of ref document: EP

Kind code of ref document: A1