WO2006011401A1 - 情報処理装置および方法、記録媒体、並びにプログラム - Google Patents

情報処理装置および方法、記録媒体、並びにプログラム Download PDF

Info

Publication number
WO2006011401A1
WO2006011401A1 PCT/JP2005/013295 JP2005013295W WO2006011401A1 WO 2006011401 A1 WO2006011401 A1 WO 2006011401A1 JP 2005013295 W JP2005013295 W JP 2005013295W WO 2006011401 A1 WO2006011401 A1 WO 2006011401A1
Authority
WO
WIPO (PCT)
Prior art keywords
video
audio
user
content data
unit
Prior art date
Application number
PCT/JP2005/013295
Other languages
English (en)
French (fr)
Inventor
Naoki Saito
Yusuke Sakai
Mikio Kamada
Original Assignee
Sony Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corporation filed Critical Sony Corporation
Priority to CN2005800257202A priority Critical patent/CN1993990B/zh
Priority to US11/658,833 priority patent/US8391671B2/en
Publication of WO2006011401A1 publication Critical patent/WO2006011401A1/ja

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/16—Analogue secrecy systems; Analogue subscription systems
    • H04N7/173—Analogue secrecy systems; Analogue subscription systems with two-way working, e.g. subscriber sending a programme selection signal
    • H04N7/17309—Transmission or handling of upstream communications
    • H04N7/17318—Direct or substantially direct transmission and handling of requests
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2387—Stream processing in response to a playback request from an end-user, e.g. for trick-play
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242—Synchronization processes, e.g. processing of PCR [Program Clock References]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25866—Management of end-user data
    • H04N21/25875—Management of end-user data involving end-user authentication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4135—Peripherals receiving signals from specially adapted client devices external recorder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42203—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43074—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of additional data with content streams on the same device, e.g. of EPG data or interactive icon with a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/432—Content retrieval operation from a local storage medium, e.g. hard-disk
    • H04N21/4325—Content retrieval operation from a local storage medium, e.g. hard-disk by playing back content from the storage medium
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44204—Monitoring of content usage, e.g. the number of times a movie has been viewed, copied or the amount which has been watched
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47202—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting content on demand, e.g. video on demand
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835—Generation of protective data, e.g. certificates
    • H04N21/8355—Generation of protective data, e.g. certificates involving usage data, e.g. number of copies or viewings allowed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H04N7/155—Conference systems involving storage of or access to video conference sessions

Definitions

  • the present invention relates to an information processing device and method, a recording medium, and a program, and in particular, communicates a user's voice and video with other information processing devices connected via a network and transmits the same content.
  • the present invention relates to an information processing apparatus and method, a recording medium, and a program that are played back in synchronization with each other, and that are configured to record the user's voice and video and the played content.
  • telephones so-called videophones, video conferencing systems, and the like exist as devices used for exchange between persons (hereinafter referred to as remote communication) in remote places.
  • remote communication There is also a method of connecting to the Internet using a personal computer or the like and performing text chat, video chat with video and audio, and the like.
  • each person who wants to perform remote communication uses a personal computer or the like to share a virtual space or share the same content via the Internet. It has also been proposed (see, for example, Patent Document 1).
  • Patent Document 1 JP 2003-271530 A
  • the present invention has been made in view of such a situation, and the content simultaneously viewed by speakers in remote locations and the video and audio of the speakers are combined at the time of recording.
  • the purpose of this is to record so that it is reproducible and can be synthesized and played back in a different state from the time of recording.
  • An information processing apparatus communicates, with a reproduction unit that reproduces the same content data in synchronization with another information processing apparatus, a user's voice and video with another information processing apparatus via a network.
  • Compositing means for combining the video and audio of the content data reproduced by the reproducing means with the video and audio of the user based on the settings from the user, the content data, the video and audio of the user, and Storage means for storing synthesis information indicating the synthesis status of the video and audio of the content data and the video and audio of the user, and the playback means and the synthesis means are controlled based on the synthesis information stored by the storage means.
  • reproduction control means for reproducing the composition of the video and audio of the content data stored in the storage means and the user's video and audio.
  • the content data stored by the storage unit and the video and audio of the user are added with time information indicating the time when synthesized by the synthesis unit, and the synthesis information is generated as the synthesis information. Or time information indicating the time when the setting of the composition status is changed can be added.
  • An information processing method includes a reproduction step of reproducing the same content data in synchronization with another information processing apparatus, and communication of a user's voice and video with another information processing apparatus via a network.
  • a storage step for storing synthesis information indicating the synthesis status of the video and audio of the content data and the user's video and audio, and the playback step and the synthesis step are controlled based on the synthesis information stored in the processing of the storage step.
  • a reproduction control step for reproducing the synthesis of the video and audio of the content data stored in the storage step and the video and audio of the user.
  • a recording medium program of the present invention communicates with another information processing apparatus via a network, a reproduction step of reproducing the same content data in synchronization with the other information processing apparatus, and a user's voice and video.
  • the video and audio of the content data stored in the storage step process and the user's video are stored. And characterized in that it comprises a reproduction control step of reproducing the synthesis of the speech.
  • the program of the present invention includes a reproduction step for reproducing the same content data in synchronization with another information processing apparatus, and communication for communicating a user's voice and video with another information processing apparatus via a network.
  • a synthesis step for synthesizing the video and audio of the content data and the video and audio of the user reproduced in the processing of the playback step based on the setting of the step and the user, the content data, the video and audio of the user, and
  • a storage step for storing synthesis information indicating the synthesis status of the video and audio of the content data and the video and audio of the user, and the playback step and the synthesis step are controlled based on the synthesis information stored in the processing of the storage step. Then, the video and audio of the content data stored in the storage step process and the video and audio of the user are stored. Characterized in that it comprises a reproduction control step of reproducing the synthesis of the.
  • Information processing apparatus and method of the present invention In the program, the user's audio and video are communicated with other information processing apparatuses via the network, and the reproduced content data video and audio and the user's video and video are set based on the settings from the user. Voice is synthesized. Also, content data, user video and audio, and composite information indicating the composite status of content data video and audio and user video and audio are stored, and stored content based on the stored composite information The synthesis of the video and audio of the data and the user's video and audio is reproduced.
  • FIG. 1 shows a configuration example of a communication system to which the present invention is applied.
  • FIG. 2A is a diagram showing an example of content video and user video.
  • FIG. 2B is a diagram showing an example of content video and user video.
  • FIG. 2C is a diagram showing an example of content video and user video.
  • FIG. 3A is a diagram showing an example of composition of content video and user video.
  • FIG. 3B is a diagram showing a synthesis example of content video and user video.
  • FIG. 3C is a diagram showing an example of composition of content video and user video.
  • FIG. 4 is a block diagram illustrating a configuration example of the communication device in FIG. 1.
  • FIG. 5 is a flowchart explaining remote communication processing by a communication device.
  • FIG. 6 is a flowchart for explaining the remote communication recording process in step S5 of FIG.
  • FIG. 7 is a flowchart illustrating remote communication reproduction processing.
  • FIG. 8 is a block diagram illustrating a configuration example of a general-purpose personal computer.
  • FIG. 1 shows a configuration example of a communication system to which the present invention is applied.
  • the communication device 1-1 is connected to another communication device 1 (communication device 1-2 in the case of Fig. 1) via the communication network 2 so as to be like a video phone.
  • common content for example, program content obtained by receiving television broadcasts, content such as movies already acquired through pre-downloading, etc.
  • This system supports remote communication between users by playing back and forth of private content (moving images such as content, still images, etc.) in synchronization with other communication devices 1-2.
  • private content moving images such as content, still images, etc.
  • the communication device 1 can be used simultaneously by a plurality of users. For example, in the case of FIG. 1, it is assumed that the communication device 1-1 is used by the users A and B, and the communication device 1-2 is used by the user X.
  • the video of the common content is as shown in FIG. 2A
  • the video of user A taken by the communication device 1-1 is as shown in FIG. 2B
  • the communication device 1 Assume that the video of user X taken by -2 is as shown in Figure 2C.
  • the display 22 (Fig. 4) of the communication device 1-1 has, for example, a picture in picture shown in Fig. 3A, a cross fade shown in Fig. 3B, or a wipe shown in Fig. 3C. (wipe) method, content and user The video is superimposed and displayed.
  • the video of the user is superimposed on the video of the content as a small screen.
  • the display position and size of the small screen can be arbitrarily changed by the user. It is also possible to display only one small screen for both the video of itself (user A) and the communication partner (user X). Furthermore, so-called “pre-rendering” may be performed so that the video of the content is transmitted through the small screen of the user's video.
  • the video of the user (user A or user X) is ⁇ -blended and displayed on the content video.
  • This cross fade can be used, for example, when the user points to an arbitrary position or region on the content video.
  • the video of the user appears from a predetermined direction so as to cover the video of the content.
  • a method other than the method described above may be applied to the display of the content and the video of the user.
  • the volume and left / right balance of the content and the user's voice are synthesized based on the user's settings.
  • the method of synthesizing content and user video and audio can be changed at any time.
  • Composition of content and user video and audio for example, distinction between picture-in-picture, cross-fade, or wipe, child screen size and position when picture-in-picture is adopted, cross-fade is adopted ⁇ blending transparency, volume ratio, etc. can be arbitrarily set by the user, and parameters related to these settings are composite information including information indicating the time when the setting was changed. Recorded as 34 ( Figure 4).
  • the communication network 2 is a broadband data communication network represented by the Internet or the like, and the content supply server 3 supplies content to the communication device 1 via the communication network 2 in response to a request from the communication device 1.
  • the authentication server 4 is used to authenticate the user of the communication device 1 when using the communication system. Perform processing such as billing.
  • the broadcast device 5 transmits content as a program such as a television broadcast. Therefore, each communication device 1 can receive and reproduce the content broadcast from the broadcast device 5 in synchronization. Note that the content transmission from the broadcasting device 5 to the communication device 1 may be wireless or wired.
  • the communication network 2 may also be used.
  • the standard time information supply device 6 is a standard time for matching the clock (standard time counter 41 (Fig. 4)) built in the communication device 1 with the standard time (world standard time, Japan standard time, etc.). Information is supplied to each communication device 1.
  • the supply of the standard time information from the standard time information supply device 6 to the communication device 1 may be wireless or wired. In addition, it does not work through the communication network 2.
  • the output unit 21 includes a display 22 and a speaker 23, displays video corresponding to the video signal and the audio signal input from the video / audio synthesis unit 31, and outputs audio. Output.
  • the input unit 24 detects the camera 25 that captures the user's video (moving image or still image), the microphone 26 that collects the user's voice, and the ambient environment information (brightness, temperature, humidity, etc.) of the user.
  • the real-time (RT) data of the user including the acquired moving image, sound, and surrounding environment information is output to the communication unit 28 and the storage unit 32.
  • the camera 25 has a function capable of measuring the distance to the subject (user).
  • the input unit 24 outputs the acquired user video and audio to the video / audio synthesis unit 31. Further, the input unit 24 outputs the acquired video to the image analysis unit 35. Note that a plurality of input units 24 (two in the case of FIG. 4) may be provided, and each may be directed to a plurality of users (users A and B in FIG. 1).
  • the communication unit 28 transmits the real-time data of the user A input from the input unit 24 to the communication device 1-2 of the communication partner via the communication network 2, and the communication device 1-2 is connected to the communication device 1-2. Receive real-time data from user X The data is output to the speech synthesis unit 31, the storage unit 32, and the image analysis unit 35.
  • the communication unit 28 receives the content supplied via the communication network 2 by the communication device 12 or the content supply server 3 as a communication partner, and outputs the content to the content reproduction unit 30 and the storage unit 32. Further, the communication unit 28 transmits the content 33 stored in the storage unit 32 and the operation information generated by the operation information output unit 50 to the communication device 12 via the communication network 2.
  • the broadcast receiving unit 29 receives the television broadcast signal broadcast from the broadcast device 5 and outputs the content as the obtained broadcast program to the content reproduction unit 30.
  • the content reproduction unit 30 reproduces the content of the broadcast program received by the broadcast reception unit 29, the content received by the communication unit 28, or the content read from the storage unit 32, and the video and audio of the obtained content Is output to the video / audio synthesis unit 31 and the image analysis unit 35.
  • the video / audio synthesizer 31 combines the content video input from the content playback unit 30, the video of the user, and the video for OSD (On Screen Display) by ⁇ -plending or the like, The resulting video signal is output to the output unit 21.
  • the video / audio synthesis unit 31 synthesizes the audio of the content input from the content reproduction unit 30 and the audio of the user, and outputs the audio signal obtained as a result to the output unit 21.
  • the storage unit 32 is received by the transmission / reception unit 29, real-time data of the user (user ⁇ etc.) supplied from the input unit 24, real-time data of the communication partner (user X) supplied from the communication unit 28
  • the standard time supplied from the standard time counter 41 via the control unit 43 is periodically added and stored in the content of the broadcast program content and the communication unit 28.
  • the storage unit 32 also stores synthesis information 34 generated by the synthesis control unit 47.
  • the image analysis unit 35 analyzes the brightness and luminance of the content video input from the content playback unit 30 and the user video (including those from the communication devices 1-2), and the analysis result Is output to the composition control unit 47.
  • the mirror image generation unit 36 of the image analysis unit 35 generates a mirror image of the image of the user (including the one from the communication device 1-2).
  • the pointer detection unit 37 includes a user motion vector detected by the motion vector detection unit 38, etc. Based on the above, the user detects a wrist, a fingertip, or the like as a pointer pointing to a desired position from the user's video (including those from the communication devices 1-2), and extracts the video.
  • the motion vector detection unit 38 detects a motion vector indicating the user's motion from the user's video (including the one from the communication device 1-2), and identifies the generation point and the locus.
  • the matching unit 39 determines whether the detected motion vector force of the user matches the !! or deviation of the user's motion, and outputs the determination result to the control unit 43 as motion vector matching information.
  • the communication environment detection unit 40 monitors the communication environment (communication rate, communication delay time, etc.) between the communication unit 28 and the communication device 1-2 via the communication network 2, and sends the monitoring result to the control unit 43. Output. Based on the standard time information supplied from the standard time information supply device 6, the standard time counter 41 matches the standard time recorded by itself and supplies the standard time to the control unit 43.
  • the operation input unit 42 also has, for example, a remote controller power, accepts a user operation, and inputs a corresponding operation signal to the control unit 43.
  • the control unit 43 configures the communication device 1-1 based on an operation signal corresponding to a user operation input from the operation input unit 42, motion vector matching information input from the image analysis unit 35, and the like. Control each part.
  • the control unit 43 includes a session management unit 44, a viewing / recording level setting unit 45, a playback synchronization unit 46, a composition control unit 47, a playback permission unit 48, a recording permission unit 49, an operation information output unit 50, and an electronic device control unit 51. Contains. In FIG. 4, illustration of control lines from the control unit 43 to each unit constituting the communication device 1-1 is omitted.
  • the communication unit 28 communicates with the communication communication device 1 via the communication network 2.
  • the viewing / recording level setting unit 45 determines whether or not the user's real-time data acquired in the input unit 24 can be reproduced in the communication device 1-2 of the communication partner based on a user-friendly setting operation. In addition, the force or power that can be recorded, the number of times that recording can be performed, and the like are set, and the communication unit 28 notifies the communication device 12 of this setting information. [0041] According to the viewing / recording level setting unit 45, since it is possible to set the viewing level and recording level for the user's video and audio, it is possible to prevent the outflow of private video and audio. It becomes possible.
  • the reproduction synchronization unit 46 controls the broadcast reception unit 29 and the content reproduction unit 30 so that the same content is reproduced in synchronization with the communication device 12 of the communication partner.
  • the composition control unit 47 is based on the analysis result of the image analysis unit 35 and the like so that the content video and audio and the user video and audio are synthesized according to the setting operation from the user. Controls the synthesizer 31.
  • the composition control unit 47 is configured to synthesize the video and audio of the content with the video and audio of the user, for example, distinction between picture-in-picture, cross-fade, or wipe, and picture-in-picture. Parameters related to settings such as the size and position of the child screen, the alpha blending transparency when the crossfade is used, and the ratio of volume, etc., and the composite information including information indicating the standard time when the settings were changed 34 Is generated and stored in the storage unit 32.
  • the reproduction permission unit 48 determines whether or not the content can be reproduced based on the license information added to the content, and controls the content reproduction unit 30 based on the determination result.
  • the recording permission unit 49 determines whether or not the user can record the real-time data and the content based on the setting of the communication partner and the license information added to the content, and controls the storage unit 32 based on the determination result. According to the playback permission unit 48 and the recording permission unit 49, content viewing and recording copy control can be controlled.
  • the operation information output unit 50 corresponds to a user's operation (channel switching operation when receiving a television broadcast, content playback start, playback end, fast forward playback operation, etc.). Operation information including time, etc. (details will be described later) is generated, and the communication unit 28 is also notified to the communication device 1-2 of the communication partner. This operation information is used for synchronized playback of content.
  • the electronic device control unit 51 is connected to predetermined electronic devices connected to the communication device 11 (including wireless connection).
  • Control equipment for example, lighting equipment, air conditioning equipment, etc., all not shown.
  • This remote communication processing is performed when an operation for instructing the start of remote communication with the communication device 12 is input to the operation input unit 42, and an operation signal corresponding to this operation is input to the control unit 43. To begin.
  • step S1 the communication unit 28 connects to the communication device 1-2 via the communication network 2 based on the control of the session management unit 44, and notifies the start of remote communication. In response to this notification, the communication device 1-2 returns an acceptance of the start of remote communication.
  • step S2 the communication unit 28 transmits real-time data such as the user A input from the input unit 24 to the communication device 1-2 via the communication network 2 based on the control of the control unit 43. At the same time, it starts receiving the real-time data of user X sent from communication device 1-2.
  • the video and audio included in the transmitted real-time data such as user A and the video and audio included in the received real-time data of user X are input to the storage unit 32 and the video / audio synthesis unit 31.
  • step S3 the communication unit 28 connects to the authentication server 4 via the communication network 2 based on the control of the session management unit 44, and performs an authentication process for content acquisition. After this authentication process, the communication unit 28 accesses the content supply server 3 via the communication network 2 and acquires the content specified by the user. At this time, it is assumed that the same processing is performed in the communication device 1-2 and the same content is acquired.
  • step S3 When receiving content that is broadcast on television, or when playing back content that has already been acquired and stored in storage unit 32, the process of step S3 can be omitted.
  • step S 4 the content playback unit 30 performs content playback processing synchronized with the communication device 12 (hereinafter, content synchronization playback) based on the control of the playback synchronization unit 46.
  • content synchronization playback synchronized with the communication device 12
  • the communication device 1-2 is notified of the operation from the user (channel switching operation, fast-forward playback start operation, etc.), and the communication device 11 is made to follow the communication device 1-2. To do.
  • step S5 the storage unit 32 starts a remote communication recording process.
  • step S6 the video / audio synthesizing unit 31 receives the video and audio of the reproduced content, the video and audio included in the transmitted real-time data such as the user A, and the like according to the control of the synthesis control unit 47.
  • the video and audio included in the real-time data of the user X thus obtained are synthesized, and the video signal and audio signal obtained as a result are supplied to the output unit 21.
  • the output unit 21 displays video corresponding to the supplied video signal and outputs audio corresponding to the audio signal.
  • video and audio communications between users and synchronized playback of content have started.
  • step S6 the pointer detection unit 35 of the image analysis unit 35 parallels the processing of the video / audio synthesis unit 31 and the like, based on the video included in the real-time data of the user A and the like, Detects and displays on the screen (pointing process).
  • step S7 the control unit 43 determines whether or not the user's power is an operation for instructing the end of the remote communication, and waits until it is determined that the operation has been performed. User power If it is determined that an operation for instructing the end of remote communication has been performed, the process proceeds to step S8.
  • step S8 based on the control from the session management unit 44, the communication unit 28 connects to the communication device 1-2 via the communication network 2 and notifies the end of the remote communication. In response to this notification, the communication device 1-2 returns an acceptance of the end of the remote communication.
  • step S9 the storage unit 32 ends the communication recording process.
  • the recorded content recorded so far, the video and audio included in the real-time data of user A etc., the video and audio included in the received real-time data of user X, and the composite information 34 are as follows: It will be used when this remote communication is reproduced in the future.
  • communication device 1 1 includes communication device 1 1.
  • communication device 1 (communication device 1-2) follows the communication device 1-1, but only a plurality of communication devices 1-1 are referred to.
  • the communication device 1 may be followed.
  • step S11 the composition control unit 47 sets parameters for setting the composition status of the video and audio of the content and the video and audio of the user, which are currently set by the user, and the current standard time.
  • step S12 the recording permission unit 49 determines whether or not the currently reproduced content is recordable based on attribute information (metadata) of the currently reproduced content. If it is determined that the currently reproduced content can be recorded, the process proceeds to step S 13.
  • step S13 the storage unit 32 periodically adds the standard time supplied from the standard time counting unit 41 via the control unit 43 to the currently playing content according to the control from the recording permission unit 49. Then, the process of storing is started.
  • step S13 If it is determined that the currently playing content is not recordable, step S13 is skipped.
  • step S14 the recording permission unit 49 determines whether or not the real time data of the user (user A etc.) can be recorded based on the setting from the user. If it is determined that real time data such as user A can be recorded, the process proceeds to step S15.
  • step S15 the storage unit 32 periodically adds the standard time supplied from the standard time counting unit 41 via the control unit 43 to the real time data of the user A or the like according to the control from the recording permission unit 49. The process to memorize is started. If it is determined in step S14 that real-time data such as user A is not recordable, step S15 is skipped.
  • step S16 the recording permission unit 49 determines whether or not real-time data of the user (user X) of the communication device 1-2 can be recorded based on the notification from the communication device 1-2. If it is determined that the real-time data of the user X can be recorded, the process proceeds to step S17.
  • step S17 the storage unit 32 periodically adds and stores the standard time supplied from the standard time counting unit 41 via the control unit 43 to the real time data of the user X according to the control from the recording permission unit 49. Start the process. If it is determined in step S16 that the real time data of user X is not recordable, step S17 is skipped.
  • steps S12 and S13, steps S14 and S15, and steps S16 and S17 have been described in order for the sake of convenience, but are actually changed.
  • step S18 the composition control unit 47 determines whether or not the setting of the composition of the content video and audio and the user video and audio has been changed by the user, and the composition setting is changed. Wait until it is determined that If it is determined that the composition setting has been changed, the process proceeds to step S 19.
  • step S 19 the composition control unit 47 performs composition information including parameters indicating the setting of the composition status of the content video and audio and the user video and audio, which are changed by the user, and information indicating the current standard time. 34 is generated and stored in the storage unit 32. Thereafter, the process returns to step S18 and the subsequent processes are repeated. And this remote communication processing is as described above. The user power is also continued until an operation for instructing the end of the remote communication is performed. This is the end of the description of the remote communication recording process.
  • remote communication processing for reproducing remote communication based on the video and audio of the content recorded by the remote communication recording processing, the video and audio of the user, and the synthesized information by the communication device 11 (hereinafter referred to as remote communication).
  • the communication reproduction process is described with reference to the flowchart in FIG.
  • This remote communication reproduction process is started, for example, in response to an operation from the user who instructs the reproduction of the content 33 stored in the storage unit 32.
  • step S31 the control unit 43 determines whether or not an operation for instructing reproduction of the remote communication has been performed from the user to the operation input unit 42. If it is determined that an operation for instructing remote communication reproduction has been performed, the process proceeds to step S32.
  • step S32 the composition control unit 47 acquires the composition information stored in the storage unit 32.
  • step S33 the composition control unit 47 sets the standard time included in the composition information, the time information added to the content stored in the storage unit 32, and the time information added to the user's real time data. Synchronize with and start playback. As a result, the video and audio of the content and the video and audio of the user are input to the video / audio synthesizer 37.
  • step S34 the video / audio synthesis unit 31 synthesizes the video and audio of the content with the video and audio of the user in accordance with the control from the synthesis control unit 47 based on the synthesis information acquired in the process of step S32. Output to output unit 21. As a result, remote communication during recording was completely reproduced.
  • step S31 If it is determined in step S31 that an operation for instructing reproduction of remote communication has been performed and it is determined to be a cunning habit, the process proceeds to step S35.
  • step S35 the operation input unit 42 accepts a user-friendly setting operation relating to the synthesis of content video and audio and user video and audio.
  • step S36 the composition control unit 47 starts playback in synchronization with the time information added to the content stored in the storage unit 32 and the time information added to the user's real-time data.
  • the video / audio synthesizer 37 receives content video and Audio and user video and audio are input.
  • step S37 the video / audio synthesizing unit 31 synthesizes the video and audio of the content with the video and audio of the user in accordance with the control from the synthesis control unit 47 corresponding to the setting result in the process of step S35.
  • Output to 21 The output of the content video and audio and the user video and audio is reproduced in a composite state different from the remote communication during recording. Of course, it is also possible to play back only the video and audio of the content.
  • the processing of the communication device 1 described above can be executed by hardware, but can also be executed by software.
  • various functions can be executed by installing a computer embedded in a dedicated hardware for the program power that constitutes the software, or by installing various programs. For example, it is installed from a recording medium in a general-purpose personal computer as shown in FIG.
  • This personal computer 100 has a CPU (Central Processing Unit) 101 built therein.
  • An input / output interface 105 is connected to the CPU 101 via the bus 104.
  • a ROM (Read Only Memory) 102 and a RAM (Random Access Memory) 103 are connected to the node 104.
  • the input / output interface 105 includes an input unit 106 including an input device such as a keyboard and a mouse for a user to input operation commands, an output unit 107 for displaying video and outputting audio, a program, A storage unit 108 including a hard disk drive for storing various data and a communication unit 109 for executing communication processing via a network typified by the Internet are connected. Also, magnetic disk (including flexible disk), optical disk (including CD-ROM (Compact Disc-Read Only Memory), DVD (Digital Versatile Disc)), magneto-optical disk (including MD (Mini Disc)), or A drive 110 for reading / writing data from / to a recording medium 111 such as a semiconductor memory is connected.
  • a recording medium 111 such as a semiconductor memory
  • a program for causing the personal computer 100 to execute the processing of the communication device 1 described above is stored in the recording medium 111 and stored in the personal computer 100. And is read by the drive 110 and installed in the hard disk drive built in the storage unit 108. The programs installed in the storage unit 108 are loaded from the storage unit 108 to the RAM 103 and executed in response to a command from the CPU 101 corresponding to a command from the user input to the input unit 106.
  • the program may be processed by a single computer or may be distributedly processed by a plurality of computers. Furthermore, the program may be transferred to a remote computer and executed.
  • the system represents the entire apparatus composed of a plurality of apparatuses.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Computer Interaction (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Computer Graphics (AREA)
  • Television Signal Processing For Recording (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本発明は遠隔地にいる話者同士が同時に視聴したコンテンツと、話者の映像および音声とを再現可能なように記録する情報処理装置および方法、記録媒体、並びにプログラムに関する。ステップＳ１１で、コンテンツの映像および音声とユーザの映像および音声との合成状況の設定に関するパラメータと、現在の標準時刻を示す情報を含む合成情報が生成され記憶される。ステップＳ１３で、現在再生中のコンテンツに標準時刻が付加されて記録が開始される。ステップＳ１５で、ユーザＡ等のリアルタイムデータに標準時刻が付加されて記録が開始される。ステップＳ１７で、ユーザＸのリアルタイムデータに標準時刻が付加されて記録が開始される。ステップＳ１８で、合成の設定が変更されたか否かが判定され、変更された場合、ステップＳ１９で、合成情報が再生成されて記憶される。本発明は、例えば、遠隔地間のコミュニケーション装置に適用することができる。

Description

情報処理装置および方法、記録媒体、並びにプログラム
技術分野
[0001] 本発明は、情報処理装置および方法、記録媒体、並びにプログラムに関し、特に、 ネットワークを介して接続された他の情報処理装置と、ユーザの音声や映像を通信 するとともに、同一のコンテンツを同期して再生するようにし、さらに、ユーザの音声や 映像と再生したコンテンツを記録するようにした情報処理装置および方法、記録媒体 、並びにプログラムに関する。
背景技術
[0002] 従来、遠隔地に 、る人同士の交流（以下、遠隔コミュニケーションと記述する）に用 いる装置として、電話、いわゆるテレビ電話、ビデオ会議システム等が存在する。また 、パーソナルコンピュータ等を用いてインタネットに接続し、テキストチャット、映像と音 声を伴うビデオチャット等を行う方法もある。
[0003] さらに、遠隔コミュニケーションを実行しょうとする人（以下、話者と記述する）がそれ ぞれパーソナルコンピュータ等を用い、インタネットを介して仮想空間を共有したり、 同一のコンテンツを共用したりすることも提案されている（例えば、特許文献 1参照)。
[0004] 特許文献 1 :特開 2003— 271530号公報
発明の開示
発明が解決しょうとする課題
[0005] 従来技術でも、遠隔地にいる話者同士が同一のコンテンツ (例えば、テレビジョン番 組)を視聴しながら話者の映像や音声を通信し、コンテンツの映像および音声と話者 の映像や音声を合成して出力することは可能であった。この合成された映像および 音声を記録しょうとした場合、コンテンツの映像および音声と話者の映像や音声を個 々に記録する第 1の記録方法か、コンテンツの映像および音声とユーザの映像およ び音声を合成した状態で記録する第 2の記録方法が考えられる。
[0006] し力しながら、第 1の記録方法では、それを再生した場合、コンテンツの映像および 音声と話者の映像および音声との合成状態が不明であるので、記録時の合成された 状態の映像および音声を再現することができないという課題があった。
[0007] 第 2の記録方法では、それを再生した場合、記録時の合成された映像および音声 を再現することは可能であるが、コンテンツの映像および音声と、話者の映像および 音声とを記録時とは異なる状態で再び合成することができな 、と 、う課題があった。
[0008] 本発明はこのような状況に鑑みてなされたものであり、遠隔地にいる話者同士が同 時に視聴したコンテンツと、話者の映像および音声とを、記録時の合成された状態を 再現可能であって、且つ、記録時とは異なる状態で合成して再生可能なように記録 することを目的とする。
課題を解決するための手段
[0009] 本発明の情報処理装置は、他の情報処理装置と同期して同一のコンテンツデータ を再生する再生手段と、ユーザの音声および映像を、ネットワークを介して他の情報 処理装置と通信する通信手段と、ユーザからの設定に基づき、再生手段によって再 生されたコンテンツデータの映像および音声とユーザの映像および音声とを合成す る合成手段と、コンテンツデータ、ユーザの映像および音声、並びに、コンテンツデ ータの映像および音声とユーザの映像および音声との合成状況を示す合成情報を 記憶する記憶手段と、記憶手段によって記憶された合成情報に基づき、再生手段お よび合成手段を制御して、記憶手段に記憶されたコンテンツデータの映像および音 声とユーザの映像および音声との合成を再現させる再現制御手段とを含むことを特 徴とする。
[0010] 前記記憶手段によって記憶されたコンテンツデータ、並びにユーザの映像および 音声には、合成手段によって合成されたときの時刻を示す時刻情報が付加され、合 成情報には、合成情報が生成されたとき、または合成状況の設定が変更されたとき の時刻を示す時刻情報が付加されて 、るようにすることができる。
[0011] 本発明の情報処理方法は、他の情報処理装置と同期して同一のコンテンツデータ を再生する再生ステップと、ユーザの音声および映像を、ネットワークを介して他の情 報処理装置と通信する通信ステップと、ユーザからの設定に基づき、再生ステップの 処理で再生されたコンテンツデータの映像および音声とユーザの映像および音声と を合成する合成ステップと、コンテンツデータ、ユーザの映像および音声、並びに、コ ンテンッデータの映像および音声とユーザの映像および音声との合成状況を示す合 成情報を記憶する記憶ステップと、記憶ステップの処理で記憶された合成情報に基 づき、再生ステップおよび合成ステップを制御して、記憶ステップの処理で記憶され たコンテンツデータの映像および音声とユーザの映像および音声との合成を再現さ せる再現制御ステップとを含むことを特徴とする。
[0012] 本発明の記録媒体のプログラムは、他の情報処理装置と同期して同一のコンテン ッデータを再生する再生ステップと、ユーザの音声および映像を、ネットワークを介し て他の情報処理装置と通信する通信ステップと、ユーザからの設定に基づき、再生ス テツプの処理で再生されたコンテンツデータの映像および音声とユーザの映像およ び音声とを合成する合成ステップと、コンテンツデータ、ユーザの映像および音声、 並びに、コンテンツデータの映像および音声とユーザの映像および音声との合成状 況を示す合成情報を記憶する記憶ステップと、記憶ステップの処理で記憶された合 成情報に基づき、再生ステップおよび合成ステップを制御して、記憶ステップの処理 で記憶されたコンテンツデータの映像および音声とユーザの映像および音声との合 成を再現させる再現制御ステップとを含むことを特徴とする。
[0013] 本発明のプログラムは、他の情報処理装置と同期して同一のコンテンツデータを再 生する再生ステップと、ユーザの音声および映像を、ネットワークを介して他の情報 処理装置と通信する通信ステップと、ユーザからの設定に基づき、再生ステップの処 理で再生されたコンテンツデータの映像および音声とユーザの映像および音声とを 合成する合成ステップと、コンテンツデータ、ユーザの映像および音声、並びに、コン テンッデータの映像および音声とユーザの映像および音声との合成状況を示す合 成情報を記憶する記憶ステップと、記憶ステップの処理で記憶された合成情報に基 づき、再生ステップおよび合成ステップを制御して、記憶ステップの処理で記憶され たコンテンツデータの映像および音声とユーザの映像および音声との合成を再現さ せる再現制御ステップとを含むことを特徴とする。
[0014] 本発明の情報処理装置および方法。並びにプログラムにおいては、ユーザの音声 および映像が、ネットワークを介して他の情報処理装置と通信され、ユーザからの設 定に基づき、再生されたコンテンツデータの映像および音声とユーザの映像および 音声とが合成される。また、コンテンツデータ、ユーザの映像および音声、並びに、コ ンテンッデータの映像および音声とユーザの映像および音声との合成状況を示す合 成情報が記憶され、記憶された合成情報に基づき、記憶されたコンテンツデータの 映像および音声とユーザの映像および音声との合成が再現される。
発明の効果
[0015] 本発明によれば、遠隔地にいる話者同士が同時に視聴したコンテンツと、話者の映 像および音声とを、記録時を再現可能であって、且つ、記録時とは異なる状態で再 生可能なように記録することが可能となる。
図面の簡単な説明
[0016] [図 1]本発明を適用したコミュニケーションシステムの構成例を示している。
[図 2A]コンテンツの映像、およびユーザの映像の一例を示す図である。
[図 2B]コンテンツの映像、およびユーザの映像の一例を示す図である。
[図 2C]コンテンツの映像、およびユーザの映像の一例を示す図である。
[図 3A]コンテンツの映像と、ユーザの映像の合成例を示す図である。
[図 3B]コンテンツの映像と、ユーザの映像の合成例を示す図である。
[図 3C]コンテンツの映像と、ユーザの映像の合成例を示す図である。
[図 4]図 1のコミュニケーション装置の構成例を示すブロック図である。
[図 5]コミュニケーション装置による遠隔コミュニケーション処理を説明するフローチヤ ートである。
[図 6]図 5のステップ S5の遠隔コミュニケーション記録処理を説明するフローチャート である。
[図 7]遠隔コミュニケーション再現処理を説明するフローチャートである。
[図 8]汎用パーソナルコンピュータの構成例を示すブロック図である。
符号の説明
[0017] 1 コミュニケーション装置， 2 通信網， 3 コンテンツ供給サーバ， 4 認証サ ーバ， 5 放送装置， 6 標準時刻情報供給装置， 21 出力部， 22 ディスプレ ィ， 23 スピーカ， 24 入力部， 25 カメラ， 26 マイク， 27 センサ， 28 通信部， 29 放送受信部， 30 コンテンツ再生部， 31 映像音声合成部， 32 記憶部， 33 コンテンツ， 34 合成情報， 35 画像解析部， 36 鏡像生成部 , 37 ポインタ検出部， 38 動きベクトル検出部， 39 マッチング部， 40 通信 環境検出部， 41 標準時刻計時部， 42 操作入力部， 43 制御部， 44 セッ シヨン管理部， 45 視聴記録レベル設定部， 46 再生同期部， 47 合成制御部 , 48 再生許可部， 49 記録許可部， 50 操作情報出力部， 51 電子機器制 御部， 100 パーソナルコンピュータ， 101 CPU, 111 記録媒体
発明を実施するための最良の形態
[0018] 以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細 に説明する。
[0019] 図 1は、本発明を適用したコミュニケーションシステムの構成例を示している。このコ ミュ-ケーシヨンシステムにおいて、コミュニケーション装置 1—1は、通信網 2を介して 他のコミュニケーション装置 1 (図 1の場合、コミュニケーション装置 1— 2)と接続し、い わゆるテレビ電話のようにユーザの音声および映像を相互に通信することに加え、共 通のコンテンツ (例えば、テレビジョン放送等を受信して得られる番組コンテンツ、予 めダウンロード等により取得済の映画等のコンテンツ、ユーザ間で授受した私的なコ ンテンッ等の動画像、静止画像等）を他のコミュニケーション装置 1—2と同期して再 生することにより、ユーザ間の遠隔コミュニケーションを支援するものである。以下、コ ミュ-ケーシヨン装置 1—1および 1—2を個々に区別する必要がない場合、単にコミ ュニケーシヨン装置 1と記述する。
[0020] コミュニケーション装置 1は、複数のユーザが同時に利用することができる。例えば、 図 1の場合、コミュニケーション装置 1—1は、ユーザ A, Bによって使用されており、コ ミュ-ケーシヨン装置 1— 2は、ユーザ Xによって使用されて 、るものとする。
[0021] 例えば、共通のコンテンツの映像が図 2Aに示すようなものであり、コミュニケーショ ン装置 1—1によって撮影されたユーザ Aの映像が図 2Bに示すようなものであり、コミ ュニケーンョン装置 1—2によって撮影されたユーザ Xの映像が図 2Cに示すようなも のであるとする。この場合、コミュニケーション装置 1—1のディスプレイ 22 (図 4)には 、例えば、図 3Aに示すピクチャインピクチャ (picture in picture),図 3Bに示すクロスフ エイド (cross fade),または図 3Cに示すワイプ (wipe)の方式で、コンテンツとユーザの 映像が重畳されて表示される。
[0022] なお、図 3Aに示されたピクチャインピクチヤにおいては、コンテンツの映像にユー ザの映像が小画面として重畳される。小画面の表示位置およびサイズは、ユーザが 任意に変更可能である。また、 自身 (ユーザ A)とコミュニケーション相手 (ユーザ X)の 映像の両方ではなぐ一方の小画面だけを表示させることも可能である。さらに、コン テンッの映像がユーザの映像の小画面を透過するように、いわゆる、 ひプレンディン グさせてもよい。
[0023] 図 3Bに示されたクロスフエイドにおいては、コンテンツの映像にユーザ（ユーザ Aま たはユーザ X)の映像が αプレンディングされて表示される。このクロスフエイドは、例 えばコンテンッの映像上の任意の位置や領域をユーザが指し示すとき等に用いるこ とがでさる。
[0024] 図 3Βに示されたワイプにおいては、コンテンツの映像を覆うようにユーザの映像が 所定の方向から出現する。
[0025] なお、コンテンツとユーザの映像の表示は、上述した方式以外の方式を適用しても よい。映像と同様、コンテンツとユーザの音声についても、音量や左右バランスなどが ユーザの設定に基づ 、て合成されるようになされて ヽる。コンテンツとユーザの映像 および音声の合成方式は随時変更が可能である。
[0026] コンテンツとユーザの映像および音声の合成状況、例えば、ピクチャインピクチャ、 クロスフエイド、またはワイプの区別、ピクチャインピクチヤが採用されているときの子 画面のサイズや位置、クロスフエイドが採用されているときの αブレンディングの透過 度、音量等の割合等は、ユーザが任意に設定することが可能であり、これらの設定に 関するパラメータは、その設定が変更された時刻を示す情報を含む合成情報 34 (図 4)として記録される。
[0027] 図 1に戻る。通信網 2は、インタネット等に代表される広帯域なデータ通信網である コンテンツ供給サーバ 3は、コミュニケーション装置 1からの要求に応じ、通信網 2を介 してコンテンツをコミュニケーション装置 1に供給する。認証サーバ 4は、コミュニケ一 シヨン装置 1のユーザが当該コミュニケーションシステムを利用するに際しての認証、 課金等の処理を行う。
[0028] 放送装置 5は、テレビジョン放送等の番組としてコンテンツを送信する。したがって、 各コミュニケーション装置 1は、放送装置 5から放送されるコンテンツを同期して受信 し、再生することができる。なお、放送装置 5からコミュニケーション装置 1に対するコ ンテンッの送信は無線であってもよいし、有線であってもよい。また、通信網 2を介し てもかまわない。
[0029] 標準時刻情報供給装置 6は、コミュニケーション装置 1に内蔵された時計 (標準時 刻計時部 41 (図 4) )を、標準時刻 (世界標準時、日本標準時刻等）に整合させるため の標準時刻情報を各コミュニケーション装置 1に供給する。なお、標準時刻情報供給 装置 6からコミュニケーション装置 1に対する標準時刻情報の供給は、無線であっても よいし、有線であってもよい。また、通信網 2を介しても力まわない。
[0030] 次に、コミュニケーション装置 1 1の詳細な構成例について、図 4を参照して説明 する。
[0031] コミュニケーション装置 1—1において、出力部 21は、ディスプレイ 22およびスピー 力 23より構成され、映像音声合成部 31から入力される映像信号および音声信号に それぞれ対応する映像を表示し、音声を出力する。
[0032] 入力部 24は、ユーザの映像 (動画像または静止画像)を撮影するカメラ 25、ユーザ の音声を集音するマイク 26、およびユーザの周囲環境情報（明度、温度、湿度等)を 検出するセンサ 27より構成され、取得した動画像、音声、および周辺環境情報を含 むユーザのリアルタイム (RT)データを通信部 28および記憶部 32に出力する。カメラ 25は、被写体 (ユーザ)までの距離を計測可能な機能を有している。また、入力部 24 は、取得したユーザの映像および音声を映像音声合成部 31に出力する。さらに、入 力部 24は、取得した映像を画像解析部 35に出力する。なお、入力部 24を複数（図 4 の場合は 2つ)設けて、それぞれを複数のユーザ（図 1のユーザ A, B)に指向させる ようにしてもよい。
[0033] 通信部 28は、入力部 24から入力されるユーザ Aのリアルタイムデータを、通信網 2 を介してコミュニケーション相手のコミュニケーション装置 1—2に送信するとともに、コ ミュ-ケーシヨン装置 1— 2が送信したユーザ Xのリアルタイムデータを受信し、映像 音声合成部 31、記憶部 32、および画像解析部 35に出力する。また、通信部 28は、 コミュニケーション相手のコミュニケーション装置 1 2またはコンテンツ供給サーバ 3 力も通信網 2を介して供給されたコンテンツを受信し、コンテンツ再生部 30および記 憶部 32に出力する。さらに、通信部 28は、記憶部 32に記憶されているコンテンツ 33 や、操作情報出力部 50によって生成された操作情報を、通信網 2を介してコミュニケ ーシヨン装置 1 2に送信する。
[0034] 放送受信部 29は、放送装置 5から放送されたテレビジョン放送信号を受信し、得ら れた放送番組としてのコンテンツをコンテンツ再生部 30に出力する。コンテンツ再生 部 30は、放送受信部 29によって受信された放送番組のコンテンツ、通信部 28によ つて受信されたコンテンツ、または記憶部 32から読み出されるコンテンツを再生し、 得られたコンテンツの映像および音声を映像音声合成部 31および画像解析部 35に 出力する。
[0035] 映像音声合成部 31は、コンテンツ再生部 30から入力されるコンテンツの映像と、ュ 一ザの映像と、 OSD(On Screen Display)用の映像とを αプレンディング等によって合 成し、その結果得られた映像信号を出力部 21に出力する。また、映像音声合成部 3 1は、コンテンツ再生部 30から入力されるコンテンツの音声と、ユーザの音声を合成 し、その結果得られた音声信号を出力部 21に出力する。
[0036] 記憶部 32は、入力部 24から供給されるユーザ (ユーザ Α等）のリアルタイムデータ、 通信部 28から供給されるコミュニケーション相手 (ユーザ X)のリアルタイムデータ、放 送受信部 29によって受信された放送番組のコンテンツ、通信部 28から供給されるコ ンテンッに、制御部 43を介して標準時刻計時部 41から供給される標準時刻を定期 的に付加して記憶する。また、記憶部 32は、合成制御部 47によって生成された合成 情報 34も記憶する。
[0037] 画像解析部 35は、コンテンツ再生部 30から入力されるコンテンツの映像、およびュ 一ザの映像 (コミュニケーション装置 1— 2からのものも含む）の明度や輝度を解析し、 その解析結果を合成制御部 47に出力する。画像解析部 35の鏡像生成部 36は、ュ 一ザ (コミュニケーション装置 1—2からのものも含む）の映像の鏡像を生成する。ボイ ンタ検出部 37は、動きベクトル検出部 38によって検出されるユーザの動きベクトル等 に基づき、ユーザの映像（コミュニケーション装置 1— 2からのものも含む）からユーザ が所望の位置を指し示すポインタとなる手首や指先等を検出して、その映像を抽出 する。なお、入力部 24からの映像に複数のユーザが含まれている場合、複数のボイ ンタを検出してユーザを対応付ける。動きベクトル検出部 38は、ユーザの映像 (コミュ 二ケーシヨン装置 1— 2からのものも含む）から、ユーザの動作を示す動きベクトルを 検出し、その発生ポイントと軌跡を識別する。マッチング部 39は、検出されたユーザ の動きベクトル力 予め想定されて 、るユーザの動きの!/、ずれに合致するかを判定し 、判定結果を動きベクトルマッチング情報として制御部 43に出力する。
[0038] 通信環境検出部 40は、通信部 28と通信網 2を介したコミュニケーション装置 1—2と の通信環境 (通信レート、通信遅延時間等)を監視して、監視結果を制御部 43に出 力する。標準時刻計時部 41は、標準時刻情報供給装置 6から供給される標準時刻 情報に基づき、自己が刻む標準時刻を整合し、標準時刻を制御部 43に供給する。 操作入力部 42は、例えばリモートコントローラ等力も成り、ユーザの操作を受け付け て、対応する操作信号を制御部 43に入力する。
[0039] 制御部 43は、操作入力部 42から入力されるユーザの操作に対応した操作信号や 画像解析部 35から入力される動きベクトルマッチング情報等に基づいて、コミュニケ ーシヨン装置 1—1を構成する各部を制御する。制御部 43は、セッション管理部 44、 視聴記録レベル設定部 45、再生同期部 46、合成制御部 47、再生許可部 48、記録 許可部 49、操作情報出力部 50、および電子機器制御部 51を含んでいる。なお、図 4において、制御部 43からコミュニケーション装置 1— 1を構成する各部への制御ライ ンの図示は省略されている。
[0040] セッション管理部 44は、通信部 28が通信網 2を介して通信コミュニケーション装置 1
2、コンテンツ供給サーバ 3、認証サーバ 4等と接続する処理を制御する。視聴記 録レベル設定部 45は、ユーザ力もの設定操作に基づき、入力部 24に取得されたュ 一ザのリアルタイムデータを、コミュニケーション相手のコミュニケーション装置 1—2に おいて再生可能であるか否か、記録可能である力否力、記録可能である場合の記録 可能回数等を設定し、この設定情報を通信部 28からコミュニケーション装置 1 2に 通知させる。 [0041] 視聴記録レベル設定部 45によれば、ユーザの映像および音声に対して視聴レべ ルおよび記録レベルを設定することが可能となるので、プライベートな映像および音 声の流出を防ぐことが可能となる。
[0042] 再生同期部 46は、コミュニケーション相手のコミュニケーション装置 1 2と同期して 同一のコンテンツが再生されるように、放送受信部 29やコンテンツ再生部 30を制御 する。
[0043] 合成制御部 47は、コンテンツの映像および音声とユーザの映像および音声が、ュ 一ザからの設定操作に従って合成されるように、画像解析部 35の解析結果等に基 づいて映像音声合成部 31を制御する。また、合成制御部 47は、コンテンツの映像お よび音声とユーザの映像および音声との合成状況、例えば、ピクチャインピクチャ、ク ロスフエイド、またはワイプの区別、ピクチャインピクチヤが採用されているときの子画 面のサイズや位置、クロスフエイドが採用されているときの αプレンディングの透過度 、音量等の割合等の設定に関するパラメータを、その設定が変更された標準時刻を 示す情報を含む合成情報 34を生成して、記憶部 32に記憶させる。
[0044] 再生許可部 48は、コンテンツに付加されて 、るライセンス情報等に基づ 、て当該コ ンテンッの再生の可否を判断し、判断結果に基づ 、てコンテンツ再生部 30を制御す る。記録許可部 49は、コミュニケーション相手の設定やコンテンツに付加されている ライセンス情報に基づき、ユーザのリアルタイムデータやコンテンツの記録の可否を 判断し、判断結果に基づいて記憶部 32を制御する。再生許可部 48および記録許可 部 49によれば、コンテンツの視聴および記録のコピーコントロール制御が可能となる
[0045] 操作情報出力部 50は、ユーザによる操作 (テレビジョン放送受信時のチャンネル切 り換え操作、コンテンツ再生開始、再生終了、早送り再生の操作等）に対応して、そ の操作内容や操作時刻等を含む操作情報 (詳細は後述する)を生成し、通信部 28 力もコミュニケーション相手のコミュニケーション装置 1— 2に通知させる。この操作情 報は、コンテンツの同期再生に利用される。
[0046] 電子機器制御部 51は、画像解析部 35から入力される動きベクトルマッチング情報 に基づき、コミュニケーション装置 1 1に接続 (無線接続を含む)された所定の電子 機器 (例えば、照明機器、空調機器等。いずれも不図示)を制御する。
[0047] なお、コミュニケーション装置 1 2の詳細な構成例については、図 4に示されたコミ ュ-ケーシヨン装置 1 1の構成例と同様であるので、その説明は省略する。
[0048] 次に、コミュニケーション装置 1 1によるコミュニケーション装置 1 2との遠隔コミュ 二ケーシヨン処理について、図 5のフローチャートを参照して説明する。
[0049] この遠隔コミュニケーション処理は、コミュニケーション装置 1 2との遠隔コミュニケ ーシヨンの開始を指示する操作が操作入力部 42に入力され、この操作に対応する操 作信号が制御部 43に入力されたときに開始される。
[0050] ステップ S1において、通信部 28は、セッション管理部 44の制御に基づき、通信網 2 を介してコミュニケーション装置 1—2に接続し、遠隔コミュニケーションの開始を通知 する。この通知に対応して、コミュニケーション装置 1—2は、遠隔コミュニケーション の開始の受諾を返信する。
[0051] ステップ S2において、通信部 28は、制御部 43の制御に基づき、入力部 24から入 力されるユーザ A等のリアルタイムデータを、通信網 2を介してコミュニケーション装置 1— 2に送信し始めるとともに、コミュニケーション装置 1— 2から送信されたユーザ X のリアルタイムデータの受信を開始する。送信されたユーザ A等のリアルタイムデータ に含まれる映像および音声と、受信されたユーザ Xのリアルタイムデータに含まれる 映像および音声は、記憶部 32および映像音声合成部 31に入力される。
[0052] ステップ S3において、通信部 28は、セッション管理部 44の制御に基づき、通信網 2 を介して認証サーバ 4に接続し、コンテンツ取得のための認証処理を行う。この認証 処理の後、通信部 28は、通信網 2を介してコンテンツ供給サーバ 3にアクセスし、ュ 一ザが指定するコンテンツを取得する。このとき、コミュニケーション装置 1—2でも同 様の処理が行われ、同一のコンテンツが取得されているものとする。
[0053] なお、テレビジョン放送されて ヽるコンテンツを受信する場合や、既に取得済で記 憶部 32に記憶されているコンテンツを再生する場合、ステップ S3の処理は省略する ことができる。
[0054] ステップ S4において、コンテンツ再生部 30は、再生同期部 46の制御に基づき、コ ミュ-ケーシヨン装置 1 2と同期したコンテンツの再生処理（以下、コンテンツ同期再 生処理と記述する）を開始する。具体的には、例えば、ユーザからの操作 (チャンネ ル切り換え操作、早送り再生開始操作等)をコミュニケーション装置 1—2に通知し、コ ミュ-ケーシヨン装置 1 1にコミュニケーション装置 1 2を追随させるようにする。
[0055] ステップ S5において、記憶部 32は、遠隔コミュニケーション記録処理を開始する。
具体的には、再生が開始されたコンテンツ、送信されたユーザ A等のリアルタイムデ ータに含まれる映像および音声、受信されたユーザ Xのリアルタイムデータに含まれ る映像および音声、並びに、これらの合成の状態を示す合成制御部 47によって生成 された合成情報 34の記録が開始される。この遠隔コミュニケーション記録処理の詳 細については、図 6を参照して後述する。
[0056] ステップ S6において、映像音声合成部 31は、合成制御部 47の制御に従い、再生 されたコンテンツの映像および音声と、送信されたユーザ A等のリアルタイムデータに 含まれる映像および音声と、受信されたユーザ Xのリアルタイムデータに含まれる映 像および音声とを合成し、この結果得られた映像信号および音声信号を出力部 21 に供給する。出力部 21は、供給された映像信号に対応する映像を表示し、音声信号 に対応する音声を出力する。この段階でユーザ間の映像および音声の通信と、コン テンッの同期再生が開始されたことになる。
[0057] さらにステップ S6において、映像音声合成部 31等の処理と平行して画像解析部 3 5のポインタ検出部 35は、ユーザ A等のリアルタイムデータに含まれる映像に基づき 、ユーザ A等のポインタを検出し、画面上に表示する等の処理 (ポインティング処理） を実行する。
[0058] ステップ S7において、制御部 43は、ユーザ力も遠隔コミュニケーションの終了を指 示する操作が行われたカゝ否かを判定し、行われたと判定するまで待機する。ユーザ 力 遠隔コミュニケーションの終了を指示する操作が行われたと判定された場合、処 理はステップ S8に進む。
[0059] ステップ S8において、通信部 28は、セッション管理部 44からの制御に基づき、通 信網 2を介してコミュニケーション装置 1—2に接続し、遠隔コミュニケーションの終了 を通知する。この通知に対応して、コミュニケーション装置 1—2は、遠隔コミュニケ一 シヨンの終了の受諾を返信する。 [0060] ステップ S9において、記憶部 32は、コミュニケーション記録処理を終了する。このと きまでに記録された、再生されたコンテンツ、ユーザ A等のリアルタイムデータに含ま れる映像および音声、受信されたユーザ Xのリアルタイムデータに含まれる映像およ び音声、並びに合成情報 34は、今後において、今回の遠隔コミュニケーションが再 現されるときに利用される。
[0061] 以上、コミュニケーション装置 1 1による遠隔コミュニケーション処理の説明を終了 する。
[0062] なお、上述した説明では、コミュニケーション装置 1 1にコミュニケーション装置 1
2が追随する（コミュニケーション装置 1 1にコミュニケーション装置 1 2が同期し てコンテンツを再生する）場合につ 、てのみ言及して 、るが、この主従関係は逆転さ せたり、随時変更したりすることが可能である。
[0063] さらに、上述した説明では、コミュニケーション装置 1—1に、 1台のコミュニケーショ ン装置 1 (コミュニケーション装置 1— 2)が追随する場合にっ 、てのみ言及して 、るが 、複数台のコミュニケーション装置 1を追随させるようにしてもよい。また、複数台のコミ ュニケーシヨン装置 1により、主従関係を逆転させたり、随時変更したりするようにして ちょい。
[0064] 次に、上述した図 5の遠隔コミュニケーション処理におけるステップ S5の遠隔コミュ 二ケーシヨン記録処理にっ 、て、図 6を参照して詳述する。
[0065] ステップ S11において、合成制御部 47は、現段階でユーザにより設定されている、 コンテンツの映像および音声とユーザの映像および音声との合成状況の設定に関す るパラメータと、現在の標準時刻を示す情報を含む合成情報 34を生成して、記憶部
32に記憶させる。
[0066] ステップ S 12において、記録許可部 49は、現在再生中のコンテンツの属性情報 (メ タデータ)等に基づき、現在再生中のコンテンツが記録可能である力否かを判定する 。現在再生中のコンテンツが記録可能であると判定された場合、処理はステップ S 13 に進む。ステップ S 13において、記憶部 32は、記録許可部 49からの制御に従い、現 在再生中のコンテンツに、制御部 43を介して標準時刻計時部 41から供給される標 準時刻を定期的に付加して記憶する処理を開始する。なお、ステップ S12において、 現在再生中のコンテンツが記録可能ではないと判定された場合、ステップ S13はスキ ップされる。
[0067] ステップ S14において、記録許可部 49は、ユーザからの設定に基づき、ユーザ（ュ 一ザ A等）のリアルタイムデータが記録可能であるカゝ否かを判定する。ユーザ A等のリ アルタイムデータが記録可能であると判定された場合、処理はステップ S 15に進む。 ステップ S15において、記憶部 32は、記録許可部 49からの制御に従い、ユーザ A等 のリアルタイムデータに、制御部 43を介して標準時刻計時部 41から供給される標準 時刻を定期的に付加して記憶する処理を開始する。なお、ステップ S14において、ュ 一ザ A等のリアルタイムデータが記録可能ではないと判定された場合、ステップ S 15 はスキップされる。
[0068] ステップ S16において、記録許可部 49は、コミュニケーション装置 1—2からの通知 に基づき、コミュニケーション装置 1—2のユーザ（ユーザ X)のリアルタイムデータが 記録可能であるか否かを判定する。ユーザ Xのリアルタイムデータが記録可能である と判定された場合、処理はステップ S 17に進む。ステップ S17において、記憶部 32は 、記録許可部 49からの制御に従い、ユーザ Xのリアルタイムデータに、制御部 43を 介して標準時刻計時部 41から供給される標準時刻を定期的に付加して記憶する処 理を開始する。なお、ステップ S16において、ユーザ Xのリアルタイムデータが記録可 能ではないと判定された場合、ステップ S 17はスキップされる。
[0069] なお、ステップ S12および S13、ステップ S14および S15、並びにステップ S16およ び S17の処理は、便宜上、順序立てて説明したが、実際には変更して行われる。
[0070] ステップ S18において、合成制御部 47は、ユーザにより、コンテンツの映像および 音声とユーザの映像および音声との合成の設定が変更されたカゝ否かを判定し、合成 の設定が変更されたと判定されるまで待機する。合成の設定が変更されたと判定さ れた場合、処理はステップ S 19に進む。ステップ S 19において、合成制御部 47は、 ユーザにより変更された、コンテンツの映像および音声とユーザの映像および音声と の合成状況の設定に関するパラメータと、現在の標準時刻を示す情報を含む合成情 報 34を生成して、記憶部 32に記憶させる。この後、処理はステップ S18に戻り、それ 以降の処理繰り返される。そして、この遠隔コミュニケーション処理は、上述したように 、ユーザ力も遠隔コミュニケーションの終了を指示する操作が行われるまで継続され る。以上で、遠隔コミュニケーション記録処理の説明を終了する。
[0071] 次に、コミュニケーション装置 1 1による、遠隔コミュニケーション記録処理によって 記録されたコンテンツの映像および音声、ユーザの映像および音声、並びに合成情 報に基づいて、遠隔コミュニケーションを再現する処理 (以下、遠隔コミュニケーショ ン再現処理と記述する）について、図 7のフローチャートを参照して説明する。この遠 隔コミュニケーション再現処理は、例えば、記憶部 32に記憶されているコンテンツ 33 の再生を指示するユーザからの操作に対応して開始される。
[0072] ステップ S31において、制御部 43は、操作入力部 42に対してユーザから、遠隔コミ ュ-ケーシヨンの再現を指示する操作が行われたか否かを判定する。遠隔コミュニケ ーシヨンの再現を指示する操作が行われたと判定された場合、処理はステップ S32 に進む。
[0073] ステップ S32において、合成制御部 47は、記憶部 32に記憶されている合成情報を 取得する。ステップ S33において、合成制御部 47は、合成情報に含まれる標準時刻 と、記憶部 32に記憶されているコンテンツに付加されている時刻情報と、ユーザのリ アルタイムデータに付加されている時刻情報と同期させて再生を開始させる。これに より、映像音声合成部 37には、コンテンツの映像および音声とユーザの映像および 音声が入力される。ステップ S34において、映像音声合成部 31は、ステップ S32の 処理で取得した合成情報に基づく合成制御部 47からの制御に従 、、コンテンツの映 像および音声とユーザの映像および音声とを合成して出力部 21に出力する。これに より、記録時の遠隔コミュニケーションが完全に再現されたことになる。
[0074] なお、ステップ S31において、遠隔コミュニケーションの再現を指示する操作が行わ れて ヽな ヽと判定された場合、処理はステップ S35に進む。
[0075] ステップ S35において、操作入力部 42は、コンテンツの映像および音声とユーザの 映像および音声との合成に関するユーザ力もの設定操作を受け付ける。ステップ S3 6において、合成制御部 47は、記憶部 32に記憶されているコンテンツに付加されて V、る時刻情報と、ユーザのリアルタイムデータに付加されて 、る時刻情報と同期させ て再生を開始させる。これにより、映像音声合成部 37には、コンテンツの映像および 音声とユーザの映像および音声が入力される。ステップ S37において、映像音声合 成部 31は、ステップ S35の処理での設定結果に対応した合成制御部 47からの制御 に従い、コンテンツの映像および音声とユーザの映像および音声とを合成して出力 部 21に出力する。記録時の遠隔コミュニケーションとは異なる合成状態で、コンテン ッの映像および音声とユーザの映像および音声との出力が再現されたことになる。な お、当然ながら、コンテンツの映像および音声だけを再生することも可能である。
[0076] 以上、コミュニケーション装置 1 1による遠隔コミュニケーション再現処理の説明を 終了する。
[0077] ところで、上述したコミュニケーション装置 1の処理は、ハードウェアにより実行させる こともできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアに より実行させる場合には、そのソフトウェアを構成するプログラム力 専用のハードゥエ ァに組み込まれているコンピュータ、または、各種のプログラムをインストールすること で、各種の機能を実行することが可能な、例えば図 8に示すような汎用のパーソナル コンピュータなどに、記録媒体からインストールされる。
[0078] このパーソナルコンピュータ 100は、 CPU(Central Processing Unit)101を内蔵して いる。 CPU101にはバス 104を介して、入出力インタフェース 105が接続されている。 ノ ス 104には、 ROM(Read Only Memory)102および RAM(Random Access Memory) 103が接続されている。
[0079] 入出力インタフェース 105には、ユーザが操作コマンドを入力するキーボード、マウ ス、等の入力デバイスよりなる入力部 106、映像を表示したり、音声を出力したりする 出力部 107、プログラムや各種データを格納するハードディスクドライブなどよりなる 記憶部 108、およびインタネットに代表されるネットワークを介した通信処理を実行す る通信部 109が接続されている。また、磁気ディスク（フレキシブルディスクを含む）、 光ディスク（CD— ROM(Compact Disc-Read Only Memory), DVD(Digital Versatile Dis c)を含む）、光磁気ディスク（MD(Mini Disc)を含む）、もしくは半導体メモリなどの記録 媒体 111に対してデータを読み書きするドライブ 110が接続されて ヽる。
[0080] このパーソナルコンピュータ 100に上述したコミュニケーション装置 1の処理を実行 させるプログラムは、記録媒体 111に格納された状態でパーソナルコンピュータ 100 に供給され、ドライブ 110によって読み出されて記憶部 108に内蔵されるハードディ スクドライブにインストールされて 、る。記憶部 108にインストールされて!/、るプロダラ ムは、入力部 106に入力されるユーザからのコマンドに対応する CPU101の指令によ つて、記憶部 108から RAM103にロードされて実行される。
[0081] なお、本明細書にぉ 、て、プログラムに基づ 、て実行されるステップは、記載された 順序に従って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されな くとも、並列的あるいは個別に実行される処理をも含むものである。
[0082] また、プログラムは、 1台のコンピュータにより処理されるものであってもよいし、複数 のコンピュータによって分散処理されるものであってもよい。さらに、プログラムは、遠 方のコンピュータに転送されて実行されるものであってもよい。
[0083] また、本明細書において、システムとは、複数の装置により構成される装置全体を 表すものである。

Claims

請求の範囲
[1] ネットワークを介して他の情報処理装置と通信する情報処理装置にお!、て、
前記他の情報処理装置と同期して同一のコンテンツデータを再生する再生手段と ユーザの音声および映像を、前記ネットワークを介して前記他の情報処理装置と通 信する通信手段と、
ユーザ力もの設定に基づき、前記再生手段によって再生された前記コンテンツデ ータの映像および音声と前記ユーザの映像および音声とを合成する合成手段と、 前記コンテンツデータ、前記ユーザの映像および音声、並びに、前記コンテンツデ ータの映像および音声と前記ユーザの映像および音声との合成状況を示す合成情 報を記憶する記憶手段と、
前記記憶手段によって記憶された前記合成情報に基づき、前記再生手段および 前記合成手段を制御して、前記記憶手段に記憶された前記コンテンツデータの映像 および音声と前記ユーザの映像および音声との合成を再現させる再現制御手段と を含むことを特徴とする情報処理装置。
[2] 前記記憶手段によって記憶された前記コンテンツデータ、並びに前記ユーザの映 像および音声には、前記合成手段によって合成されたときの時刻を示す時刻情報が 付加され、前記合成情報には、前記合成情報が生成されたとき、または前記合成状 況の設定が変更されたときの時刻を示す時刻情報が付加されている
ことを特徴とする請求項 1に記載の情報処理装置。
[3] ネットワークを介して他の情報処理装置と通信する情報処理方法にお!、て、
前記他の情報処理装置と同期して同一のコンテンツデータを再生する再生ステツ プと、 ユーザの音声および映像を、前記ネットワークを介して前記他の情報処理装 置と通信する通信ステップと、
ユーザ力もの設定に基づき、前記再生ステップの処理で再生された前記コンテンツ データの映像および音声と前記ユーザの映像および音声とを合成する合成ステップ と、
前記コンテンツデータ、前記ユーザの映像および音声、並びに、前記コンテンツデ ータの映像および音声と前記ユーザの映像および音声との合成状況を示す合成情 報を記憶する記憶ステップと、
前記記憶ステップの処理で記憶された前記合成情報に基づき、前記再生ステップ および前記合成ステップを制御して、前記記憶ステップの処理で記憶された前記コ ンテンッデータの映像および音声と前記ユーザの映像および音声との合成を再現さ せる再現制御ステップと
を含むことを特徴とする情報処理方法。
[4] ネットワークを介して他の情報処理装置と通信するためのプログラムであって、 前記他の情報処理装置と同期して同一のコンテンツデータを再生する再生ステツ プと、 ユーザの音声および映像を、前記ネットワークを介して前記他の情報処理装 置と通信する通信ステップと、
ユーザ力もの設定に基づき、前記再生ステップの処理で再生された前記コンテンツ データの映像および音声と前記ユーザの映像および音声とを合成する合成ステップ と、
前記コンテンツデータ、前記ユーザの映像および音声、並びに、前記コンテンツデ ータの映像および音声と前記ユーザの映像および音声との合成状況を示す合成情 報を記憶する記憶ステップと、
前記記憶ステップの処理で記憶された前記合成情報に基づき、前記再生ステップ および前記合成ステップを制御して、前記記憶ステップの処理で記憶された前記コ ンテンッデータの映像および音声と前記ユーザの映像および音声との合成を再現さ せる再現制御ステップと
を含むことを特徴とするコンピュータが読み取り可能なプログラムが記録されている 記録媒体。
[5] ネットワークを介して他の情報処理装置と通信するためのプログラムであって、 前記他の情報処理装置と同期して同一のコンテンツデータを再生する再生ステツ プと、 ユーザの音声および映像を、前記ネットワークを介して前記他の情報処理装 置と通信する通信ステップと、
ユーザ力もの設定に基づき、前記再生ステップの処理で再生された前記コンテンツ データの映像および音声と前記ユーザの映像および音声とを合成する合成ステップ と、
前記コンテンツデータ、前記ユーザの映像および音声、並びに、前記コンテンツデ ータの映像および音声と前記ユーザの映像および音声との合成状況を示す合成情 報を記憶する記憶ステップと、
前記記憶ステップの処理で記憶された前記合成情報に基づき、前記再生ステップ および前記合成ステップを制御して、前記記憶ステップの処理で記憶された前記コ ンテンッデータの映像および音声と前記ユーザの映像および音声との合成を再現さ せる再現制御ステップと
を含む処理をコンピュータに実行させることを特徴とするプログラム。
PCT/JP2005/013295 2004-07-27 2005-07-20 情報処理装置および方法、記録媒体、並びにプログラム WO2006011401A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN2005800257202A CN1993990B (zh) 2004-07-27 2005-07-20 信息处理设备和方法
US11/658,833 US8391671B2 (en) 2004-07-27 2005-07-20 Information processing device and method, recording medium, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2004-218533 2004-07-27
JP2004218533A JP2006041888A (ja) 2004-07-27 2004-07-27 情報処理装置および方法、記録媒体、並びにプログラム

Publications (1)

Publication Number Publication Date
WO2006011401A1 true WO2006011401A1 (ja) 2006-02-02

Family

ID=35786151

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2005/013295 WO2006011401A1 (ja) 2004-07-27 2005-07-20 情報処理装置および方法、記録媒体、並びにプログラム

Country Status (4)

Country Link
US (1) US8391671B2 (ja)
JP (1) JP2006041888A (ja)
CN (1) CN1993990B (ja)
WO (1) WO2006011401A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007093104A1 (fr) 2006-02-14 2007-08-23 Huawei Technologies Co., Ltd. Procédé et système de mise en oeuvre d'enregistrement multimédia et dispositif de gestion de ressources multimédia
EP1986431A3 (en) * 2007-04-24 2011-07-27 LG Electronics, Inc. Video communication terminal and method of displaying images
CN101674470B (zh) * 2008-09-09 2011-11-16 华为技术有限公司 实现客户端录制的方法、系统及录制控制实体

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006041885A (ja) * 2004-07-27 2006-02-09 Sony Corp 情報処理装置および方法、記録媒体、並びにプログラム
JP4644555B2 (ja) * 2005-07-27 2011-03-02 日本放送協会 映像音声合成装置及び遠隔体験共有型映像視聴システム
AU2007249650B2 (en) 2006-03-17 2011-02-24 Sony Corporation System and method for organizing group content presentations and group communications during the same
JP2008042785A (ja) * 2006-08-10 2008-02-21 Sharp Corp 映像表示装置
WO2010143388A1 (ja) * 2009-06-12 2010-12-16 パナソニック株式会社 コンテンツ再生装置、コンテンツ再生方法、プログラム、及び集積回路
JP2011160151A (ja) * 2010-01-29 2011-08-18 Toshiba Corp 電子機器、動画再生システム、及び動画再生方法
JP2012222642A (ja) * 2011-04-11 2012-11-12 Sony Corp データ配信装置、データ配信方法、及びプログラム
WO2013095512A1 (en) 2011-12-22 2013-06-27 Intel Corporation Collaborative entertainment platform
US9241131B2 (en) 2012-06-08 2016-01-19 Samsung Electronics Co., Ltd. Multiple channel communication using multiple cameras
US9325889B2 (en) 2012-06-08 2016-04-26 Samsung Electronics Co., Ltd. Continuous video capture during switch between video capture devices
JP2015046028A (ja) * 2013-08-28 2015-03-12 ソニー株式会社 情報処理装置、及び情報処理方法
JP2015162117A (ja) * 2014-02-27 2015-09-07 ブラザー工業株式会社 サーバ装置、プログラム、及び情報処理方法
JP7073702B2 (ja) * 2017-12-11 2022-05-24 富士フイルムビジネスイノベーション株式会社 情報処理装置及び情報処理プログラム
CN108965785B (zh) * 2018-06-27 2020-12-29 苏州科达科技股份有限公司 一种视频会议录像方法、录像装置、控制中心和终端

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001148841A (ja) * 1999-11-19 2001-05-29 Nec Corp テレビコミュニティの形成方法とそのシステム
JP2002507027A (ja) * 1998-03-13 2002-03-05 シーメンス コーポレイト リサーチ インコーポレイテツド 協調的ダイナミックビデオコメント作成装置および作成方法
JP2003150529A (ja) * 2001-11-19 2003-05-23 Hitachi Ltd 情報交換方法、情報交換端末装置、情報交換サーバ装置、プログラム
JP2004088327A (ja) * 2002-08-26 2004-03-18 Casio Comput Co Ltd 通信端末、通信端末処理プログラム、および画像配信サーバ、画像配信処理プログラム

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0648458B2 (ja) 1985-03-01 1994-06-22 日本電信電話株式会社 情報入力装置
JPH08111858A (ja) * 1994-10-12 1996-04-30 Hitachi Ltd テレビ対話監視システム
US5808662A (en) * 1995-11-08 1998-09-15 Silicon Graphics, Inc. Synchronized, interactive playback of digital movies across a network
JP3742167B2 (ja) * 1996-12-18 2006-02-01 株式会社東芝 画像表示制御装置
JPH1144703A (ja) 1997-07-25 1999-02-16 Matsushita Electric Ind Co Ltd 手振り入力装置
US6269122B1 (en) * 1998-01-02 2001-07-31 Intel Corporation Synchronization of related audio and video streams
JPH11203837A (ja) * 1998-01-16 1999-07-30 Sony Corp 編集システムおよび編集方法
EP2237279A3 (en) * 2000-11-29 2015-04-15 Panasonic Intellectual Property Management Co., Ltd. Recording apparatus, method and system
JP2003271530A (ja) 2002-03-18 2003-09-26 Oki Electric Ind Co Ltd 通信システム，システム間関連装置，プログラム，及び，記録媒体
CN1431827A (zh) * 2003-02-28 2003-07-23 周健伟 双机组合电视摄像监视方法
JP2006041886A (ja) 2004-07-27 2006-02-09 Sony Corp 情報処理装置および方法、記録媒体、並びにプログラム
JP4716083B2 (ja) 2004-07-27 2011-07-06 ソニー株式会社 情報処理装置および方法、記録媒体、並びにプログラム
JP4572615B2 (ja) 2004-07-27 2010-11-04 ソニー株式会社 情報処理装置および方法、記録媒体、並びにプログラム
JP4655190B2 (ja) 2004-08-06 2011-03-23 ソニー株式会社 情報処理装置および方法、記録媒体、並びにプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002507027A (ja) * 1998-03-13 2002-03-05 シーメンス コーポレイト リサーチ インコーポレイテツド 協調的ダイナミックビデオコメント作成装置および作成方法
JP2001148841A (ja) * 1999-11-19 2001-05-29 Nec Corp テレビコミュニティの形成方法とそのシステム
JP2003150529A (ja) * 2001-11-19 2003-05-23 Hitachi Ltd 情報交換方法、情報交換端末装置、情報交換サーバ装置、プログラム
JP2004088327A (ja) * 2002-08-26 2004-03-18 Casio Comput Co Ltd 通信端末、通信端末処理プログラム、および画像配信サーバ、画像配信処理プログラム

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007093104A1 (fr) 2006-02-14 2007-08-23 Huawei Technologies Co., Ltd. Procédé et système de mise en oeuvre d'enregistrement multimédia et dispositif de gestion de ressources multimédia
US8498517B2 (en) 2006-02-14 2013-07-30 Huawei Technologies Co., Ltd. Method and system of implementing multimedia recording and media resource handling device
EP1986431A3 (en) * 2007-04-24 2011-07-27 LG Electronics, Inc. Video communication terminal and method of displaying images
US8489149B2 (en) 2007-04-24 2013-07-16 Lg Electronics Inc. Video communication terminal and method of displaying images
EP2637401A1 (en) * 2007-04-24 2013-09-11 LG Electronics, Inc. Video communication terminal and method of displaying images
US9258520B2 (en) 2007-04-24 2016-02-09 Lg Electronics Inc. Video communication terminal and method of displaying images
CN101674470B (zh) * 2008-09-09 2011-11-16 华为技术有限公司 实现客户端录制的方法、系统及录制控制实体

Also Published As

Publication number Publication date
US20090202223A1 (en) 2009-08-13
CN1993990B (zh) 2010-05-26
JP2006041888A (ja) 2006-02-09
CN1993990A (zh) 2007-07-04
US8391671B2 (en) 2013-03-05

Similar Documents

Publication Publication Date Title
WO2006011401A1 (ja) 情報処理装置および方法、記録媒体、並びにプログラム
CN1981524B (zh) 信息处理设备和方法
JP4655190B2 (ja) 情報処理装置および方法、記録媒体、並びにプログラム
WO2006011399A1 (ja) 情報処理装置および方法、記録媒体、並びにプログラム
US20060025998A1 (en) Information-processing apparatus, information-processing methods, recording mediums, and programs
US20060026207A1 (en) Information-processing apparatus, information-processing methods, recording mediums, and programs
US20060023949A1 (en) Information-processing apparatus, information-processing method, recording medium, and program
WO2006011398A1 (ja) 情報処理装置および方法、記録媒体、並びにプログラム
WO2021083145A1 (zh) 视频处理的方法、装置、终端及存储介质
JP2001313915A (ja) テレビ会議装置
WO2005013618A1 (ja) ライブストリーミング放送方法、ライブストリーミング放送装置、ライブストリーミング放送システム、プログラム、記録媒体、放送方法及び放送装置
JP5359199B2 (ja) コメント配信システム、端末、コメント出力方法及びプログラム
CN112004100B (zh) 将多路音视频源集合成单路音视频源的驱动方法
JP2023111906A (ja) 記録情報作成システム、記録情報作成方法、プログラム
CN115086729A (zh) 一种连麦展示方法、装置、电子设备、计算机可读介质
JP6007098B2 (ja) 歌唱動画生成システム
JP5111405B2 (ja) コンテンツ制作システム及びコンテンツ制作プログラム
JP6063739B2 (ja) 歌唱動画生成システム
JP2003140904A (ja) 講義システム
JP2007199415A (ja) カラオケ装置
US20120065751A1 (en) Signal processing apparatus and signal processing method
JP2014199282A (ja) ユーザーカメラで撮影された静止画を利用可能な歌唱動画データ生成装置
KR20230014522A (ko) 크로마키를 이용한 영상제작 장치 및 그 방법
CN114173147A (zh) 将虚拟图像和3d模型与现实场景同步视频显示的系统
JP2003324704A (ja) 講義システム

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS KE KG KM KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NA NG NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SM SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): BW GH GM KE LS MW MZ NA SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LT LU LV MC NL PL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 200580025720.2

Country of ref document: CN

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase
WWE Wipo information: entry into national phase

Ref document number: 11658833

Country of ref document: US