WO2007097371A1 - 通信ゲームシステム、通信ゲーム制御方法、情報記録媒体、ならびに、プログラム - Google Patents

通信ゲームシステム、通信ゲーム制御方法、情報記録媒体、ならびに、プログラム Download PDF

Info

Publication number
WO2007097371A1
WO2007097371A1 PCT/JP2007/053218 JP2007053218W WO2007097371A1 WO 2007097371 A1 WO2007097371 A1 WO 2007097371A1 JP 2007053218 W JP2007053218 W JP 2007053218W WO 2007097371 A1 WO2007097371 A1 WO 2007097371A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
multimedia information
receiving
sequentially
received
Prior art date
Application number
PCT/JP2007/053218
Other languages
English (en)
French (fr)
Inventor
Shoji Mori
Original Assignee
Konami Digital Entertainment Co., Ltd.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konami Digital Entertainment Co., Ltd. filed Critical Konami Digital Entertainment Co., Ltd.
Priority to EP07714718A priority Critical patent/EP1994970A4/en
Priority to US12/280,423 priority patent/US20090054156A1/en
Priority to CN2007800066223A priority patent/CN101389385B/zh
Publication of WO2007097371A1 publication Critical patent/WO2007097371A1/ja

Links

Classifications

    • A63F13/12—
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/85—Providing additional services to players
    • A63F13/87—Communicating with other players during game play, e.g. by e-mail or chat
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/215—Input arrangements for video game devices characterised by their sensors, purposes or types comprising means for detecting acoustic signals, e.g. using a microphone
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/33—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using wide area network [WAN] connections
    • A63F13/335—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using wide area network [WAN] connections using Internet
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1081—Input via voice recognition
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/40—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of platform network
    • A63F2300/407—Data transfer via internet
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/50—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers
    • A63F2300/57—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers details of game services offered to the player
    • A63F2300/572—Communication between players during game play of non game information, e.g. e-mail, chat, file transfer, streaming of audio and streaming of video

Definitions

  • the present invention relates to a communication game in which players can talk to each other by speaking, such as a communication battle game or MMORPG (Massively Multiplayer Online Playing Game).
  • the present invention relates to a computer-readable information recording medium on which a program to be realized is recorded, and to the program.
  • Patent Document 1 Japanese Patent No. 3496150
  • Patent Document 1 provides a network game system capable of producing the presence of players other than opponents with a light communication load in a game system that provides a plurality of opponent games.
  • a technique is disclosed in which a game is transmitted to another player, and certain parameters are changed at that time, thereby improving the game performance.
  • the character that makes a special move is the power that is played and displayed as a video on the terminal operated by another player.
  • the present invention is for solving the above-described problems.
  • a communication game in which players can talk to each other by speaking, voice information and gestures made by one player in synchronization with video information are performed.
  • a communication game system, a communication game control method, and a program that realizes these on a computer are suitable for outputting multimedia information such as video information that captures the image of the video in synchronization with the video information on the other player's terminal.
  • the present invention relates to a recorded computer-readable information recording medium and the program.
  • a communication game system includes a multimedia information input receiving unit, a transmission-side video reproduction unit, a transmission-side terminal having a transmission unit, a reception unit, a reception-side video reproduction unit, a multimedia A receiving side terminal having an information output unit, and configured as follows.
  • the multimedia information input accepting unit accepts input of multimedia information to the transmitting terminal.
  • Video information shot using a camera that typically captures voice information from a player playing a game using the sending terminal using a microphone and treats it as input for multimedia information It is also possible to use.
  • the transmission side video reproduction unit starts reproduction of the transmission side video information when a predetermined reproduction start condition is satisfied.
  • the video of the character's special move will be displayed on the screen.
  • video display it is possible to play a video file prepared in advance, or to predefine the movement of the character's skeleton corresponding to the Special Move along the time course. It is also possible to update the polygon information of the appearance of the character by changing the character's skeleton according to this definition, and display it in 3D graphics.
  • the transmission unit has received the multimedia information accepted by the receiving terminal until the predetermined reproduction start condition is satisfied and the reproduction of the transmitting video information is completed.
  • the multimedia information hereinafter referred to as “synchronous multimedia information” or the other multimedia information (hereinafter referred to as “asynchronous multimedia information”) is distinguished and transmitted sequentially.
  • the synchronized multimedia information is a sound indicating the name of the special move and the speech that the player uttered in accordance with the action of the character in the video when the special move video is being played back and displayed.
  • asynchronous multimedia information is the sound when other daily conversations such as a normal moving scene are performed by voice chat.
  • the receiving unit sequentially receives the multimedia information sequentially transmitted from the transmitting terminal.
  • multimedia information transmitted from a transmission side terminal uses a high-speed protocol such as UDP (User Datagram Protocol), but other protocols may also be used.
  • UDP User Datagram Protocol
  • the transmission / reception of multimedia information here typically corresponds to the provision of multimedia information by streaming.
  • the reception-side video reproduction unit starts reproduction of the reception-side video information when a predetermined synchronous reproduction start condition is satisfied for the multimedia information received by the reception unit.
  • the sending side detects that a special move has been made on the sending side, it tries to start playing the video information that expresses that the opponent's character is making a special move.
  • there is a hardware time lag from the moment when it is detected that synchronous multimedia information is received next to asynchronous multimedia information until the actual playback of video information starts.
  • a software time lag may be prepared by setting a predetermined margin time longer than the time lag of software, and waiting for the margin time to start force regeneration.
  • the multimedia information output unit receives sequentially received multimedia information.
  • the synchronous multimedia information is buffered until the reception side video information starts to be reproduced, and when the reception side video information starts to be reproduced, the buffering is performed.
  • the synchronized multimedia information is sequentially output.
  • (q) above is to reproduce the multimedia information on the transmitting side in synchronization with the video display of the special technique.
  • processing delays at the receiving video playback unit In addition to work communication delays, there are processing delays at the receiving video playback unit.
  • the multimedia information output unit buffers synchronous multimedia information when it is received, and starts playback of the reception side video information from the buffer. Sequentially synchronized multimedia information is read and streamed playback is performed.
  • Multimedia information can be output in synchronization with video information on the other player's terminal.
  • a communication game system includes a transmission-side terminal and a reception-side terminal, and is configured as follows.
  • the transmission side terminal includes an operation input reception unit, a multimedia information input reception unit, a transmission side video reproduction unit, and a transmission unit.
  • the operation input receiving unit receives an operation input from the user.
  • the operation input accepting unit is typically a keyboard or a controller.
  • playback starts when the key or button press operation is a prefix of a special move command (start operation input). The condition is met and the animation of the Special Move is started.
  • the multimedia information input receiving unit receives an input of multimedia information from the user.
  • the transmission side video reproduction unit detects that the accepted operation input is a predetermined start operation input, the transmission side video reproduction unit starts reproduction of the transmission side video information.
  • the transmitting unit sequentially transmits information to the receiving terminal, and the type of the information includes a start notification, multimedia information, or an end notification,
  • the receiving side terminal includes a receiving unit, a receiving side video reproduction unit, and a multimedia information output unit.
  • the reception unit sequentially receives information sequentially transmitted from the transmission side terminal.
  • the reception-side video reproduction unit detects that the information received by the reception unit is the start notification, the reception-side video reproduction unit is associated with the transmission-side video information after a predetermined margin time has elapsed. Start playing video information.
  • the multimedia information output unit determines that the multimedia information sequentially received between the reception unit receiving the start notification and the end notification being received is the synchronized multimedia information.
  • the multimedia information sequentially received during the other period is determined as asynchronous multimedia information, and each of the sequentially received information is
  • the synchronous multimedia information is buffered in a nofer area where the length of the predetermined margin time or more can be buffered, and the video information on the receiving side is reproduced. Buffered sync since the start of Output multimedia information sequentially.
  • synchronous multimedia information or asynchronous multimedia information is appropriately distinguished, and synchronous multimedia information is synchronized with reproduction of mutually corresponding videos prepared in advance on the transmission side and reception side. A game to be played can be realized.
  • the communication game system of the present invention can be configured as follows.
  • the type of information transmitted by the transmission unit further includes reproduction stop information
  • the playback start condition is satisfied if it is input halfway, but the playback stop condition is satisfied if it is determined that it has failed midway.
  • the moving image playback can be stopped. Therefore, the multimedia information input after the stop is asynchronous multimedia information.
  • the reproduction stop information is also transmitted to the receiving terminal.
  • multimedia information is transmitted using UDP, it is desirable to transmit the playback stop information at high speed using UDP, but it is also possible to reliably transmit the playback stop information using TCP.
  • the multimedia information output unit detects that the information received by the reception unit is the reproduction stop information
  • the buffered synchronized multimedia information is received by the receiving terminal.
  • the output of multimedia information received in sequence between the time when the playback stop information is received and the time when the end notification is received is stopped.
  • the predetermined playback stop condition is satisfied at the transmitting terminal!
  • the predetermined playback start condition is satisfied after the predetermined playback start condition is satisfied. It can be configured such that the operation input received within the grace period is V, which does not match a predetermined operation input pattern.
  • the sequence of the press operations associated with the special move command is displayed within a predetermined grace period. If the input is complete, the video playback is continued and the sequence of the special move is continued. If not, the special move sequence is stopped halfway. When the playback stop condition is satisfied, the video playback ends, and the multimedia information is switched from synchronous input to asynchronous input.
  • the present invention relates to a preferred embodiment of the above invention.
  • an operation input using a keyboard controller or the like is accepted, and the reproduction of a moving image is stopped by the operation input.
  • ⁇ Exit or «I connection can be controlled.
  • the transmission side terminal of the communication game system of the present invention satisfies the predetermined reproduction stop condition within a predetermined grace period after the predetermined reproduction start condition is satisfied.
  • Multimedia information power that has been accepted for input It can be configured to be a case where a predetermined multimedia characteristic is not satisfied.
  • the voice associated with the special move command is completely input within the predetermined grace period, or the movement of the special move is performed. If it is properly performed, the video playback is continued and the sequence of the special move is continued. If not, the sequence of the special move is stopped halfway. When the playback stop condition is satisfied, the video playback ends and the audio information is switched from synchronous input to asynchronous input.
  • the predetermined multimedia characteristic is characterized by the size of the voice, the pitch of the voice, the rhythm, the scale, and the like, and combinations thereof.
  • the predetermined multimedia characteristic is determined based on whether or not the gesture and hand gesture are photographed and the power matches the movement of the predetermined pattern.
  • the present invention relates to a preferred embodiment of the above-described invention.
  • input of multimedia information such as audio information using a microphone is accepted, and reproduction of a moving image is performed by inputting the multimedia information.
  • Stop / end or «I connection can be controlled.
  • the multimedia information output unit buffers the synchronized multimedia information for a time longer than the predetermined grace period for the receiving terminal of the communication game system of the present invention. It can be constituted as follows.
  • the buffering buffer still has room. That is, this buffer length corresponds to the above-mentioned surplus time. For this reason, the playback of the video on the receiving side is started after it is confirmed that the command for the Special Move was successful.
  • the present invention relates to a preferred embodiment of the above-described invention. By appropriately providing a buffer length, buffering can be performed efficiently.
  • a communication game control method includes an operation input reception unit, a multimedia information input reception unit, a transmission side video reproduction unit, a transmission side terminal having a transmission unit, a reception unit, and a reception side video. It is executed in the receiving terminal having the playback unit and the multimedia information output unit, and is configured as follows.
  • the operation input accepting unit accepts an operation input from the user
  • the multimedia information input accepting unit Receives the input of multimedia information of the user power, and in the transmission side video reproduction process, when detecting that the received operation input is a predetermined start operation input, the transmission side video reproduction unit
  • the transmission unit (304) sequentially transmits information to the receiving terminal (401), and the type of the information includes start notification, multimedia information, or end notification. Included,
  • the receiving unit sequentially receives information sequentially transmitted from the transmitting terminal, and in the receiving video reproduction process, the receiving unit receives the information.
  • Information force When the start notification is detected, the reception-side video playback unit starts playback of the reception-side video information associated with the transmission-side video information after a lapse of a predetermined margin time from the detection.
  • the multimedia information output unit determines that the multimedia information sequentially received between the time when the start notification is received and the time when the end notification is received is the synchronized multimedia information.
  • the multimedia information sequentially received during the other period is determined as asynchronous multimedia information, and each of the sequentially received information is
  • the buffered buffer area is buffered in a buffer area that can buffer the length of the predetermined margin time or longer, and the buffered synchronous multimedia information is sequentially output after the reception side video information starts to be reproduced.
  • a program according to another aspect of the present invention is configured to cause a first computer to function as each part of the transmission-side terminal and to cause a second computer to function as each part of the reception-side terminal. To do.
  • the program of the present invention can be recorded on a computer-readable information storage medium such as a compact disk, a flexible disk, a hard disk, a magneto-optical disk, a digital video disk, a magnetic tape, and a semiconductor memory.
  • a computer-readable information storage medium such as a compact disk, a flexible disk, a hard disk, a magneto-optical disk, a digital video disk, a magnetic tape, and a semiconductor memory.
  • the above program can be distributed and sold via a computer communication network independently of the computer on which the program is executed. Further, the information storage medium is a combination computer. Can be distributed and sold independently of
  • multimedia information such as voice information that one player uttered in synchronization with video information or video information that shoots gestures
  • a communication game system suitable for outputting information in synchronism with video information at the other player's terminal, a communication game control method, and a computer-readable information recording medium storing a program for realizing these on a computer,
  • the program can be provided.
  • FIG. 1 is a schematic diagram showing a schematic configuration of a typical information processing apparatus that functions as a transmission side terminal or a reception side terminal of the present invention by executing a program.
  • FIG. 2 is a schematic diagram showing a schematic configuration of a communication game system according to an embodiment of the present invention.
  • FIG. 3 is a schematic diagram showing a schematic configuration of a transmission side terminal.
  • FIG. 4 is an explanatory diagram showing a temporal relationship between a special technique command employed in the present embodiment and reproduction of a moving image.
  • FIG. 5 is a flowchart showing a flow of control of transmission side processing executed by a transmission side terminal.
  • FIG. 6 is a schematic diagram showing a schematic configuration of a receiving terminal of the communication game system according to the present embodiment.
  • FIG. 7 is a flowchart showing a flow of control of a first reception process executed at the reception side terminal.
  • FIG. 8 is a flowchart showing a flow of control of a second reception process activated by the receiving terminal.
  • FIG. 1 is a schematic diagram showing a schematic configuration of a typical information processing apparatus that performs the functions of a transmission side terminal or a reception side terminal of the present invention by executing a program.
  • description will be given with reference to this figure.
  • the information processing apparatus 100 includes a CPU (Central Processing Unit) 101, a ROM 102, a RAM (Random Access Memory) 103, an interface 104, a controller 105, an external memory 106, and an image processing unit 107.
  • the CPU 101 controls the overall operation of the information processing apparatus 100, and is connected to each component to exchange control signals and data.
  • the CPU 101 uses an arithmetic logic unit (ALU) (not shown), an arithmetic operation such as addition / subtraction / division / division, logical sum, logical product, etc. for a storage area called a register (not shown) that can be accessed at high speed.
  • ALU arithmetic logic unit
  • logical operations such as logical negation, bit operations such as bit sum, bit product, bit inversion, bit shift, and bit rotation can be performed.
  • the CPU 101 itself is configured and equipped with a coprocessor so that saturation operations such as addition, subtraction, multiplication, and division for multimedia processing and trigonometric functions can be performed at high speed. There is something to do.
  • the ROM 102 records an IPL (Initial Program Loader) that is executed immediately after the power is turned on, and when this is executed, the program recorded on the DVD-ROM is read to the RAM 103 and the CPU 101 Execution starts.
  • the ROM 102 also stores operating system programs and various programs necessary for controlling the operation of the information processing apparatus 100 as a whole. Species data is recorded.
  • the RAM 103 is for temporarily storing data and programs, and holds programs and data from which the DVD-ROM power is also read and other data necessary for game progress and chat communication.
  • the CPU 101 provides a variable area in the RAM 103 and performs an arithmetic operation by directly applying an ALU to the value stored in the variable, or stores the value stored in the RAM 103 in a register. Performs operations such as performing an operation on the register and writing the operation result back into the memory.
  • the controller 105 connected via the interface 104 receives an operation input performed when the user executes the game.
  • the external memory 106 which is detachably connected via the interface 104, has data indicating game play status (past results, etc.), game progress data, and chat in the case of a network match. Communication log data is stored in a rewritable manner. The user can record these data in the external memory 106 as appropriate by inputting an instruction via the controller 105.
  • the DVD-ROM loaded in the DVD-ROM drive 108 stores a program for realizing the game and image data and sound data associated with the game.
  • the DVD-ROM drive 108 Under the control of 01, the DVD-ROM drive 108 performs a reading process on the DVD-ROM loaded in the DVD-ROM drive 108, reads out necessary programs and data, and these are temporarily stored in the RAM 103 or the like.
  • the image processing unit 107 performs cache processing on data read from the DVD-ROM by an image arithmetic processor (not shown) included in the CPU 101 or the image processing unit 107, and then processes the processed data.
  • the data is recorded in a frame memory (not shown) included in 107.
  • the image information recorded in the frame memory is converted into a video signal at a predetermined synchronization timing and output to a monitor (not shown) connected to the image processing unit 107.
  • various image displays are possible.
  • the image calculation processor can execute a two-dimensional image overlay calculation, a transmission calculation such as ⁇ -plending, and various saturation calculations at high speed.
  • Polygon information arranged in a virtual three-dimensional space and added with various texture information can be rendered using the Z-buffer method, and high-speed computation can be performed to obtain a rendered image in which the polygons placed in the virtual three-dimensional space are viewed from the predetermined viewpoint position in the direction of the predetermined line of sight.
  • the CPU 101 and the image arithmetic processor cooperate to draw a character string as a two-dimensional image in the frame memory or draw it on the surface of each polygon according to the font information that defines the character shape. Is possible.
  • the NIC 109 is used to connect the information processing apparatus 100 to a computer communication network (not shown) such as the Internet, and is used when configuring a LAN (Local Area Network).
  • a computer communication network such as the Internet
  • T modem analog modem for connecting to the Internet using a telephone line
  • ISDN Integrated Services Digital Network
  • ADSL Asymmetric Digital Subscriber Line
  • cable TV line A cable modem or the like for connecting to the Internet
  • an interface (not shown) for interfacing these with the CPU 101 are configured.
  • the audio processing unit 110 converts the audio data that has also been read from the DVD-ROM power into an analog audio signal, and outputs the analog audio signal from a speaker (not shown) connected thereto.
  • a speaker not shown
  • sound effects and music data to be generated during the progress of the game are generated, and the corresponding sound is output from the speaker.
  • the audio processing unit 110 converts the MIDI data into PCM data with reference to the sound source data included in the audio data. If the compressed audio data is in ADPCM format or Ogg Vorbis format, it is expanded and converted to PCM data.
  • the PCM data can be output as audio by performing DZA (Digital / Analog) conversion at the timing corresponding to the sampling frequency and outputting it to the speaker.
  • DZA Digital / Analog
  • a microphone 111 can be connected to the information processing apparatus 100 via the interface 104.
  • the analog signal from the microphone 111 is subjected to AZD conversion at an appropriate sampling frequency so that processing such as mixing in the audio processing unit 110 can be performed as a PCM format digital signal.
  • the information processing apparatus 100 uses a large-capacity external storage device such as a hard disk.
  • the ROM 102, the RAM 103, the external memory 106, and the DVD-ROM installed in the DVD-ROM drive 108 may be configured to perform the same function.
  • the information processing apparatus 100 described above realizes the present invention as long as it is capable of performing sound processing and image processing equivalent to a so-called "consumer video game device”. Can do. Therefore, the present invention can be realized on various computers such as a mobile phone, a portable game device, a karaoke device, and a general business computer.
  • a general computer like the information processing apparatus 100, includes a CPU, a RAM, a ROM, a DVD-ROM drive, a NIC, an audio input microphone, and an audio output speaker.
  • a CPU central processing unit
  • a RAM random access memory
  • a ROM read-only memory
  • a DVD-ROM drive a DVD-read-only memory
  • an audio input microphone acoustic microphone
  • an audio output speaker acousable pointing device
  • the controller 105 uses a keyboard or mouse as an input device.
  • FIG. 2 is a schematic diagram showing a schematic configuration of the communication game system according to the embodiment of the present invention.
  • FIG. 2 is a schematic diagram showing a schematic configuration of the communication game system according to the embodiment of the present invention.
  • a transmission-side terminal 301 and a reception-side terminal 401 are connected to each other via the Internet 251 so as to communicate with each other. Both the transmission-side terminal 301 and the reception-side terminal 401 are realized by executing a communication game program in the information processing apparatus 100 described above.
  • Each information processing apparatus 100 is typically configured to function as both the transmission-side terminal 301 and the reception-side terminal 401.
  • the communication between the transmitting side terminal 301 and the receiving side terminal 401 is performed using a high-speed UDP that is typically used for streaming streaming of audio information.
  • a protocol such as that performed may be adopted.
  • the protocol and communication layer may be different depending on the type of information transmitted.
  • the information processing device 100 operated by the player who is going to attack the special move is taken as an example of the transmitting terminal 301, and another player who views the attack is operated.
  • the information processing apparatus 100 is adopted and explained as an example of the transmitting terminal 401.
  • Light up In addition, the animation, 3D polygon graphics, and other images are displayed on both the sending terminal 301 and the receiving terminal 401 for the actions, shakes, special effects, etc. of the character operated by the attacking player. Shall be.
  • the attacking player screams the name of the technique and the determined line in synchronization with the moving image display of the special move, and provides this to other players. Therefore, the power that allows voice chat to be used in situations where a special technique that increases the degree of immersion in the player's game is not displayed.
  • the principle of the present invention can be applied to other modes. Various embodiments are also included in the scope of the present invention.
  • FIG. 3 is a schematic diagram showing a schematic configuration of the transmission side terminal 301. Hereinafter, description will be given with reference to this figure.
  • the transmission side terminal 301 includes an audio input reception unit 302, a transmission side video reproduction unit 303, and a transmission unit 304.
  • voice input reception unit 302 receives input of voice information.
  • a voice uttered by a game player using the transmitting terminal 301 is acquired using the microphone 111.
  • the acquired audio information is buffered in an internal buffer or RAM 103 provided in the audio processing unit 110.
  • a timer interrupt is repeatedly generated at intervals of the sampling period, and the displacement (reference position force deviation) of the audio input from the microphone 111 is acquired within the interrupt handler of the timer interrupt.
  • the obtained displacement digital data is added to a predetermined notch provided in the RAM 103 or the like in a queue format.
  • the transmission-side video reproduction unit 303 starts reproduction of transmission-side video information when a predetermined reproduction start condition is satisfied.
  • the command input of the character's Special Move is the controller 105 or When the playback start condition is satisfied, the video of the character's Special Move will be displayed on the screen.
  • AVI Audio Video Interleaving
  • MPEG Motion Picture Expert Group
  • the same video image file is prepared in the transmission side terminal 301 and the reception side terminal 401, but different video image files can be adopted as long as they have substantially the same playback time.
  • the information included in the moving image file is the transmission side video information (and the reception side video information).
  • a form in which video information is dynamically generated may be employed. Preliminarily define the movement of the character's skeleton corresponding to the Special Moves over time, update the polygon information of the character's appearance by changing the position of the character's skeleton according to this definition, and 3D It may be by displaying graphics.
  • the skeleton position relationship of the character in the virtual space and the temporal change power of the character position itself in the virtual space are the transmission side video information (and the reception side video information).
  • the viewpoint position 'line of sight on the transmission-side terminal 301 when the virtual world is displayed in 3D graphics is generally different from the viewpoint position and line-of-sight direction in the receiving terminal 401.
  • Transmitting section 304 sequentially transmits the following information to receiving side terminal 401.
  • start notification Notification that a predetermined reproduction start condition is satisfied.
  • stop notification Notification that a predetermined playback stop condition has been satisfied (hereinafter referred to as “stop notification”).
  • the audio information transmitted between the start notification and the stop notification or the end notification is input from when the predetermined playback start condition is satisfied until the playback of the transmission side video information is ended.
  • This is voice information.
  • this is referred to as “synchronous audio information”
  • the audio information that is accepted during other times is referred to as “asynchronous audio information”.
  • the synchronized audio information represents the name of the deadly technique and the determined dialogue that the player uttered in accordance with the action of the character in the video when the special technique video is played back and displayed.
  • Asynchronous voice information is voice other than that, for example, when a daily conversation in a normal moving scene is performed by voice chat.
  • FIG. 4 is an explanatory diagram showing a temporal relationship between the special technique command employed in the present embodiment and the reproduction of a moving image.
  • FIG. 4 is an explanatory diagram showing a temporal relationship between the special technique command employed in the present embodiment and the reproduction of a moving image.
  • the CPU 101 executes the image processing unit 107, the audio processing unit 1 and the like.
  • ROM drive 108 Instructs ROM drive 108 to start playback of video information on the transmitting side. Give instructions to start. Generally, there is a certain time lag before the playback start condition is satisfied and playback on the power transmission side video starts.
  • the special move command is not completed.
  • the CPU 101 detects that the input of the special technique command has failed, it instructs the image processing unit 107, audio processing unit 110 and DVD-ROM drive 108 to instruct to stop playback of video information on the transmitting side. Put out. In response to this instruction, there is a certain amount of time lag before the playback of the video information on the transmission side is completed ((a) in this figure).
  • the audio processing unit 110 may mix and output the audio information input from the microphone 111 with the audio included in the video file of the transmission side video information. good. In this case, it is possible to give a sense of realism to the player who is trying to perform the special technique, and at the same time, it is possible to give a criterion for determining whether or not the power is synchronized.
  • the processing unit time of these processes is determined in response to the unit time assigned to the game command input.
  • command input detection is the period of the vertical sync signal
  • the criteria for determining these conditions should be the same as the period of the vertical sync signal or the period divided by an integer. In the following, the description will be made assuming that it coincides with the period of the vertical synchronization signal. However, for example, it is possible to perform these determination processes and instructions to each unit by a timer interrupt.
  • FIG. 5 is a flow chart showing the flow of control of the transmission side processing executed by the transmission side terminal 301.
  • FIG. 5 is a flow chart showing the flow of control of the transmission side processing executed by the transmission side terminal 301.
  • the CPU 101 controls the microphone 111 to start accepting input of voice information of the player's voice (step S501).
  • step S501 the process of accumulating the latest audio information in a queue format in a buffer prepared in the RAM 103 or the like is started in parallel. Therefore, the appropriate time Therefore, the buffer power also needs to acquire audio information and open the capacity of the buffer. Therefore, the microphone 111 functions as the audio input reception unit 302 under the control of the CPU 101.
  • the CPU 101 controls the DVD-ROM drive 108 and the image processing unit 107.
  • initialization is performed so that the reproduction of the video information on the transmission side is started by an instruction from the CPU 101 (step S502).
  • the playback side video information playback is started and stopped under the control of the CPU 101.
  • the DVD-ROM drive 108 and the image processing unit 107 function as the transmission side video playback unit 303. Will be.
  • the CPU 101 initializes the reproduction flag area prepared in the RAM 103 to 0 (step S503).
  • the reproduction flag area is non-zero
  • the instruction issued last to the transmission-side video reproduction unit 303 is the start of reproduction, and when it is zero, the reproduction is stopped.
  • step S505 it is checked whether or not the playback flag area is 0 (step S505). If it is 0 (step S505; Yes), it is checked whether or not the playback start condition is satisfied (step S506). Whether or not the playback start condition is satisfied is determined based on the above criteria. For example, the information of the key or button is accumulated by an interrupt that occurs each time a key or button is pressed, For example, the CPU 101 can scan and judge the information.
  • step S506 If the playback start condition is not satisfied (step S506; No), the process proceeds to step S509.
  • step S506 if the playback start condition is satisfied (step S506; Yes), the CPU 101 sends a start notification to the receiving terminal 401 via the NIC 109 (step S507), and sets 1 in the playback flag area. Set (Step S508).
  • the CPU 101 controls the DVD-ROM drive 108 and the image processing unit 107 to issue an instruction to start playback of the transmission side video information (step S521). did Therefore, under the control of the CPU 101, the DVD-ROM drive 108 and the image processing unit 107 function as the transmission-side video reproduction unit 303.
  • the CPU 101 acquires audio information included in the audio input queue from the microphone 111 to the RAM 103 or the like (step S509). This will make up this queue R
  • the buffer in AM 103 is empty for a moment.
  • the voice information acquired from the queue is transmitted to the receiving side terminal 401 via the NIC 109 (step S510).
  • additional information such as synchronous voice information or asynchronous voice information is not added to the voice information packet itself, but a form in which these pieces of information are added may be employed.
  • step S511 determines the power at which the game has ended (step S512), and ends the process if completed (step S512). On the other hand, if not completed, the process returns to step S504 (step S512).
  • step S505 if the regeneration flag area is non-zero (step S505; No), it is checked whether or not the force is satisfied that the regeneration stop condition is satisfied (step S513). If the playback stop condition is satisfied (step S513; Yes), the CPU 101 sends a stop notification to the receiving terminal 401 (step S514), sets 0 in the playback flag area (step S515), The transmission side video reproduction unit 303 is instructed to cancel the reproduction (step S522), and the process proceeds to step S509.
  • step S513 if the playback stop condition is not satisfied (step S513; No), it is determined that the transmission side video playback unit 303 has completely played back the transmission side video information until the end (step S513). 516), if the playback has been completed to the end (step S516; Yes), an end notification is sent to the receiving terminal 401 (step S517), and 0 is set in the playback flag area. (Step S518), the process proceeds to Step S509.
  • step S516 If the transmission side video information is still being played back (step S516; No), the process proceeds to step S509.
  • the NIC 109 controls the transmission unit 3 under the control of the CPU 101.
  • the determination of the playback stop condition may be omitted.
  • the video information is played back to the end.
  • parameters such as the strength of the special technique may be determined based on the voice characteristics of the synchronized voice information.
  • step S511 In the above description, other processes can be executed in a coroutine manner during the standby in step S511, which employs a form in which the process is repeated every vertical synchronization period. Instead of waiting for vertical synchronization as it is, one iteration of this processing loop may be set as an interrupt handler for the timer interrupt so that the repetition is performed at predetermined time intervals.
  • processing is organized by dividing multiple threads for each type of processing described later. Can also be planned.
  • OS Operating System
  • FIG. 6 is a schematic diagram showing a schematic configuration of the receiving terminal 401 of the communication game system according to the present embodiment.
  • a description will be given with reference to FIG.
  • the receiving side terminal 401 has a receiving unit 402, a receiving side video reproduction unit 403, and an audio output unit 404.
  • receiving section 402 receives audio information, start notification, stop notification, and end notification transmitted from transmitting side terminal 301 based on a predetermined protocol.
  • the reception side video reproduction unit 403 receives the reception side video reproduction unit 403 (although there is a time lag). Start or stop playback of video information.
  • the audio output unit 404 appropriately outputs the received audio information, and plays the voice chat by the player's voice and the player's name and decision dialogue synchronized with the reproduction of the video information on the receiving side. Voice is provided to a player who uses the receiving terminal 401.
  • the first receiving process and the second receiving process are executed in parallel.
  • This parallel processing can be realized by using various functions such as threads, time division, col- ching, and interrupts. Details will be described below.
  • FIG. 7 is a flowchart showing a flow of control of the first reception process executed by the reception side terminal 401.
  • the CPU 101 sets the reproduction flag area prepared in the RAM 103 to 0 (step S701).
  • the function of the reproduction flag area is the same as that in the transmission side terminal 301.
  • step S702 when the audio processing unit 110 is initialized and audio information is passed to the audio processing unit 110, the audio processing unit 110 is played back in the passed order (step S702). That is, the audio processing unit 110 is associated with the internal buffer 411 prepared in the RAM 103. When audio information is designated by the CPU 101, the audio information is stored in the internal buffer.
  • the voice processing unit 110 extracts the voice information from the head force of the internal buffer 411 and outputs the voice information. Upon completion, the voice processing unit 110 extracts the next voice information and outputs the voice information. .
  • the audio output of the audio processing unit 110 may be output by mixing both.
  • the CPU 101 monitors the NIC 109 and waits until a packet designating various types of information arrives from the transmission side terminal 301 and can be received (step S703). During standby, other processing can be executed in a coroutine manner, and the following processing (one unit of repetition) may be assigned to the NIC 109 reception interrupt.
  • the CPU 101 checks the type of information specified in the received packet (step S704).
  • step S704 When the packet is a start notification (step S704; start), the CPU 101 sets 1 in the playback flag area (step S705), and then sets the DVD-ROM drive 108 and the image processing unit 107. Control is given to start the reproduction of the receiver side video information after the margin time (step S706), and the process proceeds to step S712.
  • the synchronized playback start condition when a specific type of packet such as a start notification is received, the synchronized playback start condition is satisfied.
  • the start notification is not adopted, there may be a situation where the synchronized playback start condition is satisfied. For example, if the information of synchronous or asynchronous is embedded in the multimedia information packet itself, and the synchronous multimedia information is received after the asynchronous multimedia information, the same information is received. The period regeneration start condition is satisfied.
  • Playback starts at the moment when a certain margin time (longer than the grace time at the transmitting terminal 301) has elapsed since the instruction was issued.
  • Playback starts at the moment when a certain margin time (less than the grace time at the transmission side terminal 301) has elapsed since the instruction was issued.
  • step S704 if the packet is a stop notification (step S704; stop), the CPU 101 sets 0 in the playback flag area (step S707), and then the DVD-ROM drive 108 and the image processing unit.
  • the control unit 107 is instructed to stop the reproduction of the receiving side video information (step S708), and the process proceeds to step S712.
  • the DVD-ROM drive 108 and the image processing unit 107 function as the reception-side video reproduction unit 403 under the control of the CPU 101.
  • step S704 If the packet is an end notification (step S704; end), the process proceeds to step S712.
  • the CPU 101 determines whether or not the reproduction flag area is 0 (step S709).
  • the reproduction flag area is 0 (step S709; Yes)
  • the CPU 101 passes the asynchronous audio information to the audio processing unit 110 (step S710).
  • the asynchronous audio information is added to the internal buffer 411, and the audio processor 110 outputs the audio information in an appropriate order.
  • the audio processing unit 110 functions as the audio output unit 404 under the control of the CPU 101.
  • step S712 it is determined whether or not the game has ended (step S712). If the game has ended (step S712; Yes), this process is completed. Return to 703.
  • step S709; No the CPU 101 inquires about the state of the receiving video playback unit 403, plays back, and receives the received video information. It is checked whether or not the reproduction is completed (step S711). If not completed (step S71 1; No), the audio information is synchronous audio information. Therefore, the synchronous audio information is added in queue form to the external buffer 412 prepared in the RAM 103. An instruction is given to buffer (step S713), and the process proceeds to step S712.
  • step S711 if it has been completed (step S711; Yes), the reproduction flag area is set to 0 (step S714), and the process proceeds to step S712.
  • FIG. 8 is a flowchart showing a flow of control of the second reception process activated by the reception side terminal 401.
  • FIG. 8 is a flowchart showing a flow of control of the second reception process activated by the reception side terminal 401.
  • the second reception process is started in response to an instruction to start reproduction of reception-side video information in step S706, that is, the reproduction flag area has changed from 0 to 1.
  • the first reception process is executed in parallel.
  • step S801 the CPU 101 waits until the reproduction of the video information on the receiving side actually starts (step S801). Therefore, this processing may be started by an interrupt that is activated when video playback starts.
  • step S802 the internal buffer 411 of the audio processing unit 110 is cleared (step S802). As a result, even if asynchronous audio information that is ready for playback is prepared, it is cleared and ignored, and these are not output as audio.
  • CPU 101 sequentially extracts the synchronized audio information stored in external buffer 412 and passes it to audio processing unit 110 (step S803).
  • the external buffer 412 becomes empty for a moment, and the synchronous audio information stored in the external buffer 412 is added to the internal buffer 411 of the audio processing unit 110.
  • the CPU 101 stands by in this process for an appropriate time and executes another process (step S804).
  • the waiting time is preferably set to be equal to or less than the processing time unit in the transmission side terminal 301.
  • other processes that are executed in parallel with this process such as the first reception process, can be executed.
  • step S805 the reproduction flag area is 0 (step S805). If 0 (step S805; Yes), the external buffer 412 is cleared (step S806), and this process ends.
  • step S805 if it is not 0 (step S805; No), the process returns to step S803.
  • the time interval from when the CPU 101 issues an instruction to the reception-side video playback unit 403 to when playback of the reception-side video information is actually started (in the above description, "extra time” Can be varied depending on the type of game, from the time lag length based on hardware limitations to the time length based on software settings.
  • the receiving terminal 401 starts playback of the receiving video information only when the killing technique command is successful. In other words, once playback of the video information on the receiving side is started, this is not interrupted. Therefore, in this case, it is possible to omit all the stop notification processes in the transmission side terminal 301 and the reception side terminal 401.
  • step S806 processing such as proceeding to step S806 may be performed. Also, if this margin time is less than the grace time at the transmission side terminal 301 or 0, what is the margin time that can be interrupted after the reception side terminal 401 starts playing the reception side video information? Whether to select the length can be appropriately selected according to the mode of the communication game.
  • Communication game system communication game control method suitable for outputting the multimedia information of the other player in synchronism with the video information on one terminal, and computer-readable information recording a program for realizing these on a computer
  • a recording medium and the program can be provided.

Abstract

　プレイヤーが互いに発声により会話可能な通信ゲームにおいて、一方のプレイヤーが映像情報に同期して発声した音声情報等を他方のプレイヤーの端末で映像情報に同期させて出力するため、通信ゲームシステム（２０１）の送信側端末（３０１）は、再生開始条件が満たされると送信側映像情報を再生し、プレイヤーからの音声情報の入力を受け付け、再生中に入力された音声情報（同期音声情報）とそうでないもの（非同期音声情報）とを受信側端末（４０１）に送信し、受信側端末（４０１）は、送信側端末（３０１）から送信された音声情報を受信し、非同期音声情報ならばこれを音声出力し、受信したものが非同期音声情報から同期音声情報に変わった後に、受信側映像情報の再生を開始し、同期音声情報については、バッファリングして受信側映像情報と同期するように音声出力する。

Description

明 細 書
通信ゲームシステム、通信ゲーム制御方法、情報記録媒体、ならびに、プ ログラム
技術分野
[0001] 本発明は、通信対戦ゲームや MMORPG (Massively Multiplayer Online Playing G ame)等、プレイヤーが互いに発声により会話可能な通信ゲームにおいて、一方のプ レイヤーが映像情報に同期して発声した音声情報や身振りを行った様子を撮影した 動画情報などのマルチメディア情報を他方のプレイヤーの端末で映像情報に同期さ せて出力するのに好適な通信ゲームシステム、通信ゲーム制御方法、これらをコンビ ユータにて実現するプログラムを記録したコンピュータ読取可能な情報記録媒体、な らびに、当該プログラムに関する。
背景技術
[0002] 従来から、通信技術を用いた対戦ゲームに係る技術が種々提案されている。このよ うなゲームに関する技術は、たとえば、以下の文献に開示されている。
特許文献 1：特許第 3496150号公報
[0003] [特許文献 1]には、複数の対戦ゲームを提供するゲームシステムにおいて、対戦相 手以外のプレイヤの存在感を軽い通信負荷で演出できるネットワークゲームシステム を提供するため、対戦情報を効率的に他のプレイヤに伝達し、その際一定のパラメ ータを変更し、ゲーム性を高める技術が開示されている。
[0004] 一方で、音声チャットや IP (Internet Protocol)電話など、インターネットを介した音 声によるユーザ同士の会話技術も広く利用されており、通信ゲームにおいても、プレ ィヤー同士が音声チャットによって会話することができるようにしているものが提案さ れている。
[0005] このほか、アニメーションなどでは、登場するキャラクター同士の戦闘シーンで、キヤ ラタターが必殺技を出すときに、必殺技の動作に同期してその必殺技の名前や決め 台詞を叫ぶ様子が広く見られる。
[0006] したがって、通信ゲームにおいて、プレイヤー同士の音声チャットを利用可能にす る一方で、キャラクター同士が戦う対戦型ゲームや、キャラクター同士が協力して敵と 戦う協力型ゲームなど、種々のゲームにおいて、キャラクターの必殺技や決め台詞な どをプレイヤーに声で叫ぶように促し、ゲームへの没頭度を高めたい、という要望が ある。
[0007] このような場合、必殺技を出すキャラクターの様子は、他のプレイヤーが操作する端 末にも映像として再生表示される力 この映像の再生に同期してプレイヤーが叫んだ 必殺技や決め台詞などを音声出力することとして、必殺技を出すプレイヤー以外の プレイヤーについても、ゲームへの没頭度を高めたい、という要望がある。
発明の開示
発明が解決しょうとする課題
[0008] 上記のようなゲームを実現する場合、インターネット等のコンピュータ通信網を介し た通信に遅延があり、音声チャットやあるプレイヤーの操作の様子が他のゲーム端末 に伝達されるまでに、ある程度の時間を要すること、必殺技などの様子を表す映像を DVD-ROM (Digital Versatile Disc)から読み出したり、キャラクターの形状を構成 するポリゴンの移動によって表現したりして映像の再生を開始するまでには、ある程 度の時間を要すること等から、音声チャットにより伝達される音声をそのまま出力して も、映像との同期はされない可能性が高い、という問題が生ずる。
[0009] また、音声チャットのみならず、ビデオチャットなど、プレイヤー自身の様子を相手に 知らせるために各種のマルチメディア情報のやりとりをすることもあり、このような状況 にも対応した ヽと 、う要望がある。
[0010] 本発明は、以上の課題を解決するためのもので、プレイヤーが互いに発声により会 話可能な通信ゲームにおいて、一方のプレイヤーが映像情報に同期して発声した音 声情報や身振りを行った様子を撮影した動画情報などのマルチメディア情報を他方 のプレイヤーの端末で映像情報に同期させて出力するのに好適な通信ゲームシステ ム、通信ゲーム制御方法、これらをコンピュータにて実現するプログラムを記録したコ ンピュータ読取可能な情報記録媒体、ならびに、当該プログラムに関する。
課題を解決するための手段
[0011] 以上の目的を達成するため、本発明の原理にしたがって、下記の発明を開示する [0012] 本発明の第 1の観点に係る通信ゲームシステムは、マルチメディア情報入力受付部 、送信側映像再生部、送信部を有する送信側端末と、受信部、受信側映像再生部、 マルチメディア情報出力部を有する受信側端末と、を備え、以下のように構成する。
[0013] まず、送信側端末にお!、て、マルチメディア情報入力受付部は、マルチメディア情 報の入力を受け付ける。
当該送信側端末を利用するゲームのプレイヤーが発する声の音声情報を、マイク を用いて取得して、これをマルチメディア情報の入力として扱うのが典型的である力 カメラを用いて撮影した動画情報を利用することも可能である。
[0014] 一方、送信側映像再生部は、所定の再生開始条件が満たされた場合、送信側映 像情報の再生を開始する。
上記の例でいえば、キャラクターの必殺技のコマンド入力力 コントローラもしくは音 声によってなされることによって、再生開始条件が満たされると、キャラクターの必殺 技の映像が画面表示されることになる。ここで、映像の表示については、あらかじめ 用意された動画ファイルを再生することとしても良いし、必殺技に対応するキャラクタ 一の骨格の時間経過に沿った動きをあら力じめ定義しておき、この定義にしたがって キャラクターの骨格を変化させてキャラクターの外観のポリゴン情報を更新し、 3次元 グラフィックス表示することによつても良 、。
[0015] さらに、送信部は、受信側端末へ、入力を受け付けられたマルチメディア情報を、 当該所定の再生開始条件が満たされて力 当該送信側映像情報の再生が終了する までに受け付けられたマルチメディア情報 (以下、「同期マルチメディア情報」という。 )か、そうでないマルチメディア情報 (以下、「非同期マルチメディア情報」という。）か、 を区別して、順次送信する。
上記の例でいえば、同期マルチメディア情報は、必殺技の映像が再生表示されて いるときに、その映像におけるキャラクターの動作に合わせてプレイヤーが発声した 必殺技の名称や決め台詞を表す音声であり、非同期マルチメディア情報は、それ以 外の、たとえば通常の移動シーンにおける日常会話を音声チャットで行うようなときの 音声である。 [0016] 一方、受信側端末にお!、て、受信部は、送信側端末から順次送信されるマルチメ ディア情報を順次受信する。
典型的には、送信側端末から送信されるマルチメディア情報は、 UDP (User Datag ram Protocol)などの伝送が高速なプロトコルを用いるが、それ以外のプロトコルを採 用しても良い。また、ここでいうマルチメディア情報の送受は、典型的には、ストリーミ ングによるマルチメディア情報の提供に相当する。
[0017] 一方、受信側映像再生部は、受信部により受信されたマルチメディア情報について 、所定の同期再生開始条件が満たされると、受信側映像情報の再生を開始する。 上記の例でいえば、送信側で必殺技が出たことを受信側で検知すると、相手方の キャラクターが必殺技を出していることを表現する映像情報の再生を開始しょうとする 。一般には、非同期マルチメディア情報の次に同期マルチメディア情報が受信された ことを検出した瞬間から、その後に、実際に映像情報の再生が開始されるまでには、 ハードウェア的なタイムラグが存在する。また、ノ、一ドウエア的なタイムラグよりもさらに 長い所定の余裕時間を設定し、当該余裕時間だけ待機して力 再生を開始すること として、ソフトウェア的なタイムラグを用意しても良い。
[0018] また、典型的には、非同期マルチメディア情報の次に同期マルチメディア情報が受 信された場合に、当該所定の同期再生開始条件が満たされる。
[0019] 一方、マルチメディア情報出力部は、順次受信されるマルチメディア情報が、
(P)非同期マルチメディア情報である場合、当該非同期マルチメディア情報を順次 出力し、
(q)同期マルチメディア情報である場合、当該受信側映像情報の再生が開始され るまで当該同期マルチメディア情報をバッファリングして、当該受信側映像情報の再 生が開始されると当該バッファリングされた同期マルチメディア情報を順次出力する。
[0020] 上記 (p)は、いわゆる音声チャットやビデオチャットに相当するものであり、画面表 示との同期は特段必要ない状況下では、（非同期）マルチメディア情報が到着すると 直ちにこれをストリーミング再生するのである。
一方、上記 (q)は、必殺技の映像表示に同期させて送信側のマルチメディア情報 を再生するものである。上記のように、必殺技の映像表示を開始するまでには、ネット ワークの通信遅延のほか、受信側映像再生部における処理遅延が存在する。
[0021] そこで、このタイムラグを埋めるために、マルチメディア情報出力部では、同期マル チメディア情報が受信されるとこれをバッファリングし、受信側映像情報の再生が開 始されると、当該バッファから順次同期マルチメディア情報を読み出して、ストリーミン グ再生を行う。
このように、本発明によれば、プレイヤーが互いに発声により会話可能な通信ゲー ムにおいて、一方のプレイヤーが映像情報に同期して発声した音声情報や身振りを 行った様子を撮影した動画情報などのマルチメディア情報を他方のプレイヤーの端 末で映像情報に同期させて出力することができるようになる。
[0022] 本発明のその他の観点に係る通信ゲームシステムは、送信側端末と、受信側端末 と、を有し、以下のように構成する。
[0023] すなわち、送信側端末は、操作入力受付部、マルチメディア情報入力受付部、送 信側映像再生部、送信部を備える。
[0024] ここで、操作入力受付部は、ユーザからの操作入力を受け付ける。
操作入力受付部は、典型的にはキーボードやコントローラであり、上記の例でいえ ば、キーやボタンの押圧操作が、必殺技コマンドの接頭辞 (開始操作入力）である場 合に、再生開始条件が満たされ、必殺技のアニメーション表示が開始される。
[0025] 一方、マルチメディア情報入力受付部は、当該ユーザからのマルチメディア情報の 入力を受け付ける。
[0026] さらに、送信側映像再生部は、受け付けられた操作入力が所定の開始操作入力で あることを検知すると、送信側映像情報の再生を開始する。
[0027] 上記の例でいえば、必殺技のコマンドの入力には、ある程度の時間がかかる。した がって、動画再生を開始した後にー且は開始された必殺技のシーケンスが入力され ると、必殺技のコマンドの入力が成功したものとして、送信側映像情報の再生を開始 する。
[0028] そして、送信部は、受信側端末へ、情報を順次送信するが、当該情報の種類には 、開始通知、マルチメディア情報、もしくは、終了通知が含まれ、
(r)受け付けられた操作入力が、所定の開始操作入力であることを検知すると、そ の旨を示す開始通知を送信し、
(S)当該マルチメディア情報の入力が所定時間分受け付けられたことを検知すると
、当該検知ごとに、当該所定時間分のマルチメディア情報を送信し、
(t)当該送信側映像情報の再生が終了したことを検知すると、その旨を示す終了通 知を送信する。
[0029] これらの種類は、パケット内に情報の種類を示すタグを埋め込むことで区別するの が典型的である。また、パケットは、すべて UDPで送信するのが典型的である力 マ ルチメディア情報は UDPパケットで送信し、開始通知や終了通知は TCPパケットで送 信し、受信側では、これらを受信した順番に並べて順次処理することとしても良い。
[0030] 一方、受信側端末は、受信部、受信側映像再生部、マルチメディア情報出力部を 備える。
[0031] ここで、受信部は、送信側端末から順次送信される情報を順次受信する。
[0032] したがって、開始通知、マルチメディア情報、終了通知を含む各種の情報が、到着 した時間順に処理されることになる。
[0033] 受信側映像再生部は、受信部により受信された情報が、当該開始通知であることを 検知すると、当該検知力 所定の余裕時間経過後に当該送信側映像情報に対応付 けられる受信側映像情報の再生を開始する。
[0034] この余裕時間の間に、受信側映像と同期して再生すべきマルチメディア情報を受 信してバッファリングするのである。
[0035] 一方、マルチメディア情報出力部は、受信部により当該開始通知が受信されてから 当該終了通知が受信されるまでの間に順次受信されたマルチメディア情報を同期マ ルチメディア情報と判定し、それ以外の間に順次受信されたマルチメディア情報を非 同期マルチメディア情報と判定し、順次受信された情報のそれぞれが、
(P)非同期マルチメディア情報であると判定されると、当該非同期マルチメディア情 報を順次出力し、
(q)同期マルチメディア情報であると判定されると、当該同期マルチメディア情報を 、当該所定余裕時間以上の長さをバッファリングできるノ ッファ領域にバッファリング して、当該受信側映像情報の再生が開始されてから、当該バッファリングされた同期 マルチメディア情報を順次出力する。
[0036] 本発明により、同期マルチメディア情報か非同期マルチメディア情報かを適切に区 別して、同期マルチメディア情報については、送信側と受信側であらかじめ用意され た互いに呼応する映像の再生に同期させて再生するゲームが実現できるようになる。
[0037] また、本発明の通信ゲームシステムは、以下のように構成することができる。
[0038] すなわち、送信側端末において、送信部が送信する情報の種類には、再生停止情 報がさらに含まれ、
(X)送信側映像再生部は、所定の再生停止条件が満たされたことを検知すると、 当該送信側映像情報の再生を停止して、当該再生を終了させ、
(y)送信部は、当該所定の再生停止条件が満たされたことを検知すると、受信側 端末へ、その旨を示す再生停止情報を送信する。
[0039] たとえば、キャラクターの必殺技のコマンド入力のシーケンスが長い場合に、これが 途中まで入力されると再生開始条件が満たされるが、途中で失敗したことが判明する 場合、再生停止条件が満たされたものとして、動画再生を停止させることができる。し たがって、停止して以降に入力されるマルチメディア情報は、非同期マルチメディア 情報となる。
また、再生停止情報は、受信側端末にも送信される。マルチメディア情報が UDPで 伝送されているときは、再生停止情報も UDPで高速に伝送することが望ましいが、再 生停止情報につ!、ては TCPで確実に伝送することとしても良 、。
[0040] 一方、受信側端末にお!、て、マルチメディア情報出力部は、受信部により受信され た情報が、当該再生停止情報であることを検知すると、当該バッファリングされた同期 マルチメディア情報を消去し、当該再生停止情報が受信されてから当該終了通知が 受信されるまでの間に順次受信されたマルチメディア情報の出力を停止する。
これにより、再生停止情報が受信されると、それまでにバッファリングされた同期マ ルチメディア情報の出力は行わなくなる。また、それ以降に受信された同期マルチメ ディア情報についても同様である。
[0041] 本発明によれば、映像再生を途中で中止するような事態に陥った場合、映像再生 に同期して再生させるべき同期マルチメディア情報を無視することによって、迅速に、 音声チャット等に復帰することができるようになる。
[0042] また、本発明の通信ゲームシステムにお 、て、送信側端末にお!、て、当該所定の 再生停止条件が満たされるのは、当該所定の再生開始条件が満たされてから所定 の猶予時間内に受け付けられた操作入力が、所定の操作入力パターンにマッチしな V、場合であるように構成することができる。
上記の例のように、キーボードやコントローラのキーやボタンの押圧操作等によって 必殺技コマンドの入力がされる場合には、所定の猶予時間内に、必殺技コマンドに 対応付けられる押圧操作の列が完全に入力された場合には、そのまま映像再生を継 続して必殺技のシーケンスを続行するが、そうでない場合には、途中で必殺技のシ 一ケンスを中止する。再生停止条件が満たされると、動画再生が終了するため、マル チメディア情報も同期入力から非同期入力に切り替わるのである。
[0043] 本発明は、上記発明の好適実施形態に係るものであり、本発明によれば、キーボ ードゃコントローラ等を用いた操作入力を受け付けて、当該操作入力によって、動画 の再生の停止 ·終了もしくは «I続を制御することができるようになる。
[0044] また、本発明の通信ゲームシステムの送信側端末にぉ 、て、当該所定の再生停止 条件が満たされるのは、当該所定の再生開始条件が満たされてから所定の猶予時 間内に入力を受け付けられたマルチメディア情報力 所定のマルチメディア的特性を 満たさな 、場合であるように構成することができる。
上記の例のように、必殺技に係る動画の再生が開始された後、所定の猶予時間内 に、必殺技コマンドに対応付けられる声が完全に入力された場合や、必殺技の身振 りをきちんと行った場合には、そのまま映像再生を継続して必殺技のシーケンスを続 行するが、そうでない場合には、途中で必殺技のシーケンスを中止する。再生停止 条件が満たされると、動画再生が終了するため、音声情報も同期入力から非同期入 力に切り替わるのである。
[0045] ここで、所定のマルチメディア的特性は、音声の場合、声の大きさや声の高低、リズ ム、音階などや、これらの組合せによって特徴付けられる。また、これらの音声的特性 に基づいて必殺技の攻撃力や防御力の強さを変化させることもできる。たとえば、動 画にリズムを合わせて必殺技の名称や決め台詞を大きな声で発声した場合に、必殺 技が強くなる、等である。
[0046] また、動画の場合、所定のマルチメディア的特性は、身振りや手振りを撮影してこれ らが所定のパターンの動きに合致している力否かによって、判断される。
本発明は、上記発明の好適実施形態に係るものであり、本発明によれば、マイクを 用いた音声情報等のマルチメディア情報の入力を受け付けて、当該マルチメディア 情報の入力によって、動画の再生の停止 ·終了もしくは «I続を制御することができる ようになる。
[0047] また、本発明の通信ゲームシステムの受信側端末にぉ 、て、マルチメディア情報出 力部は、当該同期マルチメディア情報を、当該所定の猶予時間よりも長い時間分だ けバッファリングするように構成することができる。
上記の例では、必殺技のコマンド入力が成功するか失敗するかが判明した時には 、まだバッファリングのバッファに余裕がある。すなわち、このバッファ長は、上述の余 裕時間に呼応するものである。このため、必殺技のコマンド入力が成功したことが確 定した後に、受信側映像の再生が開始されることになる。
[0048] 本発明は、上記発明の好適実施形態に係るものであり、バッファ長を適切に設ける ことで、効率良くバッファリングを行うことができるようになる。
[0049] 本発明のその他の観点に係る通信ゲーム制御方法は、操作入力受付部、マルチメ ディア情報入力受付部、送信側映像再生部、送信部を有する送信側端末と、受信部 、受信側映像再生部、マルチメディア情報出力部を有する受信側端末と、において 実行され、以下のように構成する。
[0050] まず、送信側端末にお!ヽて、操作入力受付工程では、操作入力受付部が、ユーザ 力ゝらの操作入力を受け付け、マルチメディア情報入力受付工程では、マルチメディア 情報入力受付部が、当該ユーザ力 のマルチメディア情報の入力を受け付け、送信 側映像再生工程では、受け付けられた操作入力が所定の開始操作入力であることを 検知すると、送信側映像再生部が、送信側映像情報の再生を開始し、送信工程では 、送信部（304)が、受信側端末 (401)へ、情報を順次送信し、当該情報の種類には 、開始通知、マルチメディア情報、もしくは、終了通知が含まれ、
(r)受け付けられた操作入力が、所定の開始操作入力であることを検知すると、そ の旨を示す開始通知を送信し、
(S)当該マルチメディア情報の入力が所定時間分受け付けられたことを検知すると
、当該検知ごとに、当該所定時間分のマルチメディア情報を送信し、
(t)当該送信側映像情報の再生が終了したことを検知すると、その旨を示す終了通 知を送信する。
[0051] 一方、受信側端末にお!、て、受信工程では、受信部が、送信側端末から順次送信 される情報を順次受信し、受信側映像再生工程では、受信工程にて受信された情報 力 当該開始通知であることを検知すると、受信側映像再生部が、当該検知から所 定の余裕時間経過後に当該送信側映像情報に対応付けられる受信側映像情報の 再生を開始し、マルチメディア情報出力工程では、マルチメディア情報出力部が、受 信工程にて当該開始通知が受信されて力 当該終了通知が受信されるまでの間に 順次受信されたマルチメディア情報を同期マルチメディア情報と判定し、それ以外の 間に順次受信されたマルチメディア情報を非同期マルチメディア情報と判定し、順次 受信された情報のそれぞれが、
(P)非同期マルチメディア情報であると判定されると、当該非同期マルチメディア情 報を順次出力し、
(q)同期マルチメディア情報であると判定されると、当該同期マルチメディア情報を
、当該所定余裕時間以上の長さをバッファリングできるノ ッファ領域にバッファリング して、当該受信側映像情報の再生が開始されてから、当該バッファリングされた同期 マルチメディア情報を順次出力する。
[0052] 本発明のその他の観点に係るプログラムは、第 1のコンピュータを、上記の送信側 端末の各部として機能させ、第 2のコンピュータを、上記の受信側端末の各部として 機能させるように構成する。
[0053] また、本発明のプログラムは、コンパクトディスク、フレキシブルディスク、ハードディ スク、光磁気ディスク、ディジタルビデオディスク、磁気テープ、半導体メモリ等のコン ピュータ読取可能な情報記憶媒体に記録することができる。
上記プログラムは、プログラムが実行されるコンピュータとは独立して、コンピュータ 通信網を介して配布 '販売することができる。また、上記情報記憶媒体は、コンビユー タとは独立して配布 ·販売することができる。
発明の効果
[0054] 本発明によれば、プレイヤーが互いに発声により会話可能な通信ゲームにおいて、 一方のプレイヤーが映像情報に同期して発声した音声情報や身振りを行った様子を 撮影した動画情報などのマルチメディア情報を他方のプレイヤーの端末で映像情報 に同期させて出力するのに好適な通信ゲームシステム、通信ゲーム制御方法、これ らをコンピュータにて実現するプログラムを記録したコンピュータ読取可能な情報記 録媒体、ならびに、当該プログラムを提供することができる。
図面の簡単な説明
[0055] [図 1]プログラムを実行することにより、本発明の送信側端末、もしくは、受信側端末の 機能を果たす典型的な情報処理装置の概要構成を示す模式図である。
[図 2]本発明の実施形態に係る通信ゲームシステムの概要構成を示す模式図である
[図 3]送信側端末の概要構成を示す模式図である。
[図 4]本実施形態で採用される必殺技コマンドと動画映像の再生との時間的な関係 を示す説明図である。
[図 5]送信側端末で実行される送信側処理の制御の流れを示すフローチャートである
[図 6]本実施形態に係る通信ゲームシステムの受信側端末の概要構成を示す模式図 である。
[図 7]受信側端末にて実行される第 1の受信処理の制御の流れを示すフローチャート である。
[図 8]受信側端末にて起動される第 2の受信処理の制御の流れを示すフローチャート である。
符号の説明
[0056] 100 情報処理装置
101 CPU
102 ROM 103 RAM
104 インターフェイス
105 コントローラ
106 外部メモリ
107 画像処理部
108 DVD— ROMドライブ
109 NIC
110 音声処理部
111 マイク
201 通信ゲームシステム
251 インターネット
301 送信側端末
302 音声入力受付部
303 送信側映像再生部
304 送信部
401 受信側端末
402 受信部
403 受信側映像再生部
404 音声出力部
411 内部バッファ
412 外部バッファ
発明を実施するための最良の形態
以下に本発明の実施形態を説明する。以下では、理解を容易にするため、ゲーム 用の情報処理装置を利用して本発明が実現される実施形態を説明するが、以下に 説明する実施形態は説明のためのものであり、本願発明の範囲を制限するものでは ない。したがって、当業者であればこれらの各要素もしくは全要素をこれと均等なもの に置換した実施形態を採用することが可能であるが、これらの実施形態も本発明の 範囲に含まれる。 [0058] なお、以下の実施例の説明では、音声チャットを利用した対戦ゲームを想定してお り、マルチメディア情報として音声情報を利用する。そこで、理解を容易にするため、 以下では、「マルチメディア情報」として「音声情報」のみを採用する例を説明するが、 ビデオチャットなどの動画情報を「マルチメディア情報」として採用する場合も、同様 の原理を適用することができ、これらの態様も本発明の範囲に含まれる。
実施例 1
[0059] 図 1は、プログラムを実行することにより、本発明の送信側端末、もしくは、受信側端 末の機能を果たす典型的な情報処理装置の概要構成を示す模式図である。以下、 本図を参照して説明する。
[0060] 情報処理装置 100は、 CPU (Central Processing Unit) 101と、 ROM 102と、 RA M (Random Access Memory) 103と、インターフェイス 104と、コントローラ 105と、外 咅メモリ 106と、画像処理部 107と、 DVD-ROM (Digital Versatile Disc ROM)ドラ イブ 108と、 NIC (Network Interface Card) 109と、音声処理部 110と、を備える。
[0061] ゲーム用のプログラムおよびデータを記憶した DVD— ROMを DVD— ROMドライ ブ 108に装着して、情報処理装置 100の電源を投入することにより、当該プログラム が実行され、本実施形態の送信側端末、もしくは、受信側端末が実現される。
[0062] CPU 101は、情報処理装置 100全体の動作を制御し、各構成要素と接続され制 御信号やデータをやりとりする。また、 CPU 101は、レジスタ（図示せず）という高速 アクセスが可能な記憶域に対して ALU (Arithmetic Logic Unit) (図示せず）を用いて 加減乗除等の算術演算や、論理和、論理積、論理否定等の論理演算、ビット和、ビ ット積、ビット反転、ビットシフト、ビット回転等のビット演算などを行うことができる。さら に、マルチメディア処理対応のための加減乗除等の飽和演算や、三角関数等、ベタ トル演算などを高速に行えるように、 CPU 101自身が構成されているものや、コプロ セッサを備えて実現するものがある。
[0063] ROM 102には、電源投入直後に実行される IPL (Initial Program Loader)が記録 され、これが実行されることにより、 DVD— ROMに記録されたプログラムを RAM 1 03に読み出して CPU 101による実行が開始される。また、 ROM 102には、情報 処理装置 100全体の動作制御に必要なオペレーティングシステムのプログラムや各 種のデータが記録される。
[0064] RAM 103は、データやプログラムを一時的に記憶するためのもので、 DVD—R OM力も読み出したプログラムやデータ、その他ゲームの進行やチャット通信に必要 なデータが保持される。また、 CPU 101は、 RAM 103に変数領域を設け、当該 変数に格納された値に対して直接 ALUを作用させて演算を行ったり、 RAM 103 に格納された値をー且レジスタに格納してからレジスタに対して演算を行 、、演算結 果をメモリに書き戻す、などの処理を行う。
[0065] インターフェイス 104を介して接続されたコントローラ 105は、ユーザがゲーム実行 の際に行う操作入力を受け付ける。
[0066] インターフェイス 104を介して着脱自在に接続された外部メモリ 106には、ゲーム等 のプレイ状況 (過去の成績等）を示すデータ、ゲームの進行状態を示すデータ、ネッ トワーク対戦の場合のチャット通信のログ (記録)のデータなどが書き換え可能に記憶 される。ユーザは、コントローラ 105を介して指示入力を行うことにより、これらのデー タを適宜外部メモリ 106に記録することができる。
[0067] DVD— ROMドライブ 108に装着される DVD— ROMには、ゲームを実現するた めのプログラムとゲームに付随する画像データや音声データが記録される。 CPU 1
01の制御によって、 DVD— ROMドライブ 108は、これに装着された DVD— ROM に対する読み出し処理を行って、必要なプログラムやデータを読み出し、これらは R AM 103等に一時的に記憶される。
[0068] 画像処理部 107は、 DVD— ROMから読み出されたデータを CPU 101や画像処 理部 107が備える画像演算プロセッサ（図示せず）によってカ卩ェ処理した後、これを 画像処理部 107が備えるフレームメモリ（図示せず）に記録する。フレームメモリに記 録された画像情報は、所定の同期タイミングでビデオ信号に変換され画像処理部 10 7に接続されるモニタ（図示せず)へ出力される。これにより、各種の画像表示が可能 となる。
[0069] 画像演算プロセッサは、 2次元の画像の重ね合わせ演算や αプレンディング等の 透過演算、各種の飽和演算を高速に実行できる。
[0070] また、仮想 3次元空間に配置され、各種のテクスチャ情報が付加されたポリゴン情 報を、 Zバッファ法によりレンダリングして、所定の視点位置から仮想 3次元空間に配 置されたポリゴンを所定の視線の方向へ俯瞰したレンダリング画像を得る演算の高速 実行も可能である。
[0071] さらに、 CPU 101と画像演算プロセッサが協調動作することにより、文字の形状を 定義するフォント情報にしたがって、文字列を 2次元画像としてフレームメモリへ描画 したり、各ポリゴン表面へ描画することが可能である。
[0072] NIC 109は、情報処理装置 100をインターネット等のコンピュータ通信網（図示せ ず）に接続するためのものであり、 LAN (Local Area Network)を構成する際に用いら れる 10BASE—TZ100BASE—T規格にしたがうものや、電話回線を用いてインタ 一ネットに接続するためのアナログモデム、 ISDN (Integrated Services Digital Netwo rk)モデム、 ADSL (Asymmetric Digital Subscriber Line)モデム、ケーブルテレビジョ ン回線を用いてインターネットに接続するためのケーブルモデム等と、これらと CPU 101との仲立ちを行うインターフェース（図示せず）により構成される。
[0073] 音声処理部 110は、 DVD— ROM力も読み出した音声データをアナログ音声信号 に変換し、これに接続されたスピーカ（図示せず)から出力させる。また、 CPU 101 の制御の下、ゲームの進行の中で発生させるべき効果音や楽曲データを生成し、こ れに対応した音声をスピーカから出力させる。
[0074] 音声処理部 110では、 DVD— ROMに記録された音声データが MIDIデータであ る場合には、これが有する音源データを参照して、 MIDIデータを PCMデータに変 換する。また、 ADPCM形式や Ogg Vorbis形式等の圧縮済音声データである場合に は、これを展開して PCMデータに変換する。 PCMデータは、そのサンプリング周波 数に応じたタイミングで DZA (Digital/Analog)変換を行って、スピーカに出力するこ とにより、音声出力が可能となる。
[0075] さらに、情報処理装置 100には、インターフェイス 104を介してマイク 111を接続す ることができる。この場合、マイク 111からのアナログ信号に対しては、適当なサンプリ ング周波数で AZD変換を行い、 PCM形式のディジタル信号として、音声処理部 11 0でのミキシング等の処理ができるようにする。
[0076] このほか、情報処理装置 100は、ハードディスク等の大容量外部記憶装置を用い て、 ROM 102、 RAM 103、外部メモリ 106、 DVD— ROMドライブ 108に装着さ れる DVD— ROM等と同じ機能を果たすように構成してもよ ヽ。
[0077] 以上で説明した情報処理装置 100は、いわゆる「コンシユーマ向けテレビゲーム装 置」に相当するものである力 音声処理や画像処理を行うことが可能であれば、本発 明を実現することができる。したがって、携帯電話、携帯ゲーム機器、カラオケ装置、 一般的なビジネス用コンピュータなど、種々の計算機上で本発明を実現することが可 能である。
[0078] たとえば、一般的なコンピュータは、上記情報処理装置 100と同様に、 CPU, RA M、 ROM, DVD— ROMドライブ、 NIC,音声入力用マイク、音声出力用スピーカ、 を備え、情報処理装置 100よりも簡易な機能を備えた画像処理部を備え、外部記憶 装置としてハードディスクを有する他、フレキシブルディスク、光磁気ディスク、磁気テ ープ等が利用できるようになつている。また、コントローラ 105ではなぐキーボードや マウスなどを入力装置として利用する。
[0079] 図 2は、本発明の実施形態に係る通信ゲームシステムの概要構成を示す模式図で ある。以下、本図を参照して説明する。
本図に示すように、通信ゲームシステム 201は、インターネット 251を介して送信側 端末 301と受信側端末 401とが、通信可能に接続されている。送信側端末 301と受 信側端末 401とは、いずれも、上記の情報処理装置 100において通信ゲームのプロ グラムを実行することによって実現される。
そして、各情報処理装置 100は、送信側端末 301としても、受信側端末 401として も機能するように構成するのが典型的である。
[0080] 送信側端末 301と受信側端末 401の通信は、音声情報のストリーミング配信の際に も用いられる高速な UDPを用いるのが典型的である力 TCPなどの受信確認 (ァクノリ ッジ)を行うようなプロトコルを採用しても良い。また、伝送される情報の種類によって、 プロトコルや通信レイヤを異なるものとしても良い。
[0081] なお、以下の説明では、必殺技の攻撃をしかけようとするプレイヤーが操作する情 報処理装置 100を送信側端末 301の例として、その攻撃の様子を見る他のプレイヤ 一が操作する情報処理装置 100を送信側端末 401の例として、それぞれ採用して説 明する。また、攻撃側プレイヤーが操作するキャラクターの必殺技発動時の動作、振 り、特殊効果演出等の画像表示がアニメーションや 3次元ポリゴングラフィックスで、 送信側端末 301と受信側端末 401の両方で表示されるものとする。
[0082] 本実施形態では、後述するように、必殺技の動画映像表示に同期して攻撃側プレ ィヤーに技の名前や決め台詞を叫ばせて、これを他のプレイヤーにも提供することに より、プレイヤーのゲームへの没頭度を高める必殺技を表示していない状況では、音 声チャットが利用できるようにしている力 本発明の原理は、他の態様に適用すること ができ、そのような実施形態も本発明の範囲に含まれる。
[0083] (送信側端末）
図 3は、送信側端末 301の概要構成を示す模式図である。以下、本図を参照して 説明する。
本実施形態に係る送信側端末 301は、音声入力受付部 302、送信側映像再生部 303、送信部 304を有する。
[0084] まず、送信側端末 301において、音声入力受付部 302は、音声情報の入力を受け 付ける。
当該送信側端末 301を利用するゲームのプレイヤーが発する声を、マイク 111を用 いて取得する。取得した音声情報は、音声処理部 110が備える内部バッファや RA M 103にバッファリングされる。
[0085] 音声サンプリング処理は、サンプリング周期の間隔でタイマ割り込みを繰り返し起こ すこととし、当該タイマ割り込みの割り込みハンドラ内で、マイク 111からの音声入力 の変位 (基準位置力 のずれ)を取得して、 RAM 103等の中に用意された所定の ノ ッファに、取得した変位のディジタルデータをキュー形式で追カ卩して 、くのが典型 的である。
したがって、音声情報をバッファ長に蓄積できる時間に対応するような周期で、バッ ファ内からデータをキュー形式で読み出すような処理を並行して行う必要がある。
[0086] 一方、送信側映像再生部 303は、所定の再生開始条件が満たされた場合、送信側 映像情報の再生を開始する。
上記の例でいえば、キャラクターの必殺技のコマンド入力が、コントローラ 105もしく は音声によってなされることによって、再生開始条件が満たされると、キャラクターの 必殺技の映像が画面表示されることになる。
[0087] ここで、映像の表示については、あら力じめ用意された動画ファイルを再生するの が典型的である。すなわち、 AVI (Audio Video Interleaving)形式や MPEG (Moving Picture Expert Group)形式の動画映像ファイル（音声を含んでも良い。）を DVD—R OMに記録しておく。送信側端末 301と受信側端末 401とで同じ動画映像ファイルを 用意するのが典型的であるが、ほぼ同じ再生時間を有するものであれば、異なる動 画映像ファイルを採用することもできる。
この場合、当該動画映像ファイルに含まれる情報が送信側映像情報 (および受信 側映像情報)となる。
[0088] また、動的に映像情報を生成するような形態を採用しても良い。必殺技に対応する キャラクターの骨格の時間経過に沿った動きをあら力じめ定義しておき、この定義に したがってキャラクターの骨格の位置を変化させてキャラクターの外観のポリゴン情報 を更新し、 3次元グラフィックス表示することによつても良い。
この場合、仮想空間内におけるキャラクターの骨格位置関係や、仮想空間内にお けるキャラクターの位置そのものの時間変化力 送信側映像情報（および受信側映 像情報)となる。
[0089] なお、仮想世界の様子を送信側端末 301と受信側端末 401とで表示している場合 には、仮想世界を 3次元グラフィックス表示する際の、送信側端末 301における視点 位置'視線方向と、受信側端末 401における視点位置，視線方向とは、異なるのが一 般的である。
[0090] 送信部 304は、受信側端末 401へ、以下のような情報を順次送信する。
(a)所定の再生開始条件が満たされた旨の通知 (以下「開始通知」と!、う。 )。
(b)音声入力受付部 302から入力された所定の時間分の音声情報。
(c)所定の再生停止条件が満たされた旨の通知 (以下「停止通知」と!、う。 )。
(d)映像の再生が終了した旨の通知（以下「終了通知」 t 、う。）。
これらの情報は、送信側端末 301で、対応するイベントが生じたことが検出されると、 直ちに送信される。 [0091] したがって、開始通知から、停止通知もしくは終了通知までの間に伝送される音声 情報は、所定の再生開始条件が満たされてから当該送信側映像情報の再生が終了 するまでに入力された音声情報ということになる。以下、これを「同期音声情報」とい い、それ以外の時間帯に入力が受け付けられた音声情報を「非同期音声情報」とい
[0092] 上記の例でいえば、同期音声情報は、必殺技の映像が再生表示されているときに 、その映像におけるキャラクターの動作に合わせてプレイヤーが発声した必殺技の 名称や決め台詞を表す音声であり、非同期音声情報は、それ以外の、たとえば通常 の移動シーンにおける日常会話を音声チャットで行うようなときの音声である。
[0093] 図 4は、本実施形態で採用される必殺技コマンドと動画映像の再生との時間的な関 係を示す説明図である。以下、本図を参照して説明する。
[0094] 本実施形態では、必殺技コマンドを完全に入力するには、ある程度の時間が力かる 。そこで、送信側端末 301において、必殺技コマンドの入力が開始されたと予測でき るような状況になると、再生開始条件が満たされるものと考える。
[0095] 必殺技コマンドの入力が開始されたと予測できる状況としては、以下のようなものが 考えられる。
(a)必殺技コマンド力 コントローラ 105等のキーやボタンの押圧操作を、所定の順 序で行うことによって入力される場合に、当該押圧操作の列の先頭部分 (接頭辞)が ある程度入力されたとき。
(b)必殺技コマンドが、プレイヤーがある長さの呪文を唱える音声入力によって行わ れるときに、当該呪文の先頭部分に相当する音声入力を検知したとき。
(c)上記 (a)と (b)の糸且合せ、たとえば、キーやボタンの押圧操作によって必殺技の 準備モードに入り、その後にプレイヤーが所定の発声を行うことにより必殺技コマンド が完成する場合は、必殺技の準備モードに入ったとき。
[0096] なお、コントローラ 105等を利用する形態の場合、これらは、送信側端末 301が備 える操作入力受付部（図 3には図示せず)として機能する。
[0097] さて、再生開始条件が満たされると、 CPU 101が画像処理部 107、音声処理部 1
10および DVD— ROMドライブ 108に指示を出して、送信側映像情報の再生を開 始するよう指示を出す。一般に、再生開始条件が満たされて力 送信側映像上の再 生が開始されるまでには、ある程度のタイムラグがある。
[0098] 再生開始条件が満たされた後、所定の猶予時間の間に、残りのコマンド入力が適 切に行われない場合には、必殺技コマンドは完成しない。必殺技コマンドの入力が 失敗した旨を CPU 101が検知すると、画像処理部 107、音声処理部 110および D VD— ROMドライブ 108に指示を出して、送信側映像情報の再生を停止するよう指 示を出す。この指示に応じて、送信側映像情報の再生が終了するまでにも、ある程 度のタイムラグがある (本図（a) )。
[0099] 一方、再生開始条件が満たされた後、所定の猶予時間の間に、残りのコマンド入力 が適切に行われた場合には、必殺技コマンドは完成するので、そのまま送信側映像 情報を最後まで再生する (本図 (b) )。
[0100] なお、送信側映像情報が再生されている間は、音声処理部 110がマイク 111から 入力された音声情報を送信側映像情報の動画ファイルが含む音声とミキシングして 出力することとしても良い。この場合には、必殺技を出そうとしているプレイヤー自身 に臨場感を与えることができると同時に、同期がとれている力否かの判断基準を与え ることちでさるようになる。
[0101] これらの処理の処理単位時間は、ゲームのコマンド入力に割り当てられる単位時間 と呼応して定められる。たとえば、コマンド入力の検出が垂直同期信号の周期である
60分の 1秒単位である場合には、これらの条件の判断基準は、垂直同期信号の周 期と一致させるか、当該周期を整数で割った時間とすることが望ましい。以下では、 垂直同期信号の周期と一致するものとして説明を行うが、たとえばタイマ割り込みに よってこれらの判断処理と各部への指示を行うことも可能である。
[0102] 図 5は、送信側端末 301で実行される送信側処理の制御の流れを示すフローチヤ ートである。以下、本図を参照して説明する。
[0103] 本処理が開始されると、まず、 CPU 101はマイク 111を制御して、プレイヤーの声 の音声情報の入力の受付を開始する (ステップ S501)。上記のように、音声情報の 入力の受付を開始すると、 RAM 103等に用意されたバッファに直近の音声情報を キュー形式で蓄積する処理が、並行して開始されること〖こなる。そこで、適切なタイミ ングで、このバッファ力も音声情報を取得して、ノ ッファの容量を開ける必要がある したがって、 CPU 101の制御の下、マイク 111は、音声入力受付部 302として機 能する。
[0104] 次に、 CPU 101は、 DVD— ROMドライブ 108および画像処理部 107を制御して
、送信側映像情報の再生が、 CPU 101からの指示によって開始されるように、初期 化を行う（ステップ S 502)。
[0105] これにより、送信側映像情報の再生の開始と停止は、 CPU 101の制御の下に行 われることとなり、 DVD— ROMドライブ 108および画像処理部 107は、送信側映像 再生部 303として機能することとなる。
[0106] ついで、 CPU 101は、 RAM 103に用意された再生フラグ領域を 0に初期化す る (ステップ S503)。再生フラグ領域が非 0である場合には、送信側映像再生部 303 に最後に出した指示が再生の開始であり、 0である場合は、再生の停止であることを 意味する。
[0107] そして、 CPU 101は、以下の処理を、ゲームが終了するまで繰り返す (ステップ S 504)。
[0108] すなわち、再生フラグ領域が 0か否かを調べ (ステップ S505)、 0である場合 (ステツ プ S505 ;Yes)、再生開始条件が満たされている力否かを調べる（ステップ S506)。 再生開始条件が満たされるか否かは、上記のような判断基準によって判断され、たと えば、直近のキーやボタンの押圧操作がされるたびに生じる割り込みで当該キーや ボタンの情報を蓄積し、 CPU 101がその情報を走査して判断する、等の手法を採 用することができる。
[0109] 再生開始条件が満たされていない場合 (ステップ S506； No)、ステップ S509に進 む。
一方、再生開始条件が満たされている場合 (ステップ S506 ; Yes)、 CPU 101は、 NIC 109を介して、開始通知を受信側端末 401に送信し (ステップ S507)、再生フ ラグ領域に 1を設定する (ステップ S508)。
[0110] ついで、 CPU 101は、 DVD— ROMドライブ 108および画像処理部 107を制御 して、送信側映像情報の再生を開始させるように指示を出す (ステップ S521)。した がって、 CPU 101の制御の下、 DVD— ROMドライブ 108および画像処理部 107 は、送信側映像再生部 303として機能することとなる。
[0111] そして、 CPU 101は、マイク 111から RAM 103等にされた音声入力のキューに 含まれる音声情報を取得する (ステップ S509)。これにより、このキューを構成する R
AM 103内のバッファは一瞬空になる。
[0112] そして、 NIC 109を介して、キューから取得した音声情報を受信側端末 401に送 信する (ステップ S510)。なお、本実施形態では、音声情報のパケットそのものに同 期音声情報か非同期音声情報かの付加情報は付与しな 、が、これらの情報を付与 するような形態を採用することもできる。
[0113] そして、垂直同期割り込みが生じるまで待機して (ステップ S511)、ゲームが終了し た力判断し (ステップ S512)、終了していれば本処理を終了する（ステップ S512)。 一方、終了していなければステップ S 504に戻る（ステップ S 512)。
[0114] 一方、再生フラグ領域が非 0である場合 (ステップ S505 ; No)、再生停止条件が満 たされている力否かを調べる (ステップ S 513)。再生停止条件が満たされている場合 (ステップ S513 ; Yes)、 CPU 101は、停止通知を受信側端末 401に送信し (ステツ プ S514)、再生フラグ領域に 0を設定して (ステップ S515)、送信側映像再生部 303 に再生の中止の指示を出し (ステップ S522)、ステップ S509に進む。
[0115] 一方、再生停止条件が満たされていない場合 (ステップ S513 ;No)、送信側映像 再生部 303による送信側映像情報の再生が最後まで完全に行われた力判定し (ステ ップ S 516)、再生が最後まで完全に行なわれて終了していれば (ステップ S516 ; Ye s)、終了通知を受信側端末 401に送信し (ステップ S517)、再生フラグ領域に 0を設 定して（ステップ S518)、ステップ S509に進む。
まだ送信側映像情報の再生途中である場合 (ステップ S516 ;No)、そのままステツ プ S509に進む。
[0116] このような処理を行うことによって、 NIC 109は、 CPU 101の制御の下、送信部 3
04として機能することとなる。
[0117] なお、コマンド体系によっては、再生停止条件の判断を省略することもできる。すな わち、一旦必殺技が開始されたら、そのまま最後まで映像情報が再生される、という ものである。この場合には、同期音声情報の音声的特徴に基づいて、必殺技の強さ などのパラメータを決定する、ということとしても良い。
[0118] なお、上記の説明では、垂直同期の周期ごとに処理を繰り返す形態を採用してい る力 ステップ S511での待機中には、他の処理をコルーチン的に実行することもでき る。また、垂直同期待ちをそのまま行うのではなぐ本処理の繰り返しループの 1回分 をタイマ割り込みの割り込みハンドラに設定して、繰り返しが所定の時間間隔で行わ れるようにしても良い。
このほか、情報処理装置 100が採用する OS (Operating System)力 スレッドを用い た時分割処理を採用する場合には、後述する処理の種類ごとに、複数のスレッド〖こ 分割して、処理の整理を図ることもできる。
[0119] (受信側端末）
図 6は、本実施形態に係る通信ゲームシステムの受信側端末 401の概要構成を示 す模式図である。以下、本図を参照して説明する。
本図に示すように、受信側端末 401は、受信部 402、受信側映像再生部 403、音 声出力部 404を有する。
[0120] ここで、受信部 402は、所定のプロトコルに基づいて送信側端末 301から送信され る音声情報や開始通知、停止通知、終了通知を受信する。
[0121] 一方、受信側映像再生部 403は、送信側端末 301で送信側映像情報の再生が開 始されたり停止されたりされると、（タイムラグはあるものの、）これに合わせて、受信側 映像情報の再生を開始したり停止したりする。
[0122] また、音声出力部 404は、受信した音声情報を適切に出力して、プレイヤーの声に よる音声チャットと、受信側映像情報の再生に同期した技の名前や決め台詞のプレ ィヤーの声と、を、受信側端末 401を利用するプレイヤーに提供する。
[0123] 受信側端末 401では、第 1の受信処理と第 2の受信処理とが並行して実行される。
この並行処理は、スレッドや時分割、コル一チン、割り込みなどの種々の機能を利用 することによって、実現することができる。以下、詳細に説明する。
[0124] 図 7は、受信側端末 401にて実行される第 1の受信処理の制御の流れを示すフロ 一チャートである。以下、本図を参照して説明する。 [0125] 本処理が開始されると、 CPU 101は、 RAM 103内に用意された再生フラグ領 域を 0にする (ステップ S 701)。再生フラグ領域の機能は、送信側端末 301における ものと同様である。
[0126] ついで、音声処理部 110を初期化して、音声処理部 110に音声情報を渡すと、渡 した順にこれが再生されるようにする (ステップ S 702)。すなわち、音声処理部 110に は RAM 103に用意された内部バッファ 411が関係付けられており、音声情報が C PU 101から指定されると、この内部バッファに音声情報が蓄積される。
[0127] 音声処理部 110は、内部バッファ 411の先頭力も音声情報を取り出してはこれを音 声出力し、完了すると次の音声情報を取り出してはこれを音声出力し、……を繰り返 す。受信側映像情報に音声も含まれる場合は、音声処理部 110の音声出力は、両 者をミキシングして出力することとしても良い。
なお、後述するバッファリング処理に用いる外部バッファ 412と、この内部バッファ 4 11の処理とは、異なる機能に属するものである。
[0128] 次に、 CPU 101は、 NIC 109を監視して、各種の情報を指定したパケットが送 信側端末 301から到達して受信できるまで待機する (ステップ S703)。なお、待機の 間は、他の処理をコルーチン的に実行することもできるし、以下の処理 (の繰り返しの 一単位)を、 NIC 109の受信割り込みに割り当てることとしても良い。
そして、 CPU 101は、受信されたパケットに指定される情報の種類を調べる (ステ ップ S 704)。
[0129] 当該パケットが開始通知である場合 (ステップ S 704 ;開始）、 CPU 101は、再生フ ラグ領域に 1を設定してから（ステップ S705)、 DVD— ROMドライブ 108および画像 処理部 107を制御して、余裕時間後に受信側映像情報の再生を開始させるように指 示を出し (ステップ S 706)、ステップ S712に進む。
[0130] すなわち、本実施形態では、開始通知のような、特定の種類のパケットが受信され ると、同期再生開始条件が満たされる、ということとしている。ただし、開始通知を採用 しないような態様であっても、同期再生開始条件が満たされるような状況はありうる。 たとえば、マルチメディア情報のパケットそのものに、同期か非同期かの情報を埋め 込み、非同期マルチメディア情報の次に同期マルチメディア情報が受信されると、同 期再生開始条件が満たされる、のようにすることができる。
[0131] なお、ここで CPU 101に指示された受信側映像情報の再生が実際に開始される タイミングとしては、以下のような種々の手法が考えられる。
(a)指示があって、準備ができたら直ちに、再生を開始する。余裕時間が 0の場合 である。
(b)指示があってから、一定の余裕時間（送信側端末 301における猶予時間よりも 長い。）経過した瞬間に、再生を開始する。
(c)指示があってから、一定の余裕時間（送信側端末 301における猶予時間以下。 )経過した瞬間に、再生を開始する。
[0132] 一方、当該パケットが停止通知（ステップ S704 ;停止）である場合、 CPU 101は、 再生フラグ領域に 0を設定してから（ステップ S707)、 DVD— ROMドライブ 108およ び画像処理部 107を制御して、受信側映像情報の再生を停止させるように指示を出 して（ステップ S 708)、ステップ S712に進む。
したがって、 CPU 101の制御の下、 DVD— ROMドライブ 108および画像処理部 107が、受信側映像再生部 403として機能することとなる。
[0133] また、当該パケットが終了通知 (ステップ S704 ;終了）である場合、ステップ S712に 進む。
[0134] さらに、当該パケットが音声情報 (ステップ S704 ;音声)である場合、 CPU 101は 、再生フラグ領域が 0か否かを判定する（ステップ S709)。再生フラグ領域が 0である 場合 (ステップ S709 ;Yes)、当該音声情報は非同期音声情報であるから、 CPU 1 01は、音声処理部 110に当該非同期音声情報を渡す (ステップ S710)。これにより、 非同期音声情報が内部バッファ 411に追加され、音声処理部 110は、適切な順で音 声情報を音声出力する。
したがって、音声処理部 110は、 CPU 101の制御の下、音声出力部 404として機 會することとなる。
そして、ゲームが終了したか否かを判定し (ステップ S712)、終了していれば (ステ ップ S712 ; Yes)、本処理を完了し、そうでなければ (ステップ S712 ;No)、ステップ S 703に戻る。 [0135] 一方、再生フラグ領域が非 0である場合 (ステップ S709 ; No)、 CPU 101は、受 信側映像再生部 403の状態を問 、合わせて、再生して 、た受信側映像情報の再生 が完了して 、るか否かを調べる（ステップ S 711)。完了して!/、なければ (ステップ S71 1 ;No)、当該音声情報は同期音声情報であるから、 RAM 103に用意された外部 ノ ッファ 412に、キュー形式で当該同期音声情報を追加してバッファリングするように 指示を出し (ステップ S 713)、ステップ S 712に進む。
[0136] 一方、完了していれば (ステップ S711 ; Yes)、再生フラグ領域に 0を設定してから（ ステップ S714)、ステップ S712に進む。
[0137] 図 8は、受信側端末 401にて起動される第 2の受信処理の制御の流れを示すフロ 一チャートである。以下、本図を参照して説明する。
第 2の受信処理は、ステップ S706において、受信側映像情報の再生を開始させる 指示が出たこと、すなわち、再生フラグ領域が 0から 1に変化したことを契機として開 始される。そして、第 1の受信処理とは並行して実行される。
[0138] 第 2の受信処理が開始されると、 CPU 101は、受信側映像情報の再生が、実際 に開始されるまで待機する (ステップ S801)。したがって、本処理は、映像再生開始 により起動される割り込みによって開始されるようにしても良い。
[0139] ついで、音声処理部 110の内部バッファ 411をクリアする（ステップ S802)。これに より、再生準備に入っている非同期音声情報が用意されていたとしても、クリアされて 無視され、これらは音声出力されない。
[0140] さらに、 CPU 101は、外部バッファ 412に蓄積された同期音声情報を順次取り出 して、音声処理部 110に渡す (ステップ S803)。これにより、外部バッファ 412は一瞬 空になるとともに、音声処理部 110の内部バッファ 411には、外部ノ ッファ 412に蓄 積された同期音声情報が追加されることとなる。
[0141] さらに、 CPU 101は、適切な時間だけ、本処理にて待機して、他の処理を実行す る (ステップ S804)。ここで待機する時間は、送信側端末 301における処理時間単位 以下とすることが望ましい。なお、待機中には、たとえば第 1の受信処理等、本処理と 並行して実行される他の処理を実行することができる。
[0142] ついで、 CPU 101は、再生フラグ領域が 0であるか否かを調べる（ステップ S805) 、 0であれば (ステップ S805 ; Yes)、外部バッファ 412をクリアして（ステップ S806)、 本処理を終了する。
一方、 0でなければ (ステップ S805 ;No)、ステップ S803に戻る。
[0143] 上記のように、 CPU 101が受信側映像再生部 403に指示を出してから、実際に 受信側映像情報の再生が開始されるまでの時間間隔 (上記の説明では、「余裕時間 」と呼んでいる。）は、ゲームの種類によって、ハードウェア的な限界に基づくタイムラ グ長から、ソフトウェアの設定に基づく時間長まで、種々変化させることができる。
[0144] そこで、この余裕時間を、送信側端末 301における猶予時間より長くすると、受信側 端末 401で受信側映像情報の再生が開始されるのは、必殺技コマンドが成功した場 合に限られることになり、一旦受信側映像情報の再生が開始されると、これが途中で 中断されることはない。したがって、この場合は、送信側端末 301と受信側端末 401 における停止通知の処理をすベて省略することができる。
[0145] なお、 DVD— ROMドライブ 108および画像処理部 107に対して、現在の動画情 報のうち再生済の動画情報の時間はどれだけである力 (再生が行われたのは何フレ ームであるか)を問い合わせることが可能である。受信側映像情報の再生が開始され たか否かは、これらに対する問い合わせによって知得することが可能である。また、開 始通知が受信されて力 の時間を計測し、所定の余裕時間が経過したことをもって受 信側映像情報の再生が開始された、と認定することとしても良い。
[0146] また、余裕時間が長い場合等には、ステップ S802の前に、再生フラグ力^か否かの 判断を行い、 0であれば、ステップ S806に進む等の処理を行うこととしても良い。 また、この余裕時間を送信側端末 301における猶予時間以下や 0とすると、受信側 端末 401で受信側映像情報の再生が開始した後に、途中で中断されることがありうる 余裕時間としてどのような長さを選択するかは、通信ゲームの態様に応じて適宜選 択することができる。
[0147] なお、本出願では、 日本国特許出願 特願 2006— 047288号 を基礎とする優先 権を主張するものとし、指定国の国内法令が許す限り、当該基礎出願の内容を本願 に取り込むものとする。 産業上の利用可能性
以上説明したように、本発明によれば、プレイヤーが互いに発声により会話可能な 通信ゲームにおいて、一方のプレイヤーが映像情報に同期して発声した音声情報や 身振りを行った様子を撮影した動画情報などのマルチメディア情報を他方のプレイヤ 一の端末で映像情報に同期させて出力するのに好適な通信ゲームシステム、通信 ゲーム制御方法、これらをコンピュータにて実現するプログラムを記録したコンビユー タ読取可能な情報記録媒体、ならびに、当該プログラムを提供することができる。

Claims

請求の範囲
送信側端末 (301)と、受信側端末 (401)と、を有する通信ゲームシステム（201)で あって、
(a)前記送信側端末（301)は、
マルチメディア情報の入力を受け付けるマルチメディア情報入力受付部（302)、 所定の再生開始条件が満たされた場合、送信側映像情報の再生を開始する送信 側映像再生部（303)、
前記受信側端末 (401)へ、前記入力を受け付けられたマルチメディア情報を、当 該所定の再生開始条件が満たされてから当該送信側映像情報の再生が終了するま でに受け付けられたマルチメディア情報 (以下、「同期マルチメディア情報」という。 ) 力 そうでないマルチメディア情報 (以下、「非同期マルチメディア情報」という。）か、 を区別して、順次送信する送信部（304)
を備え、
(b)前記受信側端末 (401)は、
前記送信側端末 (301)カゝら順次送信されるマルチメディア情報を順次受信する受 信部 (402)、
前記受信部 (402)により受信されたマルチメディア情報について、所定の同期再 生開始条件が満たされると、受信側映像情報の再生を開始する受信側映像再生部 ( 403) ,
前記順次受信されるマルチメディア情報が、
(P)非同期マルチメディア情報である場合、当該非同期マルチメディア情報を順次 出力し、
(q)同期マルチメディア情報である場合、当該受信側映像情報の再生が開始され るまで当該同期マルチメディア情報をバッファリングして、当該受信側映像情報の再 生が開始されると当該バッファリングされた同期マルチメディア情報を順次出力する マルチメディア情報出力部 (404)
を備える
ことを特徴とする通信ゲームシステム（201)。 送信側端末 (301)と、受信側端末 (401)と、を有する通信ゲームシステムであって
(a)前記送信側端末（301)は、
ユーザ力ゝらの操作入力を受け付ける操作入力受付部（105)、
当該ユーザ力ゝらのマルチメディア情報の入力を受け付けるマルチメディア情報入力 受付部（302)、
前記受け付けられた操作入力が所定の開始操作入力であることを検知すると、送 信側映像情報の再生を開始する送信側映像再生部 (303)、
前記受信側端末 (401)へ、情報を順次送信する送信部であって、当該情報の種 類には、開始通知、マルチメディア情報、もしくは、終了通知が含まれ、
(r)前記受け付けられた操作入力が、所定の開始操作入力であることを検知すると 、その旨を示す開始通知を送信し、
(s)当該マルチメディア情報の入力が所定時間分受け付けられたことを検知すると 、当該検知ごとに、当該所定時間分のマルチメディア情報を送信し、
(t)当該送信側映像情報の再生が終了したことを検知すると、その旨を示す終了通 知を送信する
送信部（304)
を備え、
(b)前記受信側端末 (401)は、
前記送信側端末 (301)から順次送信される情報を順次受信する受信部 (402)、 前記受信部 (402)により受信された情報が、当該開始通知であることを検知すると 、当該検知力 所定の余裕時間経過後に当該送信側映像情報に対応付けられる受 信側映像情報の再生を開始する受信側映像再生部 (403)、
前記受信部 (402)により当該開始通知が受信されて力 当該終了通知が受信され るまでの間に順次受信されたマルチメディア情報を同期マルチメディア情報と判定し 、それ以外の間に順次受信されたマルチメディア情報を非同期マルチメディア情報と 判定し、前記順次受信された情報のそれぞれが、
(P)非同期マルチメディア情報であると判定されると、当該非同期マルチメディア情 報を順次出力し、
(q)同期マルチメディア情報であると判定されると、当該同期マルチメディア情報を 、当該所定余裕時間以上の長さをバッファリングできるノ ッファ領域にバッファリング して、当該受信側映像情報の再生が開始されてから、当該バッファリングされた同期 マルチメディア情報を順次出力する
マルチメディア情報出力部 (404)
を備える
ことを特徴とする通信ゲームシステム。
[3] 請求項 2に記載の通信ゲームシステムであって、
(c)前記送信側端末 (301)にお 、て、前記送信部（304)が送信する情報の種類に は、再生停止情報がさらに含まれ、
(X)前記送信側映像再生部 (303)は、所定の再生停止条件が満たされたことを 検知すると、当該送信側映像情報の再生を停止して、当該再生を終了させ、
(y)前記送信部 (304)は、当該所定の再生停止条件が満たされたことを検知する と、前記受信側端末 (401)へ、その旨を示す再生停止情報を送信し、
(d)前記受信側端末 (401)において、前記マルチメディア情報出力部 (404)は、前 記受信部 (402)により受信された情報が、当該再生停止情報であることを検知すると 、当該バッファリングされた同期マルチメディア情報を消去し、当該再生停止情報が 受信されてから当該終了通知が受信されるまでの間に順次受信されたマルチメディ ァ情報の出力を停止する
ことを特徴とする通信ゲームシステム。
[4] 請求項 3に記載の通信ゲームシステムであって、
前記送信側端末 (301)において、当該所定の再生停止条件が満たされるのは、当 該所定の再生開始条件が満たされて力 所定の猶予時間内に前記受け付けられた 操作入力力 所定の操作入力パターンにマッチしない場合である
ことを特徴とする通信ゲームシステム。
[5] 請求項 2に記載の通信ゲームシステムであって、
前記送信側端末 (301)において、当該所定の再生停止条件が満たされるのは、当 該所定の再生開始条件が満たされて力 所定の猶予時間内に前記入力を受け付け られたマルチメディア情報力 所定のマルチメディア的特性を満たさな ヽ場合である ことを特徴とする通信ゲームシステム。
[6] 請求項 4または 5に記載の通信ゲームシステムであって、
前記受信側端末 (401)において、前記マルチメディア情報出力部 (404)は、当該 同期マルチメディア情報を、当該所定の猶予時間よりも長い時間分だけバッファリン グする
ことを特徴とする通信ゲームシステム。
[7] 送信側端末 (301)と、受信側端末 (401)と、において実行される通信ゲーム制御 方法であって、
(a)前記送信側端末（301)にお 、て、
ユーザからの操作入力を受け付ける操作入力受付工程、
当該ユーザ力ゝらのマルチメディア情報の入力を受け付けるマルチメディア情報入力 受付工程、
前記受け付けられた操作入力が所定の開始操作入力であることを検知すると、送 信側映像情報の再生を開始する送信側映像再生工程、
前記受信側端末 (401)へ、情報を順次送信する送信工程であって、当該情報の 種類には、開始通知、マルチメディア情報、もしくは、終了通知が含まれ、
(r)前記受け付けられた操作入力が、所定の開始操作入力であることを検知すると 、その旨を示す開始通知を送信し、
(s)当該マルチメディア情報の入力が所定時間分受け付けられたことを検知すると 、当該検知ごとに、当該所定時間分のマルチメディア情報を送信し、
(t)当該送信側映像情報の再生が終了したことを検知すると、その旨を示す終了通 知を送信する
送信工程
を備え、
(b)前記受信側端末 (401)において、
前記送信側端末 (301)カゝら順次送信される情報を順次受信する受信工程、 前記受信工程にて受信された情報が、当該開始通知であることを検知すると、当該 検知力 所定の余裕時間経過後に当該送信側映像情報に対応付けられる受信側 映像情報の再生を開始する受信側映像再生工程、
前記受信工程にて当該開始通知が受信されて力 当該終了通知が受信されるま での間に順次受信されたマルチメディア情報を同期マルチメディア情報と判定し、そ れ以外の間に順次受信されたマルチメディア情報を非同期マルチメディア情報と判 定し、前記順次受信された情報のそれぞれが、
(P)非同期マルチメディア情報であると判定されると、当該非同期マルチメディア情 報を順次出力し、
(q)同期マルチメディア情報であると判定されると、当該同期マルチメディア情報を 、当該所定余裕時間以上の長さをバッファリングできるノ ッファ領域にバッファリング して、当該受信側映像情報の再生が開始されてから、当該バッファリングされた同期 マルチメディア情報を順次出力する
マルチメディア情報出力工程
を備える
ことを特徴とする通信ゲーム制御方法。
第 1のコンピュータを送信側端末 (301)として、第 2のコンピュータを受信側端末 (4 01)として、それぞれ機能させるプログラムであって、
(a)前記プログラムは、当該第 1のコンピュータを、
ユーザ力ゝらの操作入力を受け付ける操作入力受付部（105)、
当該ユーザ力ゝらのマルチメディア情報の入力を受け付けるマルチメディア情報入力 受付部（302)、
前記受け付けられた操作入力が所定の開始操作入力であることを検知すると、送 信側映像情報の再生を開始する送信側映像再生部 (303)、
前記受信側端末 (401)へ、情報を順次送信する送信部（304)であって、当該情報 の種類には、開始通知、マルチメディア情報、もしくは、終了通知が含まれ、
(r)前記受け付けられた操作入力が、所定の開始操作入力であることを検知すると 、その旨を示す開始通知を送信し、 (s)当該マルチメディア情報の入力が所定時間分受け付けられたことを検知すると
、当該検知ごとに、当該所定時間分のマルチメディア情報を送信し、
(t)当該送信側映像情報の再生が終了したことを検知すると、その旨を示す終了通 知を送信する
送信部（304)
として機能させ、
(b)前記プログラムは、当該第 2のコンピュータを、
前記送信側端末 (301)から順次送信される情報を順次受信する受信部 (402)、 前記受信部 (402)により受信された情報が、当該開始通知であることを検知すると 、当該検知力 所定の余裕時間経過後に当該送信側映像情報に対応付けられる受 信側映像情報の再生を開始する受信側映像再生部 (403)、
前記受信部 (402)により当該開始通知が受信されて力 当該終了通知が受信され るまでの間に順次受信されたマルチメディア情報を同期マルチメディア情報と判定し 、それ以外の間に順次受信されたマルチメディア情報を非同期マルチメディア情報と 判定し、前記順次受信された情報のそれぞれが、
(P)非同期マルチメディア情報であると判定されると、当該非同期マルチメディア情 報を順次出力し、
(q)同期マルチメディア情報であると判定されると、当該同期マルチメディア情報を 、当該所定余裕時間以上の長さをバッファリングできるノ ッファ領域にバッファリング して、当該受信側映像情報の再生が開始されてから、当該バッファリングされた同期 マルチメディア情報を順次出力する
マルチメディア情報出力部 (404)
として機能させる
ことを特徴とするプログラムを記録したコンピュータ読取可能な情報記録媒体。 第 1のコンピュータを送信側端末 (301)として、第 2のコンピュータを受信側端末 (4
01)として、それぞれ機能させるプログラムであって、
(a)前記プログラムは、当該第 1のコンピュータを、
ユーザ力ゝらの操作入力を受け付ける操作入力受付部（105)、 当該ユーザ力ゝらのマルチメディア情報の入力を受け付けるマルチメディア情報入力 受付部（302)、
前記受け付けられた操作入力が所定の開始操作入力であることを検知すると、送 信側映像情報の再生を開始する送信側映像再生部 (303)、
前記受信側端末 (401)へ、情報を順次送信する送信部（304)であって、当該情報 の種類には、開始通知、マルチメディア情報、もしくは、終了通知が含まれ、
(r)前記受け付けられた操作入力が、所定の開始操作入力であることを検知すると 、その旨を示す開始通知を送信し、
(s)当該マルチメディア情報の入力が所定時間分受け付けられたことを検知すると 、当該検知ごとに、当該所定時間分のマルチメディア情報を送信し、
(t)当該送信側映像情報の再生が終了したことを検知すると、その旨を示す終了通 知を送信する
送信部（304)
として機能させ、
(b)前記プログラムは、当該第 2のコンピュータを、
前記送信側端末 (301)から順次送信される情報を順次受信する受信部 (402)、 前記受信部 (402)により受信された情報が、当該開始通知であることを検知すると 、当該検知力 所定の余裕時間経過後に当該送信側映像情報に対応付けられる受 信側映像情報の再生を開始する受信側映像再生部 (403)、
前記受信部 (402)により当該開始通知が受信されて力 当該終了通知が受信され るまでの間に順次受信されたマルチメディア情報を同期マルチメディア情報と判定し 、それ以外の間に順次受信されたマルチメディア情報を非同期マルチメディア情報と 判定し、前記順次受信された情報のそれぞれが、
(P)非同期マルチメディア情報であると判定されると、当該非同期マルチメディア情 報を順次出力し、
(q)同期マルチメディア情報であると判定されると、当該同期マルチメディア情報を 、当該所定余裕時間以上の長さをバッファリングできるノ ッファ領域にバッファリング して、当該受信側映像情報の再生が開始されてから、当該バッファリングされた同期 マルチメディア情報を順次出力する マルチメディア情報出力部 (404) として機能させる
ことを特徴とするプログラム。
PCT/JP2007/053218 2006-02-23 2007-02-21 通信ゲームシステム、通信ゲーム制御方法、情報記録媒体、ならびに、プログラム WO2007097371A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP07714718A EP1994970A4 (en) 2006-02-23 2007-02-21 COMMUNICATION GAME SYSTEM, COMMUNICATION GAME CONTROL PROCEDURE, INFORMATION RECORDING MEDIUM AND PROGRAM
US12/280,423 US20090054156A1 (en) 2006-02-23 2007-02-21 Communication Game System, Communication Game Control Method, Information Recording Medium, and Program
CN2007800066223A CN101389385B (zh) 2006-02-23 2007-02-21 通信游戏系统和通信游戏控制方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2006-047288 2006-02-23
JP2006047288A JP3920904B1 (ja) 2006-02-23 2006-02-23 通信ゲームシステム、通信ゲーム制御方法、ならびに、プログラム

Publications (1)

Publication Number Publication Date
WO2007097371A1 true WO2007097371A1 (ja) 2007-08-30

Family

ID=38156656

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2007/053218 WO2007097371A1 (ja) 2006-02-23 2007-02-21 通信ゲームシステム、通信ゲーム制御方法、情報記録媒体、ならびに、プログラム

Country Status (7)

Country Link
US (1) US20090054156A1 (ja)
EP (1) EP1994970A4 (ja)
JP (1) JP3920904B1 (ja)
KR (1) KR101006626B1 (ja)
CN (1) CN101389385B (ja)
TW (1) TWI323672B (ja)
WO (1) WO2007097371A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3081272A1 (en) * 2007-12-21 2016-10-19 Dolby Laboratories Licensing Corporation Asynchronous audio for networked games

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2008129843A1 (ja) * 2007-03-27 2010-07-22 新世代株式会社 タイミング制御装置、情報処理装置及び動作指示装置
WO2009057186A1 (ja) * 2007-10-29 2009-05-07 Osaka Electro-Communication University チャットシステム、ゲームシステム、コンピュータプログラム、コンピュータプログラムが記録された記録媒体及びチャット処理方法
CN101459741A (zh) * 2007-12-13 2009-06-17 鸿富锦精密工业（深圳）有限公司 多媒体终端器及其处理电话留言的方法
TWI405601B (zh) * 2009-11-24 2013-08-21 Univ Lunghwa Sci & Technology 非即時網路遊戲協定
US9520014B1 (en) 2011-01-03 2016-12-13 Bally Gaming, Inc. Synchronizing soundtracks across wagering game machines
JP5784211B1 (ja) * 2014-12-19 2015-09-24 株式会社Ｃｙｇａｍｅｓ 情報処理プログラムおよび情報処理方法
JP6675692B2 (ja) 2018-02-19 2020-04-01 株式会社コナミデジタルエンタテインメント ゲームシステム、ゲーム端末、及びプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1133230A (ja) * 1997-07-16 1999-02-09 Sega Enterp Ltd 通信ゲームシステム
JP2006004486A (ja) * 2004-06-16 2006-01-05 Toshiba Corp 情報記録媒体及び情報再生装置
JP2006047288A (ja) 2004-07-30 2006-02-16 Kofukin Seimitsu Kogyo (Shenzhen) Yugenkoshi 真空計

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0758832A (ja) * 1993-08-17 1995-03-03 Canon Inc 電話端末
US5689641A (en) * 1993-10-01 1997-11-18 Vicor, Inc. Multimedia collaboration system arrangement for routing compressed AV signal through a participant site without decompressing the AV signal
JPH09284357A (ja) * 1996-04-11 1997-10-31 Sega Enterp Ltd リアルタイム通信システム
US6042477A (en) * 1996-12-12 2000-03-28 Addink; Dale H. Method of and system for minimizing the effects of time latency in multiplayer electronic games played on interconnected computers
JPH11154240A (ja) * 1997-11-20 1999-06-08 Nintendo Co Ltd 取込み画像を用いて画像を作成するための画像作成装置
US6241612B1 (en) * 1998-11-09 2001-06-05 Cirrus Logic, Inc. Voice communication during a multi-player game
US7445550B2 (en) * 2000-02-22 2008-11-04 Creative Kingdoms, Llc Magical wand and interactive play experience
US7177402B2 (en) * 2001-03-01 2007-02-13 Applied Voice & Speech Technologies, Inc. Voice-activated interactive multimedia information processing system
WO2003013679A1 (en) * 2001-08-03 2003-02-20 Nokia Corporation A method, system and terminal for synchronising a plurality of terminals
WO2003019917A2 (en) * 2001-08-28 2003-03-06 Zow Ltd. Method and system of caller interaction with an entertainment system over a voice network
US20040058732A1 (en) * 2002-06-14 2004-03-25 Piccionelli Gregory A. Method, system and apparatus for location based gaming
US8458028B2 (en) * 2002-10-16 2013-06-04 Barbaro Technologies System and method for integrating business-related content into an electronic game
US20040230695A1 (en) * 2003-05-15 2004-11-18 Anschutz Thomas Arnold Methods, systems, and computer program products for processing traffic in a communication network based on registration of an access session and/or application flow and specifying a treatment for the access session and/or application flow traffic
US7019752B1 (en) * 2003-06-04 2006-03-28 Apple Computer, Inc. Method and apparatus for frame buffer management
JP4206332B2 (ja) * 2003-09-12 2009-01-07 株式会社バンダイナムコゲームス 入力装置、ゲームシステム、プログラムおよび情報記憶媒体
US8930561B2 (en) * 2003-09-15 2015-01-06 Sony Computer Entertainment America Llc Addition of supplemental multimedia content and interactive capability at the client
JP2006000448A (ja) 2004-06-18 2006-01-05 Accessory Marutaka:Kk 携帯品へのストラップ取り付け具及びストラップ取り付け方法
US7853249B2 (en) * 2005-04-27 2010-12-14 Regnier Patrice M Systems and methods for choreographing movement
US8726194B2 (en) * 2007-07-27 2014-05-13 Qualcomm Incorporated Item selection using enhanced control
US8874661B2 (en) * 2008-08-07 2014-10-28 Microsoft Corporation Method and system providing spectator information for a multimedia application
US20100041479A1 (en) * 2008-08-15 2010-02-18 Wei Hsu Voice command game controlling apparatus and method of the same
US8177643B2 (en) * 2008-12-05 2012-05-15 Microsoft Corporation Out-of-band voice communication with interactive voice response services during gameplay
US8333659B2 (en) * 2009-09-30 2012-12-18 Zynga Inc. Apparatuses, methods and systems for a live online game tester
US20120100900A1 (en) * 2010-10-21 2012-04-26 Aibelive Co., Ltd Method for operating a mobile device to control a main Unit in playing a video game
US20120225703A1 (en) * 2010-10-21 2012-09-06 Aibelive Co., Ltd Method for playing a video game on a mobile device
JP5829040B2 (ja) * 2011-04-11 2015-12-09 任天堂株式会社 ゲームシステム、ゲーム装置、ゲームプログラム、および画像生成方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1133230A (ja) * 1997-07-16 1999-02-09 Sega Enterp Ltd 通信ゲームシステム
JP2006004486A (ja) * 2004-06-16 2006-01-05 Toshiba Corp 情報記録媒体及び情報再生装置
JP2006047288A (ja) 2004-07-30 2006-02-16 Kofukin Seimitsu Kogyo (Shenzhen) Yugenkoshi 真空計

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
OSAWA H.: "Internet Streaming -Gijutsu Riyo Jirei 2005 Nen eno Kitai-", KYORITSU SHUPPAN CO., LTD., vol. 1ST ED., 15 July 2000 (2000-07-15), XP003017252 *
See also references of EP1994970A4

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3081272A1 (en) * 2007-12-21 2016-10-19 Dolby Laboratories Licensing Corporation Asynchronous audio for networked games

Also Published As

Publication number Publication date
EP1994970A4 (en) 2009-06-03
JP3920904B1 (ja) 2007-05-30
US20090054156A1 (en) 2009-02-26
KR20080069707A (ko) 2008-07-28
EP1994970A1 (en) 2008-11-26
KR101006626B1 (ko) 2011-01-07
CN101389385A (zh) 2009-03-18
TWI323672B (en) 2010-04-21
JP2007222411A (ja) 2007-09-06
CN101389385B (zh) 2012-05-09
TW200738310A (en) 2007-10-16

Similar Documents

Publication Publication Date Title
JP3920904B1 (ja) 通信ゲームシステム、通信ゲーム制御方法、ならびに、プログラム
JP3963927B1 (ja) ゲームシステム、ゲーム制御方法、ならびに、プログラム
US10092834B2 (en) Dynamic allocation of rendering resources in a cloud gaming system
US8128497B2 (en) Game machine, game machine control method, information recording medium, and program
WO2007111225A1 (ja) ゲーム装置、ゲーム処理方法、情報記録媒体、ならびに、プログラム
JP2007259888A (ja) 音声処理装置、音声処理方法、ならびに、プログラム
KR100952095B1 (ko) 게임 장치, 게임 장치의 제어 방법 및 정보 기억 매체
JP5307048B2 (ja) ゲーム装置、ゲームシステム、ゲーム処理方法、ならびに、プログラム
JP3965111B2 (ja) 画像生成システム、プログラム及び情報記憶媒体
US7395208B2 (en) Integrating external voices
TW201029713A (en) Game device, game processing method, information storage medium, and program
JP2010110524A (ja) ゲームシステム、ゲーム装置、ゲーム制御方法、ならびに、プログラム
JP5462820B2 (ja) ゲーム装置、ゲーム装置の制御方法、ならびに、プログラム
JP2000000377A (ja) 音声入力式ヒューマンインタフェースに特徴を有するビデオゲーム機およびプログラム記録媒体
JP2012040055A (ja) ゲームシステム、ゲーム装置、ゲーム処理方法、ならびに、プログラム
JP5519600B2 (ja) ゲーム端末、ゲームシステム、ならびに、プログラム
JP5535127B2 (ja) ゲーム装置、ならびに、プログラム
TW201103613A (en) Terminal device, method for controlling terminal device, information recording medium, and program
JP2018027215A (ja) ゲームプログラム及びゲームシステム
JP6133567B2 (ja) ゲームシステム、ゲーム装置、ゲームプログラム、およびゲーム処理制御方法
JP2022125598A (ja) ゲームシステム及びプログラム
JP2022125665A (ja) 音声再生プログラムおよび音声再生装置
JP2002346208A (ja) 画像生成システム、プログラム及び情報記憶媒体
JP2020014533A (ja) ゲームプログラムならびにゲーム装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 1020087015125

Country of ref document: KR

WWE Wipo information: entry into national phase

Ref document number: 2007714718

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 12280423

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 200780006622.3

Country of ref document: CN

NENP Non-entry into the national phase

Ref country code: DE