WO2005029414A1 - ３次元仮想空間シミュレータ、３次元仮想空間シミュレーションプログラム、およびこれを記録したコンピュータ読み取り可能な記録媒体 - Google Patents

３次元仮想空間シミュレータ、３次元仮想空間シミュレーションプログラム、およびこれを記録したコンピュータ読み取り可能な記録媒体 Download PDF

Info

Publication number
WO2005029414A1
WO2005029414A1 PCT/JP2004/009973 JP2004009973W WO2005029414A1 WO 2005029414 A1 WO2005029414 A1 WO 2005029414A1 JP 2004009973 W JP2004009973 W JP 2004009973W WO 2005029414 A1 WO2005029414 A1 WO 2005029414A1
Authority
WO
WIPO (PCT)
Prior art keywords
virtual space
agent
operation instruction
avatar
simulator
Prior art date
Application number
PCT/JP2004/009973
Other languages
English (en)
French (fr)
Inventor
Hideyuki Nakanishi
Toru Ishida
Original Assignee
Japan Science And Technology Agency
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Japan Science And Technology Agency filed Critical Japan Science And Technology Agency
Priority to CA002538957A priority Critical patent/CA2538957C/en
Priority to EP04747439A priority patent/EP1669932A4/en
Priority to US10/572,060 priority patent/US20070075993A1/en
Publication of WO2005029414A1 publication Critical patent/WO2005029414A1/ja

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/424—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving acoustic input signals, e.g. by using the results of pitch or rhythm extraction or voice recognition
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/85—Providing additional services to players
    • A63F13/87—Communicating with other players during game play, e.g. by e-mail or chat
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/50—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers
    • A63F2300/55—Details of game data or player data management
    • A63F2300/5546—Details of game data or player data management using player registration data, e.g. identification, account, preferences, game history
    • A63F2300/5553—Details of game data or player data management using player registration data, e.g. identification, account, preferences, game history user representation in the game field, e.g. avatar
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/50—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers
    • A63F2300/57—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers details of game services offered to the player
    • A63F2300/572—Communication between players during game play of non game information, e.g. e-mail, chat, file transfer, streaming of audio and streaming of video
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/66—Methods for processing data by generating or executing the game program for rendering three dimensional images
    • A63F2300/6607—Methods for processing data by generating or executing the game program for rendering three dimensional images for animating game characters, e.g. skeleton kinematics
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8082—Virtual reality

Definitions

  • 3D virtual space simulator 3D virtual space simulation program, and computer-readable recording medium recording the same
  • the present invention relates to a 3D virtual space simulator, a 3D virtual space simulation program for displaying a virtual space in which a plurality of characters appear as 3D images, and a computer readable recording medium on which the 3D virtual space simulation program is recorded.
  • 3D virtual space simulator As a 3D virtual space simulator, for example, a client computer obtains 3D graphic data stored in a WWW (World Wide Web) server and described in VRML (Virtual Reality Modeling Language) language via a network. It is known to display a virtual space composed of three-dimensional images on the display device of the client computer.
  • WWW World Wide Web
  • VRML Virtual Reality Modeling Language
  • a three-dimensional image can accurately represent the same three-dimensional effect and perspective as when a human visually observes the real world. Therefore, by using the 3D virtual space simulator that displays the virtual space with 3D images, the user can experience a realistic simulation.
  • Such 3D virtual space simulators are applied to landscape simulation and disaster simulation as well as entertainment such as chat and video games.
  • a plurality of characters appear in a virtual space displayed in a three-dimensional virtual space simulator.
  • a character that moves in response to a user input in a virtual space displayed in a three-dimensional virtual space simulator is referred to as an “Avatar”, while an autonomously moving character. Is called “Agent”.
  • Avatar a character that moves in response to a user input in a virtual space displayed in a three-dimensional virtual space simulator
  • Agent an autonomously moving character.
  • users can experience virtual reality mainly through the avatar's viewpoint.
  • the virtual space displayed by simulation is based on an in-depth story. It is also feasible to let the user experience role-playing, and to educate and train the user through this experience.
  • C> W. Swart out et. Al. International Conference on Autonomous Agents, pp. 409-416, 2001.
  • the present invention has been made in view of the above-described problems, and its purpose is to provide a user in a three-dimensional virtual space simulation, particularly a large-scale three-dimensional virtual space simulation in which a large number of characters appear.
  • Flexible participation form, high realism and reliability It is an object of the present invention to provide a 3D virtual space simulator, a 3D virtual space simulation program, and a computer-readable recording medium that records the 3D virtual space simulation program.
  • a 3D virtual space simulator is a 3D virtual space simulator that displays a virtual space in which a plurality of characters composed of avatars and agents appear as a 3D image.
  • the action of the avatar is determined based on user input, and the action of the avatar is instructed to generate action instruction data indicating the contents of the avatar, and the action of the agent is determined autonomously.
  • Agent action instruction means for generating instruction data; and character display means for displaying each character in the virtual space based on action instruction data received from the avatar action instruction means and the agent action instruction means;
  • the character display means includes an interface for receiving action instruction data from the avatar action instruction means. It is characterized in that it is a common and an interface for receiving an operation instruction data from the agent action instruction means.
  • the character display means displays a specific character in the virtual space as the avatar or the agent, and the avatar motion instruction means
  • the agent operation instruction means can be switched from which operation instruction data is received.
  • the 3D virtual space simulator includes a plurality of computers connected via a network, and displays the 3D image by sharing the virtual space. .
  • the three-dimensional virtual space simulator according to the present invention is characterized by simulating an evacuation state when a disaster occurs in the virtual space.
  • the three-dimensional virtual space simulation program displays a virtual space in which a plurality of characters composed of an avatar and an agent appear as a three-dimensional image.
  • a three-dimensional virtual space simulation program that functions as a three-dimensional virtual space simulator, the computer operating the avatar The action is determined based on the user's input, and the operation instruction data indicating the contents is generated, and the agent that autonomously determines the action of the agent and generates the action instruction data indicating the contents
  • the character display means functions as character display means for displaying each character in the virtual space.
  • the interface that receives the operation instruction data from the avatar operation instruction means and the interface that receives the operation instruction data from the agent operation instruction means are shared.
  • the three-dimensional virtual space simulation program has a plurality of computers connected via a network and a plurality of characters composed of an avatar and an agent appear.
  • a three-dimensional virtual space simulation program that functions as a three-dimensional virtual space simulator that shares a virtual space and displays it as a three-dimensional image, wherein the plurality of computers are determined based on user input.
  • the character display means includes an interface for receiving action instruction data from the avatar action instruction means, and an interface for receiving action instruction data from the agent action instruction means And is common.
  • a computer-readable recording medium records the three-dimensional virtual space simulation program.
  • the three-dimensional virtual space simulator determines an avatar action based on a user input, generates an action instruction data indicating the contents, and an agent Based on the action instruction data that autonomously determines the action and generates action instruction data indicating the contents, and the action instruction data received from the avatar action instruction means and the agent action instruction means, Character display means for displaying in the virtual space, and the character display means has a common interface for receiving operation instruction data from the avatar operation instruction means and an interface for receiving operation instruction data from the agent operation instruction means. It is the composition that is.
  • the character display means displays a specific character in the virtual space as the avatar or the agent, and the avatar motion instruction means
  • the agent operation instruction means can be switched from which operation instruction data is received.
  • the character display means can flexibly change a specific character in the virtual space between the avatar and the agent by switching the two interfaces. For example, it is possible to switch the avatar where the user inputs the operation instruction to an agent or switch a specific agent to an avatar.
  • a three-dimensional virtual space simulation program comprises: an avatar operation instruction means for determining an avatar operation based on a user input and generating operation instruction data indicating the contents of the computer; and an agent operation Based on the action instruction data received from the agent action instruction means and the agent action instruction means, the agent action instruction means for autonomously determining and generating action instruction data indicating the contents thereof.
  • the character display means includes an interface for receiving action instruction data from the avatar action instruction means, and an interface for receiving action instruction data from the agent action instruction means. Is a common configuration.
  • a computer-readable recording medium records the three-dimensional virtual space simulation program. This is the configuration.
  • the three-dimensional virtual space simulator includes a plurality of computers connected via a network, shares the virtual space, and displays a three-dimensional image.
  • a plurality of users can participate in the simulation at the same time through different computers connected via the network, so that the user can flexibly participate in the simulation.
  • users in remote locations can participate in the simulation at the same time to communicate and share experiences in the virtual space.
  • an unspecified number of users can participate in the simulation at any timing according to their convenience.
  • the three-dimensional virtual space simulation program determines a plurality of computers connected via a network based on a user input based on an action of an avatar, and determines the contents.
  • An avatar operation instruction means for generating operation instruction data to be indicated; an agent operation instruction means for autonomously determining the operation of the agent and generating operation instruction data indicating the contents thereof; the avatar operation instruction means and the agent operation;
  • the character display means functions as a character display means for displaying each character in the virtual space, and the character display means has an interface for receiving action instruction data from the avatar action instruction means.
  • the interface for receiving operation instruction data from the agent operation instruction means It is a configuration over the scan and is that has become common.
  • a computer-readable recording medium according to the present invention has a configuration in which the three-dimensional virtual space simulation program is recorded.
  • the three-dimensional virtual space simulator according to the present invention is configured to simulate an evacuation state when a disaster occurs in the virtual space.
  • FIG. 1 is a block diagram showing a schematic configuration of a 3D virtual space simulator system according to an embodiment of the present invention.
  • FIG. 2 is an external view showing a state where a user operates a simulator.
  • FIG. 3 is a diagram showing a screen example when a 3D virtual space is displayed on the image display unit of the 3D virtual space simulator.
  • FIG. 4 is a schematic diagram showing a character represented as a combination of polygons at 16 joints.
  • FIG. 5 is a conceptual diagram illustrating a processing flow of a processing control unit and a graphic processing unit in the 3D virtual space simulator.
  • FIG. 6 is a block diagram illustrating the exchange of operation instruction data and agent state information data between the agent operation instruction unit, the process control unit, and the graphic processing unit.
  • FIG. 7 is a conceptual diagram showing a state in which multiple simulators share updated VRML data.
  • FIG. 8 is a conceptual diagram showing a subject who gives a motion instruction to a character included in VRML data in the shared mode.
  • FIG. 9 is a block diagram showing an example of a method for transmitting and receiving voice data and text data between simulators in a shared mode.
  • FIG. 10 is a diagram showing a screen example in which a virtual space is three-dimensionally displayed on the image display unit of each simulator.
  • FIG. 11 is a diagram showing an example of a screen in which the same scene as FIG. 10 is displayed in a three-dimensional state as viewed from an upward viewpoint.
  • a three-dimensional virtual space simulator system (three-dimensional virtual space simulator) 100 according to an embodiment of the present invention will be described below with reference to Figs.
  • FIG. 1 is a block diagram showing a schematic configuration of the 3D virtual space simulator system 100.
  • the 3D virtual space simulator system 100 includes simulators (3D virtual space simulators) 1, 2, 3,... Connected to each other via a network 4. is there.
  • Each of simulators 1, 2, 3,... Is composed of a commercially available graphic workstation or personal computer, and has the same internal configuration.
  • FIG. 1 only the internal configuration of the simulator 1 is illustrated, and the internal configuration of the simulators 2, 3,.
  • the simulators 1, 2, 3,... Can communicate data with each other via the network 4.
  • the type of network 4 is not particularly limited.
  • intranet, extranet, LAN, ISDN, VAN, CATV communication network, virtual private network, telephone line network, Mobile communication network, satellite communication network, etc. are available is there.
  • the transmission medium constituting the network 4 is not particularly limited.
  • IEEE 1394, USB, power line carrier, cable TV line, telephone line, ADSL line, etc. , Bluetooth (registered trademark), 802.11 wireless, HDR, mobile phone network, satellite line, terrestrial digital network, etc. may be used.
  • Simulator 1 includes communication processing unit 10, processing control unit 11, instruction input unit 12, avatar operation instruction unit 13, agent operation instruction unit 14, storage unit 15, voice input / output unit 16, graphic processing unit 17, image display unit 18 is provided.
  • the communication processing unit 10 is a communication interface that connects the network 4 and the simulator 1 and includes various communication interfaces and communication circuits. Communication processing unit
  • the communication processing unit 10 communicates with external devices using any protocol such as TCPZIP or UDPZIP. Further, the communication processing unit 10 may have various data compression / decompression functions in addition to the data communication function. All the data sent and received by simulator 1 is transmitted and received between communication processing unit 10 and processing control unit 11.
  • the processing control unit (character display means) 11 is a functional block that integrally controls the operation of each component of the simulator 1 and the exchange of data between these components.
  • the processing control unit 11 controls and controls each functional block described later, and also controls a user login process, a logout process, and the like.
  • the instruction input unit 12 is an input interface of the simulator 1 including a keyboard and a mouse, and the simulator 1 is configured to accept input of various instructions including an avatar operation instruction from the user. .
  • the instruction input unit 12 preferably includes various direction input devices such as a cursor key and an analog joystick.
  • the instruction input unit 12 generates instruction input data corresponding to the instruction input received from the user.
  • the instruction input unit 12 transmits instruction input data related to the avatar operation among the generated instruction input data to the avatar operation instruction unit 13, while transmitting other instruction input data directly to the processing control unit 11.
  • the avatar operation instructing unit (avatar operation instructing means) 13 determines the avatar operation in the virtual space based on the instruction input data related to the avatar operation received from the instruction input unit 12, and indicates the contents thereof. It is a functional block for generating operation instruction data.
  • the avatar operation instruction unit 13 transmits the generated operation instruction data to the process control unit 11.
  • the operation instruction data output from the avatar operation instruction unit 13 is recorded in the buffer memory and read out to the buffer memory power processing control unit 11 and the graphic processing unit 17.
  • the status information data of the avatar generated and output by the processing control unit 11 and the graphic processing unit 17 is recorded in the buffer memory, and is read from the buffer memory to the avatar operation instruction unit 13.
  • the agent operation instruction unit (agent operation instruction means) 14 is a function block that autonomously determines an agent operation in the virtual space and generates operation instruction data indicating the contents.
  • the agent operation instruction unit 14 transmits the generated operation instruction data to the processing processing unit 11.
  • the agent operation instruction unit 14 and the processing control unit 11 and the dynamic processing unit 17
  • the operation instruction data generated by the agent operation instruction unit 14 and the operation instruction data are transmitted via a buffer memory (not shown). Based on the data, the state information data of the agent generated and updated by the processing control unit 11 and the graphic processing unit 17 is exchanged. The method by which the agent operation instruction unit 14 autonomously determines the agent operation will be described later.
  • the storage unit 15 is a data recording device that records data in various semiconductor memories and recording media.
  • Recording media on which the storage unit 15 records data include, for example, tape systems such as magnetic tape and force set tape, disk systems including magnetic disks such as floppy (registered trademark) disks / hard disks and optical disks such as M0 / MDZDVDZCD_R.
  • IC cards including memory cards
  • card systems such as optical cards can be used.
  • the processing control unit 11 stores all data related to the three-dimensional virtual space simulation in the storage unit 15 and appropriately reads out.
  • Examples of data related to the above three-dimensional virtual space simulation include data received from an external device via the communication processing unit 10, instruction input data received from the instruction input unit 12, and operation instructions received from the avatar operation instruction unit 13.
  • the voice input / output unit 16 is a voice input / output device for the simulator 1 to output voice to the user and accept voice input from the user.
  • the voice input / output unit 16 includes a voice output device such as a headphone and a speaker, and a voice input device such as a headset microphone and a fixed microphone.
  • the voice input / output unit 16 outputs voice based on the voice data received from the process control unit 11, while transmitting voice data input from the user to the process control unit 11.
  • it is preferable that the sound input / output through the sound input / output unit 16 is performed in stereo sound.
  • the graphic processing unit (character display means) 17 generates and updates VRML data that describes a three-dimensional image of the virtual space based on an instruction from the processing control unit 11, and sets the virtual space in the image display unit 18. It is a functional block to be displayed as a dimensional image.
  • the graphic processing unit 17 treats data relating to a background image stationary in the virtual space as static object information of VRML data, while processing data relating to an image of a character operating in the virtual space to VRML data. It is handled as dynamic object information.
  • the graphic processing unit 17 handles, as camera object information of VRML data, information on which viewpoint, that is, the position and direction in which the virtual space is to be generated to generate a 3D image. Based on these object information, the graphic processing unit 17 generates VRML data of a three-dimensional image viewed from the viewpoint of a specific character (usually an avatar) in real time, and updates the VRML data in the storage unit 15.
  • the graphic processing unit 17 generates a video signal (animation data) for displaying a three- dimensional image of a street or a person in the virtual space based on the VRML data updated in the storage unit 15.
  • the video signal is output to the image display unit 18.
  • the static object information is information on a plurality of objects that are the basis of a static and motionless image and an image constituting a virtual space.
  • Static object information mainly consists of polygon data and graphics context data that make up each static object in the virtual space. Composed.
  • the dynamic object information is information on a character object that can move in the virtual space.
  • the dynamic object information mainly includes coordinate data of polygon vertices constituting the objects of all characters (avatars and agents), polygon data, and graphics context data.
  • the camera object information is object information indicating which viewpoint in the virtual space, that is, the position and direction force should be used to generate a 3D image.
  • the camera object information mainly includes position vector information indicating the current position and orientation of the avatar in the virtual space, and line-of-sight vector information.
  • the image display unit (character display means) 18 is a display that displays a virtual space including a character as a three-dimensional image on the screen based on the video signal output from the graphic processing unit 17.
  • the image display unit 18 is composed of, for example, a liquid crystal display or a CRT.
  • Each functional block in the configuration of the simulator 1, in particular, the processing control unit 11, the avatar operation instruction unit 13, the agent operation instruction unit 14, and the graphic processing unit 17 may be configured by hardware logic. Alternatively, it may be realized by a program (software) using an arithmetic unit (CPU or MPU).
  • the simulator 1 includes the above-mentioned program stored in the semiconductor memory such as the storage unit 15 and ROM / mask ROM / EPROM / EEPROM / flash ROM in addition to the CPU that executes the instructions of the control program for realizing each function. Data, RAM (random access memory) that expands the above program, etc. are provided, and by these, each of the above functional blocks can be realized.
  • FIG. 2 is an external view showing a state in which the user operates the simulator 1. As shown in the figure, the user gives an instruction input to the simulator 1 by operating the instruction input unit 12 while confirming the sound displayed on the image display unit 18 and the sound output from the sound input / output unit 16. Participate in 3D virtual space simulation.
  • FIG. 3 is a diagram showing an example of a screen when a three-dimensional virtual space is displayed on the image display unit 18.
  • three characters appearing on the street are depicted in the virtual space.
  • a plurality of characters appear in a virtual space displayed in the three-dimensional virtual space simulator, and the characters are composed of an avatar that operates in response to a user input and an agent that operates autonomously. Therefore, the user gives an instruction to a specific avatar and experiences the virtual space through the avatar's viewpoint.
  • a user can give instructions to a specific avatar, walk in the virtual space, turn around, and talk to other avatar agents.
  • the screen example in FIG. 3 represents the virtual space viewed from the viewpoint of the avatar to which the user gives an instruction, and thus the avatar to which the user gives the instruction is not displayed.
  • the avatar to which the user gives an instruction may be displayed as appropriate according to the setting.
  • the operation control data received from the avatar operation instruction unit 13 and the operation instruction data received from the agent operation instruction unit 14 by the processing control unit 11 and the graphic processing unit 17 are configured in the same format.
  • the format of the operation instruction data for the avatar and the operation instruction data for the agent that is, the operation instruction interface is common.
  • the format of the motion instruction data includes, for example, data such as movement (walking) speed, angular speed of the entire body, angular speed of the head (line of sight), angular speed of the arm while pointing, and gesture type. Yes.
  • the avatar operation instruction unit 13 includes a correspondence table between user inputs and operation instruction data in order to generate the operation instruction data in the format based on the user input to the instruction input unit 12.
  • this correspondence table the contents of the operation instruction data to be generated are determined in advance according to the input to the instruction input unit 12 (the type of key pressed, etc.). Yes.
  • [Table 1] shows an example of correspondence between the input to the instruction input unit 12 (here, the type of pressed key) and the operation instruction data to be generated, which are defined in the correspondence table.
  • the agent operation instruction unit 14 autonomously determines the operation of the agent in the virtual space, and instructs the operation of the above format through a control command defined as an API (Application Program Interface). Generate data.
  • API Application Program Interface
  • [Table 2] shows an example of correspondence between control commands and operation instruction data to be generated. 2
  • gesture (k) The type of gesture, k is the number of the gesture
  • the processing control unit 11 receives these motion instruction data, and based on the motion instruction data, the character position (coordinates where the human body model is arranged in the world coordinate system) and the character orientation (human body model in the world coordinate system) VRML data for image display including information such as
  • each character is expressed as a configuration in which polygons are combined at 16 joints.
  • FIG. 4 is a schematic diagram showing a state in which polygons are connected to each character at 16 joints.
  • “number” represents a serial number assigned to each polygon.
  • name is a parameter name given to each polygon
  • meaning is a description of each polygon based on the corresponding part of the human body.
  • the processing control unit 11 changes the orientation and position of the polygon while using each joint of each character as a fulcrum.
  • the VRML data generated by the processing control unit 11 is transmitted to the graphic processing unit 17, and the graphic processing unit 17 generates animation data based on this VRML data.
  • the graphic processing unit 17 synthesizes the character and the background by this rendering process, and generates animation data of a three-dimensional image.
  • FIG. 5 is a conceptual diagram showing a state of data transmission / reception between the processing control unit 11 and the graphic processing unit 17.
  • the processing control unit 11 and the graphic processing unit 17 include an interface for receiving operation instruction data having the same structure (format) from the avatar operation instruction unit 13 or the agent operation instruction unit 14.
  • the processing control unit 11 and the graphic processing unit 17 receive the operation instruction data from the avatar operation instruction unit 13
  • the processing control unit 11 and the graphic processing unit 17 generate / update VRML data (camera object information and information outside the dynamic object) regarding the avatar.
  • VRML data dynamic object information
  • step S41 the updated VRML Data (camera object information and dynamic object information) is corrected (S42).
  • the processing control unit 11 and the graphic processing unit 17 generate an animation image “signal” representing the character's walking motion based on the VRML data corrected in S42 (S43).
  • the signal is output to the image display unit 18 and the animation is displayed on the screen (S44).
  • the operation control data received from the process control unit 11, the graphic processing unit 17, and the avatar operation instruction unit 13 and the operation instruction data received from the agent operation instruction unit 14 are: Since they have the same data structure, the processing control unit 11 and the graphic processing unit 17 receive the operation instruction data from the avatar operation instruction unit 13 and the operation instruction data from the agent operation instruction unit 14. The interface is common.
  • the processing control unit 11 and the graphic processing unit 17 display a specific character in the virtual space as an avatar or an agent, and any one of the avatar operation instruction unit 13 and the agent operation instruction unit 14 It is possible to switch whether to receive operation instruction data from. In other words, the processing control unit 11 and the graphic processing unit 17 switch a specific character in the virtual space from the avatar by switching which force operation instruction data of the avatar operation instruction unit 13 and the agent operation instruction unit 14 is received. It is possible to change flexibly between agents. Note that the switching described above may be performed in response to a user instruction input through the instruction input unit 12, or automatically when a predetermined condition is observed after a predetermined time elapses. It may be done.
  • the agent operation instruction unit 14 is connected via the buffer memory 50.
  • the state information data dynamic object outside information
  • the agent operation instruction unit 14 writes the agent operation instruction data in the buffer memory 50
  • the operation instruction data is read by the processing control unit 11 and the graphic processing unit 17.
  • the processing control unit 11 and the graphic processing unit 17 write the generated and updated agent state information data (information outside the dynamic object) in the buffer memory 50
  • the state information data is read by the agent operation instruction unit 14. And fed back.
  • the agent operation instruction unit 14 includes various object information (camera object information, static object information, information outside the dynamic object) included in the VRML data as state information for controlling the operation of the agent, Agent internal state information (for example, parameters representing knowledge, emotion, personality, etc.) is stored. Further, the agent operation instruction unit 14 can instruct the agent to perform observations called “queues” as appropriate. That is, the agent action instruction unit 14 can refer to the object information or obtain a determination result based on the object information by passing the “queue” data to the processing control unit 11 and the graphic processing unit 17. .
  • object information camera object information, static object information, information outside the dynamic object
  • Agent internal state information for example, parameters representing knowledge, emotion, personality, etc.
  • the agent operation instruction unit 14 refers to the determination result based on the object information or the non-object information by instructing the agent to observe based on, for example, the “queue” shown in [Table 3]. .
  • the agent operation instruction unit 14 determines the operation of the next agent by applying the information outside the object and the internal state information to a predetermined rule (scenario) set in advance. That is, the agent's action rules are The agent operation instruction unit 14 is designed as a scenario in the agent operation instruction unit 14, and the agent operation instruction unit 14 interprets the various object information at that time and the internal state information of the agent by applying the above scenario to interpret the processing.
  • the agent operation instruction data and the “queue” data are sequentially passed to the unit 11 and the graphic processing unit 17.
  • the agent action instruction unit 14 generates the agent action instruction data based on a predetermined scenario. Therefore, the agent action pattern can be freely designed by setting the scenario. It has become easy. In addition, if the above scenario is set so that the agent's behavior in the virtual space is close to that of a human in the real world, the progress of the simulation can be made more natural.
  • the 3D virtual space simulation can be executed by simulator 1 alone, or simulator 1, simulator 2, simulator 3 (see Fig. 1). It can also be executed while sharing the 3D virtual space while performing data communication.
  • simulator 1 is simulator 2
  • simulator 3 is a two-way communication of VRML data generated by processing control unit 11 and graphic processing unit 17 of each simulator via network 4. Share by. That is, each simulator shares VRML data updated by the respective processing control unit 11 and graphic processing unit 17 (see FIG. 1) through peer-to-peer communication via the network 4.
  • FIG. 7 is a conceptual diagram showing a state in which the simulators 13 share the updated VRML data.
  • simulators 1 to 3 share a virtual space in which five characters appear, and these characters are controlled by the avatar operation instruction unit 13 (see Fig. 1) according to the operation of the user of simulator 1.
  • One person who generates the operation instruction data one agent who generates the operation instruction data by the agent operation instruction unit 14 (see Fig. 1) of the simulator 2,
  • the avatar operation instruction unit 13 In response to the operation of the simulator 3 user, the avatar operation instruction unit 13 (see Fig. 1) generates one operation instruction data, and the agent operation instruction unit 14 of the simulator 3 (see Fig. 1) operates the operation instruction data.
  • Each simulator 1 1 3 sends the updated VRML data to the other simulators sequentially via the network 4 by the processing control unit 11 and graphic processing unit 17 and shares the updated VRML data with each other. To do. Based on the VRML data shared in this way, the simulators 1 to 3 display 3D images on the respective image display units 18.
  • each simulator transmits and receives only VRML data updates, so the VRML data in the three-dimensional virtual space is almost real-time while the communication burden via the network 4 is relatively light. Can be shared.
  • each simulator shares VRML data by peer-to-peer communication.
  • VRML data communication and sharing are not limited to this form.
  • Servers appropriately provided on the network 4 It can be done through a computer. If a server computer is used, it is preferable to register various management information in addition to the update data transmitted from each simulator in the server computer. Examples of management information registered in the server computer include login / logout information of each simulator, and which simulator is responsible for generating operation instruction data related to which character among virtual space characters. . Such management information may be registered in any of the simulators other than the server computer independent of the simulator.
  • FIG. 8 shows a sharing mode in which VRML data is shared between simulators 1 and 2.
  • the user gives an action instruction to one character (avatar) through the avatar action instructing section 13 (see FIG. 1), and the agent action instruction is given. While part 14 (see Fig. 1) gives action instructions to two characters (agents), in simulator 2, the user passes one character (avatar) through avatar action instruction part 13 (see Fig. 1). The operation instruction is given to.
  • the processing control unit 11 and the graph in each simulator The attack processing unit 17 displays a specific character as an avatar or agent in the virtual space, and can switch between receiving an operation instruction data from the avatar operation instruction unit 13 and the agent operation instruction unit 14 It is. Therefore, the processing control unit 11 and the graphic processing unit 17 of each simulator switch in the virtual space by switching whether the operation instruction data is received from the avatar operation instruction unit 13 or the agent operation instruction unit 14. This specific character can be flexibly changed between an avatar and an agent.
  • FIG. 9 is a block diagram showing an example of a method for transmitting and receiving voice data and text data between simulators in shared mode.
  • the simulators are indicated by A, B, C, and D. It is assumed that an agent operates in simulators A and B, while an avatar operates in simulators C and D. Therefore, the conversation between AB is agent-to-agent, the conversation between BC is agent-to-avatar, the conversation between CDs is an avatar-to-avatar, and the conversation between DAs is an avatar-to-agent.
  • FIG. 10 is a diagram showing a screen example in which the virtual space is three-dimensionally displayed on the image display unit 18 (see FIG. 1) of each simulator during execution of the evacuation simulation.
  • FIG. 11 is a diagram showing a screen example in which the same scene as FIG. 10 is displayed in a three-dimensional manner when viewed from the upper viewpoint.
  • a radar viewpoint which is a small screen display for confirming the position of surrounding characters, and a rear view point that displays a rear screen that is not originally displayed on a small screen.
  • a display or the like may be displayed.
  • the format of force data using the VRML language is not limited to this, and an appropriate language 'format can be adopted.
  • the present invention can be applied to a three-dimensional virtual space simulation that displays a virtual space in which a plurality of characters appear as a three-dimensional image. It is particularly suitable for large-scale simulations such as evacuation conditions in the event of a disaster.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Human Computer Interaction (AREA)
  • Processing Or Creating Images (AREA)

Abstract

　 　本発明の３次元仮想空間シミュレーションは、アバタの動作をユーザの入力に基づいて決定し、その内容を示す動作指示データを生成するアバタ動作指示部と、エージェントの動作を自律的に決定し、その内容を示す動作指示データを生成するエージェント動作指示部と、これらから受け取る動作指示データに基づいて、各キャラクタを仮想空間に表示する処理制御部、グラフィック処理部、および画像表示部は、アバタ動作指示部から動作指示データを受け取るインタフェースと、エージェント動作指示部から動作指示データを受け取るインタフェースとを共通としている。これにより、ユーザの柔軟な参加形態と高い信頼性とが実現される。

Description

明 細 書
3次元仮想空間シミュレータ、 3次元仮想空間シミュレーションプログラム、 およびこれを記録したコンピュータ読み取り可能な記録媒体
技術分野
[0001] 本発明は、複数のキャラクタが登場する仮想空間を 3次元画像で表示する 3次元仮 想空間シミュレータ、 3次元仮想空間シミュレーションプログラム、およびこれを記録し たコンピュータ読み取り可能な記録媒体に関する。
背景技術
[0002] コンピュータおよびネットワーク技術の発展に伴レ、、高度なシミュレータが開発され ている。最新のシミュレータの一つとして 3次元仮想空間シミュレータがある。 3次元仮 想空間シミュレータとしては、例えば、 WWW (World Wide Web)サーバに格納され、 VRML (Virtual Reality Modeling Language)言語などで記述された 3次元グラフィック データを、ネットワークを介してクライアントコンピュータが取得し、そのクライアントコン ピュータの表示装置に 3次元画像からなる仮想空間を表示するものが知られている。
[0003] 3次元画像は、人間が現実世界を目視する場合と同様の立体感や遠近感を的確 に表現することができる。したがって、 3次元画像で仮想空間を表示する 3次元仮想 空間シミュレータを利用することによって、ユーザは、臨場感溢れるシミュレーションを 体験すること力できる。このような 3次元仮想空間シミュレータは、チャットやビデオゲ ームなどのエンターテイメント分野の他、景観シミュレーションや災害シミュレーション などにも応用されている。
[0004] 一般に、 3次元仮想空間シミュレータにおいて表示される仮想空間には、複数のキ ャラクタ（登場人物）が登場する。本明細書では、 3次元仮想空間シミュレータにおい て表示される仮想空間におレ、て、ユーザの入力に応じて動作するキャラクタを「アバ タ (Avatar)」と称する一方、 自律的に動作するキャラクタを「エージェント (Agent)」と 称する。 3次元仮想空間シミュレータにおいて、ユーザは、主にァバタの視点を通じ て仮想現実を体験することができる。近時、 3次元仮想空間シミュレータの新たな利 用法として、シミュレーション表示される仮想空間において、綿密なストーリーに基づ いたロールプレイングをユーザに体験させ、この体験を通じて、ユーザを教育訓練す ることも fe されてレヽ C> (W. Swart out et. al.， Toward the Holodeck: Integrating Graphics, Sound, Character and Story. International Conference on Autonomous Agents, pp. 409-416, 2001参照）。
[0005] 災害発生時の避難状態などをシミュレートする場合、集団行動のグノレープダイナミ タスを的確にシミュレーション上で再現するためには、数多くのキャラクタを仮想空間 に登場させることが好ましい。特に、シミュレーションを多くのユーザに体験させながら 、仮想空間内のキャラクタの振る舞いを現実の状況に近づけるためには、できるだけ 多くのアバタを仮想空間に登場させることが好ましい。
[0006] しかし、前記従来の 3次元仮想空間シミュレータでは、仮想空間におけるァバタとェ ージェントとの役割はそれぞれ固定的である。すなわち、仮想空間において、ァバタ として登場するキャラクタは、終始ァバタとして振る舞う一方、エージェントとして登場 するキャラクタは、終始エージェントとして振る舞う。したがって、シミュレーションの開 始から終了までの間、ァバタと同程度の人数のユーザがシミュレーションに参加して レ、ることが必要となる。
[0007] 一方、災害発生時の避難状態などをシミュレートする場合、シミュレーションを現実 感ゃ信頼性の高いものとするためには、多数のアバタを仮想空間に登場させる必要 がある。したがって、このような大規模なシミュレーションを行うためには、シミュレーシ ヨンの開始から終了までの間、多数のユーザを確保して、拘束せねばならず、シミュ レーシヨンの実施が困難かつ高コストなものとなってしまうという問題が生じていた。
[0008] また、特定のァバタの視点を通じてシミュレーションに参加したユーザは、シミュレ一 シヨンの開始から終了までの間、そのァバタの指示者として仮想空間に参加すること になる。したがって、仮想空間内の場面をユーザが臨機応変に体験することには一 定の限界があった。例えば、仮想空間内の異なる場所で同時に進行している異なる イベントの両方をユーザが体験することは困難なものとなっていた。
[0009] 本発明は、上記の問題点に鑑みてなされたものであり、その目的は、 3次元仮想空 間シミュレーション、とりわけ多数のキャラクタが登場する大規模な 3次元仮想空間シ ミュレーシヨンにおいて、ユーザの柔軟な参加形態と、高い現実感や信頼性とを実現 することのできる 3次元仮想空間シミュレータ、 3次元仮想空間シミュレーションプログ ラム、およびこれを記録したコンピュータ読み取り可能な記録媒体を提供することにあ る。
発明の開示
[0010] 本発明に係る 3次元仮想空間シミュレータは、上記課題を解決するために、ァバタ とエージェントとからなる複数のキャラクタが登場する仮想空間を 3次元画像で表示 する 3次元仮想空間シミュレータであって、前記ァバタの動作をユーザの入力に基づ いて決定し、その内容を示す動作指示データを生成するァバタ動作指示手段と、前 記エージェントの動作を自律的に決定し、その内容を示す動作指示データを生成す るエージェント動作指示手段と、前記アバタ動作指示手段および前記エージェント動 作指示手段から受け取る動作指示データに基づいて、前記各キャラクタを前記仮想 空間に表示するキャラクタ表示手段とを備え、前記キャラクタ表示手段は、前記アバ タ動作指示手段から動作指示データを受け取るインタフェースと、前記エージェント 動作指示手段から動作指示データを受け取るインタフェースとを共通としていることを 特徴としている。
[0011] また、本発明に係る 3次元仮想空間シミュレータにおいて、前記キャラクタ表示手段 は、特定のキャラクタを前記アバタまたは前記エージヱントとして前記仮想空間に表 示するものであって、前記アバタ動作指示手段と前記エージェント動作指示手段との いずれから動作指示データを受け取るかを切替可能であることを特徴としている。
[0012] また、本発明に係る 3次元仮想空間シミュレータは、ネットワークを介して接続された 複数のコンピュータで構成され、前記仮想空間を共有して、 3次元画像で表示するこ とを特徴としている。
[0013] また、本発明に係る 3次元仮想空間シミュレータは、前記仮想空間において、災害 発生時の避難状態をシミュレートすることを特徴としている。
[0014] 本発明に係る 3次元仮想空間シミュレーションプログラムは、上記課題を解決するた めに、コンピュータを、ァバタとエージェントとからなる複数のキャラクタが登場する仮 想空間を 3次元画像で表示する 3次元仮想空間シミュレータとして機能させる 3次元 仮 ¾1空間シミュレーションプログラムであって、前記コンピュータを、前記ァバタの動 作をユーザの入力に基づいて決定し、その内容を示す動作指示データを生成する ァバタ動作指示手段と、前記エージェントの動作を自律的に決定し、その内容を示 す動作指示データを生成するエージェント動作指示手段と、前記アバタ動作指示手 段および前記エージェント動作指示手段から受け取る動作指示データに基づいて、 前記各キャラクタを前記仮想空間に表示するキャラクタ表示手段として機能させると 共に、前記キャラクタ表示手段は、前記アバタ動作指示手段から動作指示データを 受け取るインタフェースと、前記エージェント動作指示手段から動作指示データを受 け取るインタフェースとが共通となってレヽることを特 ί敫としてレヽる。
[0015] また、本発明に係る 3次元仮想空間シミュレーションプログラムは、上記課題を解決 するために、ネットワークを介して接続された複数のコンピュータを、ァバタとエージェ ントとからなる複数のキャラクタが登場する仮想空間を共有し、 3次元画像で表示する 3次元仮想空間シミュレータとして機能させる 3次元仮想空間シミュレーションプログ ラムであって、前記複数のコンピュータを、前記ァバタの動作をユーザの入力に基づ いて決定し、その内容を示す動作指示データを生成するァバタ動作指示手段と、前 記エージェントの動作を自律的に決定し、その内容を示す動作指示データを生成す るエージェント動作指示手段と、前記アバタ動作指示手段および前記エージェント動 作指示手段から受け取る動作指示データに基づいて、前記各キャラクタを前記仮想 空間に表示するキャラクタ表示手段として機能させると共に、前記キャラクタ表示手段 は、前記アバタ動作指示手段から動作指示データを受け取るインタフェースと、前記 エージェント動作指示手段から動作指示データを受け取るインタフェースとが共通と なっていることを特徴としている。
[0016] 本発明に係るコンピュータ読み取り可能な記録媒体は、前記 3次元仮想空間シミュ レーシヨンプログラムを記録したものである。
[0017] 以上のように、本発明に係る 3次元仮想空間シミュレータは、ァバタの動作をユーザ の入力に基づいて決定し、その内容を示す動作指示データを生成するァバタ動作 指示手段と、エージェントの動作を自律的に決定し、その内容を示す動作指示デー タを生成するエージェント動作指示手段と、前記アバタ動作指示手段および前記ェ ージェント動作指示手段から受け取る動作指示データに基づいて、各キャラクタを前 記仮想空間に表示するキャラクタ表示手段とを備え、前記キャラクタ表示手段は、前 記ァバタ動作指示手段から動作指示データを受け取るインタフェースと、前記エージ ェント動作指示手段から動作指示データを受け取るインタフェースとを共通としている 構成である。
[0018] また、本発明に係る 3次元仮想空間シミュレータにおいて、前記キャラクタ表示手段 は、特定のキャラクタを前記アバタまたは前記エージヱントとして前記仮想空間に表 示するものであって、前記アバタ動作指示手段と前記エージェント動作指示手段との いずれから動作指示データを受け取るかを切替可能とした構成である。
[0019] それゆえ、前記キャラクタ表示手段は、前記 2つのインタフェースを切り替えることに よって、仮想空間内の特定のキャラクタを、ァバタとエージェントとの間で柔軟に変更 することが可能となる。例えば、ユーザがその動作指示を入力しているアバタを途中 力、らエージェントに切り替えたり、特定のエージェントを途中からァバタに切り替えたり すること力 Sできる。
[0020] これにより、シミュレーションの途中であっても、ユーザの参加、離脱、交代が柔軟か つ容易となるという効果を奏する。この結果、シミュレーションの規模が大きな場合で あっても、多数のユーザを常時拘束することなぐ比較的多数のアバタを登場させる ことも可能となるので、高い現実感や信頼性を有するシミュレーションを実現すること が可能になる。
[0021] 本発明に係る 3次元仮想空間シミュレーションプログラムは、コンピュータを、ァバタ の動作をユーザの入力に基づいて決定し、その内容を示す動作指示データを生成 するアバタ動作指示手段と、エージェントの動作を自律的に決定し、その内容を示す 動作指示データを生成するエージェント動作指示手段と、前記アバタ動作指示手段 および前記エージェント動作指示手段から受け取る動作指示データに基づいて、前 記各キャラクタを前記仮想空間に表示するキャラクタ表示手段として機能させると共 に、前記キャラクタ表示手段は、前記アバタ動作指示手段から動作指示データを受 け取るインタフェースと、前記エージェント動作指示手段から動作指示データを受け 取るインタフェースとが共通となっている構成である。また、本発明に係るコンピュータ 読み取り可能な記録媒体は、前記 3次元仮想空間シミュレーションプログラムを記録 した構成である。
[0022] それゆえ、前記 3次元仮想空間シミュレーションプログラムを、コンピュータに読み 取り実行させることによって、前記 3次元仮想空間シミュレータと同一の効果を奏する こと力 Sできる。
[0023] また、本発明に係る 3次元仮想空間シミュレータは、ネットワークを介して接続された 複数のコンピュータで構成され、前記仮想空間を共有して、 3次元画像で表示するも のである。
[0024] それゆえ、ネットワークを介して接続された異なるコンピュータを通じて、複数のユー ザが同時にシミュレーションに参加することが可能になるので、ユーザは柔軟にシミュ レーシヨンに参加できるという効果を奏する。例えば、互いに遠隔地に所在するユー ザが同時にシミュレーションに参加して、仮想空間内でコミュニケーションを図ったり、 体験を共有したりすることが可能になる。併せて、不特定多数のユーザが、それぞれ の都合に応じた任意のタイミングでシミュレーションに参加できるようになるという効果 を奏する。
[0025] また、本発明に係る 3次元仮想空間シミュレーションプログラムは、ネットワークを介 して接続された複数のコンピュータを、ァバタの動作をユーザの入力に基づレ、て決 定し、その内容を示す動作指示データを生成するァバタ動作指示手段と、エージェ ントの動作を自律的に決定し、その内容を示す動作指示データを生成するエージェ ント動作指示手段と、前記アバタ動作指示手段および前記エージェント動作指示手 段から受け取る動作指示データに基づいて、前記各キャラクタを前記仮想空間に表 示するキャラクタ表示手段として機能させると共に、前記キャラクタ表示手段は、前記 ァバタ動作指示手段から動作指示データを受け取るインタフェースと、前記エージヱ ント動作指示手段から動作指示データを受け取るインタフェースとが共通となってい る構成である。また、本発明に係るコンピュータ読み取り可能な記録媒体は、前記 3 次元仮想空間シミュレーションプログラムを記録した構成である。
[0026] それゆえ、前記 3次元仮想空間シミュレーションプログラムを、複数のコンピュータに 読み取り実行させることによって、前記 3次元仮想空間シミュレータと同一の効果を奏 すること力 Sできる。 [0027] また、本発明に係る 3次元仮想空間シミュレータは、前記仮想空間におレ、て、災害 発生時の避難状態をシミュレートする構成である。
[0028] 災害発生時の避難状態をシミュレートする場合、集団行動のグループダイナミクス を的確に再現することが重要になる。
[0029] 前述のとおり、本発明に係る 3次元仮想空間シミュレータによれば、シミュレーション の規模が大きな場合であっても、多数のユーザを常時拘束することなぐ比較的多数 のァバタを登場させることも可能となるので、高い現実感や信頼性を有するシミュレ一 シヨンを実現することが可能になる。また、シミュレーションの途中であっても、ァバタと エージェントとの役割を自在に切り替えることができるので、ユーザは多彩な視点から 臨機応変にシミュレーションに参加することができる。
[0030] したがって、災害発生時の避難状態をシミュレートする場合において、ユーザの柔 軟な参加形態と、高い現実感や信頼性とを実現することができるという効果を奏する
[0031] 本発明のさらに他の目的、特徴、および優れた点は、以下に示す記載によって十 分わかるであろう。また、本発明の利益は、添付図面を参照した次の説明で明白にな るであろう。
図面の簡単な説明
[0032] [図 1]本発明の一実施形態に係る 3次元仮想空間シミュレータシステム概略構成を示 すブロック図である。
[図 2]ユーザがシミュレータを操作する状態を示す外観図である。
[図 3]上記 3次元仮想空間シミュレータの画像表示部に 3次元仮想空間が表示された ときの画面例を示す図である。
[図 4]キャラクタが 16個の関節においてポリゴンが結合されたものとして表現された様 子を示す模式図である。
[図 5]上記 3次元仮想空間シミュレータにおける処理制御部およびグラフィック処理部 の処理フローを説明する概念図である。
[図 6]エージェント動作指示部と処理制御部およびグラフィック処理部との間における 動作指示データとエージェントの状態情報データとの交換を説明するブロック図であ る。
[図 7]複数のシミュレータが更新した VRMLデータを共有する状態を示す概念図であ る。
[図 8]共有モードにおいて、 VRMLデータに含まれるキャラクタに動作指示を付与す る主体を示した概念図である。
[図 9]共有モードのシミュレータ間で音声データおよびテキストデータの送受信を行う 手法例を示したブロック図である。
[図 10]各シミュレータの画像表示部に仮想空間を 3次元表示した画面例を示す図で ある。
[図 11]図 10と同一の場面を上方向の視点からみた状態で 3次元表示した画面例を 示す図である。
発明を実施するための最良の形態
[0033] 本発明の一実施形態に係る 3次元仮想空間シミュレータシステム（3次元仮想空間 シミュレータ） 100について、図 1ないし図 10に基づいて説明すれば以下のとおりで ある。
[0034] [1.システム構成]
図 1は、 3次元仮想空間シミュレータシステム 100の概略構成を示すブロック図であ る。同図に示されるように、 3次元仮想空間シミュレータシステム 100は、シミュレータ（ 3次元仮想空間シミュレータ） 1、 2、 3、 · · ·が、ネットワーク 4を介して、互いに接続さ れているものである。
[0035] シミュレータ 1、 2、 3、 · · ·は、いずれも市販のグラフィックワークステーションやパー ソナルコンピュータ力、ら構成され、同一の内部構成を有している。図 1では、シミュレ ータ 1の内部構成のみを図示して、シミュレータ 2、 3、 · · ·の内部構成の図示は省略 している。シミュレータ 1、 2、 3、 · · ·は、ネットワーク 4を介して、互いにデータ通信を 行うことができる。
[0036] ネットワーク 4の種類は特に限定されるものではなぐ例えば、インターネットの他、ィ ントラネット、エキストラネット、 LAN, ISDN, VAN, CATV通信網、仮想専用網（ virtual private network)、電話回線網、移動体通信網、衛星通信網等が利用可能で ある。また、ネットワーク 4を構成する伝送媒体についても、特に限定されるものでは なぐ例えば、 IEEE 1394, USB、電力線搬送、ケーブル TV回線、電話線、 ADSL 回線等の有線でも、 IrDAやリモコンのような赤外線、 Bluetooth (登録商標）、 802. 11無線、 HDR、携帯電話網、衛星回線、地上波デジタル網等の無線でもよい。
[0037] [2.シミュレータの内部構成]
まず、シミュレータ 1の内部構成について説明する。シミュレータ 1は、通信処理部 1 0、処理制御部 11、指示入力部 12、ァバタ動作指示部 13、エージェント動作指示部 14、記憶部 15、音声入出力部 16、グラフィック処理部 17、画像表示部 18を備えて いる。
[0038] 通信処理部 10は、ネットワーク 4とシミュレータ 1とを接続する通信インタフェースで あって、各種の通信インタフェースおよび通信回路から構成されている。通信処理部
10は、 TCPZIPや UDPZIPなど任意のプロトコルを用いて外部装置と通信する。ま た、通信処理部 10は、データ通信機能にカ卩えて、各種のデータ圧縮 ·復元機能を有 していてもよい。シミュレータ 1が外部と送受信するデータの全て力 通信処理部 10と 処理制御部 11との間で送受信されてレ、る。
[0039] 処理制御部（キャラクタ表示手段） 11は、シミュレータ 1の各構成要素の動作、およ びこれら構成要素間のデータのやりとりを統合的に制御する機能ブロックである。処 理制御部 11は、後述する各機能ブロックを統括、制御する他、ユーザのログイン処 理、ログアウト処理なども制御する。
[0040] 指示入力部 12は、キーボードやマウスから構成されるシミュレータ 1の入力用インタ フェースであって、シミュレータ 1がユーザから、ァバタの動作指示を含む各種指示の 入力を受け付けるための構成である。ユーザがァバタの動作を指示する際の操作性 を高めるためには、指示入力部 12は、各種の方向入力デバイス、例えばカーソルキ 一やアナログジョイスティックを備えることも好ましい。指示入力部 12は、ユーザから 受け付けた指示入力に応じた指示入力データを生成する。指示入力部 12は、生成 した指示入力データのうち、ァバタの動作に関する指示入力データはァバタ動作指 示部 13に送信する一方、その他の指示入力データは、直接処理制御部 11に送信 する。 [0041] ァバタ動作指示部（ァバタ動作指示手段） 13は、指示入力部 12から受信したアバ タの動作に関する指示入力データに基づいて、仮想空間におけるァバタの動作を決 定し、その内容を示す動作指示データを生成する機能ブロックである。ァバタ動作指 示部 13は、生成した動作指示データを処理制御部 11に送信する。ァバタ動作指示 部 13から出力される動作指示データはバッファメモリに記録され、このバッファメモリ 力 処理制御部 11およびグラフィック処理部 17に読み出される。同様に、処理制御 部 11およびグラフィック処理部 17が生成 ·出力するァバタの状態情報データは上記 バッファメモリに記録され、このバッファメモリからァバタ動作指示部 13に読み出され る。
[0042] エージェント動作指示部（エージェント動作指示手段） 14は、仮想空間におけるェ ージェントの動作を自律的に決定し、その内容を示す動作指示データを生成する機 肯ブロックである。エージェント動作指示部 14は、生成した動作指示データを処理処 理部 11に送信する。また、エージェント動作指示部 14と処理制御部 11 (およびダラ フィック処理部 17)との間では、図略のバッファメモリを介して、エージェント動作指示 部 14が生成した動作指示データと、この動作指示データに基づいて、処理制御部 1 1およびグラフィック処理部 17が生成 '更新したエージェントの状態情報データとが交 換されている。エージェント動作指示部 14がエージェントの動作を自律的に決定す る手法については後述する。
[0043] 記憶部 15は、各種の半導体メモリや記録媒体にデータを記録するデータ記録装置 である。記憶部 15がデータを記録する記録媒体としては、例えば、磁気テープや力 セットテープ等のテープ系、フロッピー（登録商標）ディスク/ハードディスク等の磁気 ディスクや M〇/MDZDVDZCD_R等の光ディスクを含むディスク系、 ICカード（ メモリカードを含む）/光カード等のカード系などを用いることができる。
[0044] 処理制御部 11は、 3次元仮想空間シミュレーションに関するすべてのデータを記憶 部 15に記憶させ、適宜読み出す。上記 3次元仮想空間シミュレーションに関するデ ータの例としては、通信処理部 10を介して外部装置から受信したデータ、指示入力 部 12から受信した指示入力データ、ァバタ動作指示部 13から受信した動作指示デ ータ、エージェント動作指示部 14から受信した動作指示データ、グラフィック処理部 1 7で生成され、 3次元仮想空間を記述する VRMLデータ、これらデータを処理するこ とによって得られたデータなどが挙げられる。
[0045] 音声入出力部 16は、シミュレータ 1がユーザに対して音声を出力し、ユーザからの 音声入力を受け付けるための音声入出力装置である。音声入出力部 16は、ヘッドフ オン、スピーカなどの音声出力用装置、およびヘッドセットマイク、固定式マイクなど の音声入力用装置から構成されている。音声入出力部 16は、処理制御部 11から受 信する音声データに基づいて音声を出力する一方、ユーザから入力された音声デー タを処理制御部 11に送信する。なお、シミュレーションの臨場感を高めるためには、 音声入出力部 16を通じた音声の入出力は、ステレオ音声で行われることも好ましい。
[0046] グラフィック処理部（キャラクタ表示手段） 17は、処理制御部 11の指示に基づいて、 仮想空間の 3次元画像を記述する VRMLデータを生成、更新し、画像表示部 18に 仮想空間を 3次元画像で表示させる機能ブロックである。
[0047] グラフィック処理部 17は、仮想空間内で静止している背景の画像に関するデータを 、 VRMLデータの静的オブジェクト情報として取り扱う一方、仮想空間内で動作する キャラクタの画像に関するデータを、 VRMLデータの動的オブジェクト情報として取り 扱う。また、グラフィック処理部 17は、仮想空間をいずれの視点、すなわち位置およ び方向からみた状態で 3次元画像を生成すべきかの情報を、 VRMLデータのカメラ オブジェクト情報として取り扱う。グラフィック処理部 17は、これらオブジェクト情報に 基づいて、特定のキャラクタ（通常はァバタ）の視点からみた 3次元画像の VRMLデ ータをリアルタイム生成して、記憶部 15の VRMLデータを更新する。また、グラフイツ ク処理部 17は、記憶部 15で更新される VRMLデータに基づいて、仮想空間におけ る町並みや人物などの 3次元画像を表示させるための映像信号 (アニメーションデー タ）を生成し、この映像信号を画像表示部 18に出力する。
[0048] ここで、静的オブジェクト情報、動的オブジェクト情報、およびカメラオブジェクト情 報について説明しておく。
[0049] 静的オブジェクト情報とは、仮想空間を構成する静的で動きのなレ、画像の元となる 複数のオブジェクトの情報である。静的オブジェクト情報は、主に、仮想空間の各静 的オブジェクトを構成するポリゴンデータ、およびグラフィックスコンテキストデータから 構成される。
[0050] 動的オブジェクト情報とは、仮想空間内を動くことのできるキャラクタオブジェクトの 情報である。動的オブジェクト情報は、主に、すべてのキャラクタ（ァバタおよびエー ジヱント）のオブジェクトを構成するポリゴンのバーテイクスの座標データ、ポリゴンデ ータ、及び、グラフィックスコンテキストデータからなる。
[0051] カメラオブジェクト情報とは、仮想空間をいずれの視点、すなわち位置および方向 力 みた状態で 3次元画像を生成すべきかを示すオブジェクト情報である。カメラオ ブジェクト情報は、主に、仮想空間内におけるァバタの現在位置及び向きを表す位 置ベクトル情報、視線ベクトル情報から構成される。
[0052] 画像表示部（キャラクタ表示手段） 18は、グラフィック処理部 17から出力される映像 信号に基づき、その画面に、キャラクタを含む仮想空間を 3次元画像で表示するディ スプレイである。画像表示部 18は、例えば液晶ディスプレイや CRTから構成される。
[0053] シミュレータ 1の構成における各機能ブロック、特に、処理制御部 11、ァバタ動作指 示部 13、エージェント動作指示部 14、グラフィック処理部 17は、ハードウェアロジック によって構成してもよレ、し、演算装置（CPUや MPU)を用いてプログラム（ソフトゥェ ァ）によって実現してもよい。すなわち、シミュレータ 1は、各機能を実現する制御プロ グラムの命令を実行する CPUの他、記憶部 15や ROM/マスク ROM/EPROM/ EEPROM/フラッシュ ROM等の半導体メモリに格納された上記プログラムや関連 データ、上記プログラムを展開する RAM (random access memory)などを備え、これ らによって、上記各機能ブロックを実現することも可能である。
[0054] 上記各機能を実現する 3次元仮想空間シミュレーションプログラムのプログラムコー ド（実行形式プログラム、中間コードプログラム、ソースプログラム）は、あらかじめシミ ユレータ 1の記憶部 15などに格納しておくほか、コンピュータで読み取り可能に記録 した記録媒体を通じてシミュレータ 1に供給され、シミュレータ 1の演算装置が記録媒 体に記録されているプログラムコードを読み取り実行させることもできる。なお、上記 プログラムコードは、ネットワーク 4を介して、シミュレータ 1に供給されてもよい。本発 明は、上記プログラムコードが電子的な伝送で具現化された搬送波あるいはデータ 信号列の形態でも実現され得る。 [0055] [3. 3次元仮想空間シミュレーションにおけるキャラクタの切り替え] 図 2は、ユーザがシミュレータ 1を操作する状態を示す外観図である。同図に示され るように、ユーザは、画像表示部 18の表示や、音声入出力部 16から出力される音声 を確認しながら、指示入力部 12を操作してシミュレータ 1に指示入力を与え、 3次元 仮想空間シミュレーションに参加する。
[0056] 図 3は、画像表示部 18に 3次元仮想空間が表示されたときの画面例を示す図であ る。同図の画面例では、仮想空間において、街頭に登場する 3人のキャラクタが描か れている。一般に、 3次元仮想空間シミュレータにおいて表示される仮想空間には、 複数のキャラクタが登場し、そのキャラクタは、ユーザの入力に応じて動作するァバタ 、および自律的に動作するエージェントから構成される。そこで、ユーザは、特定のァ バタに指示を与え、そのァバタの視点を通じて仮想空間を体験する。例えば、ユーザ は、特定のァバタに指示を与え、仮想空間内を歩いたり、向きを変えたり、他のアバ タゃエージェントに近づいて話しかけたりすることができる。なお、図 3の画面例は、 ユーザが指示を与える対象となるァバタの視点からみた状態の仮想空間をあらわす ものであるから、ユーザが指示を与える対象となるアバタ自身は表示されていない。 ただし、設定に応じて、ユーザが指示を与える対象となるアバタを適宜表示させても よい。
[0057] シミュレータ 1において、処理制御部 11およびグラフィック処理部 17が、ァバタ動作 指示部 13から受信する動作指示データと、エージェント動作指示部 14から受信した 動作指示データとは、同一のフォーマットから構成されている。すなわち、本発明に おいて、ァバタに対する動作指示データとエージェントに対する動作指示データのフ ォーマット、つまり動作指示インタフェースは共通である。上記動作指示データのフォ 一マットは、例えば、移動 (歩行)速度、体全体の角速度、頭部 (視線)の角速度、指差 し中の腕の角速度、ジェスチャーの種類などのデータから構成されている。
[0058] ァバタ動作指示部 13は、指示入力部 12へのユーザ入力に基づいて、上記フォー マットの動作指示データを生成するために、ユーザ入力と動作指示データとの対応 テーブルを備えている。この対応テーブルには、指示入力部 12への入力（押圧され たキーの種類など）に応じて、生成すべき動作指示データの内容が予め定められて いる。 [表 1]は、上記対応テーブルに定められる、指示入力部 12への入力（ここでは 、押圧されたキーの種類）と生成すべき動作指示データとの対応例を示したものであ る。
[¾1]
(押圧されたキーの種類） （生成すべき動作指示データ）
上カーソル 移動（歩行)速度を 10増やす。
下カーソノレ 移動（歩行）速度を 10減らす。
右カーソル 体全体の角速度を 5増やす。
左カーソル 体全体の角速度を 5減らす。
Q 頭部 (視線)の角速度を 8増やす。
「W」 頭部 (視線)の角速度を 8減らす。
「A」 指差し中の腕の角速度を 15増やす。
「S」 指差し中の腕の角速度を 15減らす。
「1」 番号 1 (「来レ、」の仕草）のジェスチャーをする。
「2」 番号 2 (「止まれ」の仕草）のジェスチャーをする。
一方、エージェント動作指示部 14は、後述のように、仮想空間におけるエージ工ン トの動作を自律的に決定し、 API (アプリケーションプログラムインタフェース）として定 義された制御コマンドを通じて、上記フォーマットの動作指示データを生成する。 [表 2]は、制御コマンドと生成すべき動作指示データとの対応例を示したものである。 ほ 2]
(制御コマンド) (生成すべき動作指示データ）
wak、x, y) 移動 (歩行)速度，（X, y)は目的地の座標
turn(r) 体全体の角速度， rは向かせたい角度
race(r) 頭部 (視線)の角速度， rは向かせたい角度
point(rv 指差し中の腕の角速度， rは向かせたい角度
gesture(k) ジェスチャーの種類， kはジェスチャーの番号
[表 1]と [表 2]とを対比すれば、ァバタ動作指示部 13の生成する動作指示データと エージェント動作指示部 14の生成する動作指示データとが同一フォーマットとなって レ、ることがわかる。
[0060] 処理制御部 11はこれら動作指示データを受信し、この動作指示データに基づいて 、キャラクタの位置 (ワールド座標系に人体モデルを配置する座標)、キャラクタの向き ( ワールド座標系における人体モデルの角度)などの情報を含む画像表示用 VRML データを生成する。本実施形態の画像表示用 VRMLデータにおいて、各キャラクタ は、 16個の関節においてポリゴンが結合された構成として表現されている。図 4は、 各キャラクタが 16個の関節においてポリゴンが結合された様子を示す模式図である。 同図の表において、「番号」とは各ポリゴンに付与された通し番号を表している。また 、同図の表において、「名称」とは、各ポリゴンに付与されたパラメータ名であり、「意 味」とは、人体の対応部分に基づいた各ポリゴンの説明である。処理制御部 11は、上 記動作指示データに基づいて、各キャラクタの各関節を支点としながら、ポリゴンの 向きや位置を変化させる。
[0061] このようにして、処理制御部 11で生成された VRMLデータは、グラフィック処理部 1 7に送信され、この VRMLデータに基づいて、グラフィック処理部 17は、アニメーショ ンデータを生成する。グラフィック処理部 17は、このレンダリング処理によってキャラク タと背景とを合成し、 3次元画像のアニメーションデータを生成する。
[0062] 図 5は、処理制御部 11とグラフィック処理部 17との間でのデータ送受信の様子を示 す概念図である。同図に示されるように、処理制御部 11およびグラフィック処理部 17 は、ァバタ動作指示部 13またはエージェント動作指示部 14から同一構造 (フォーマ ット）の動作指示データを受け取るインタフェースを備えている。処理制御部 11およ びグラフィック処理部 17は、ァバタ動作指示部 13から上記動作指示データを受け取 つた場合には、ァバタに関する VRMLデータ（カメラオブジェクト情報および動的ォ ブジエ外情報)を生成 ·更新する一方、エージェント動作指示部 14から上記動作指 示データを受け取った場合には、エージェントに関する VRMLデータ（動的オブジェ タト情報)を生成'更新する（S41)。
[0063] 次に、処理制御部 11およびグラフィック処理部 17は、仮想空間中のキャラクタの動 作がより自然なものとなるように、他のキャラクタとの衝突回避補正、歩行先の地形に あわせた歩行速さの補正などをカ卩味して、ステップ S41で生成 '更新した VRMLデ ータ（カメラオブジェクト情報および動的オブジェクト情報）を補正する（S42)。
[0064] 次に、処理制御部 11およびグラフィック処理部 17は、 S42で補正した VRMLデー タに基づいて、キャラクタの歩行動作を表現するアニメーションの画像『信号』を生成 し（S43)、この画像信号を画像表示部 18に出力して上記アニメーションを画面表示 させる（S44)。
[0065] なお、歩行動作のように、キャラクタがある程度継続的に行う動作については、 自然 なアニメーション表示を行うために、上記 S41 S44の処理フローは短い時間単位 で繰り返されることが好ましレ、。
[0066] 以上のように、シミュレータ 1において、処理制御部 11およびグラフィック処理部 17 、ァバタ動作指示部 13から受信する動作指示データと、エージェント動作指示部 1 4から受信した動作指示データとは、同一のデータ構造力 構成されているので、処 理制御部 11およびグラフィック処理部 17が、ァバタ動作指示部 13から動作指示デ ータを受け取るインタフェースと、エージェント動作指示部 14から動作指示データを 受け取るインタフェースとを共通としてレ、る。
[0067] また、処理制御部 11およびグラフィック処理部 17は、特定のキャラクタをァバタまた はエージェントとして前記仮想空間に表示するものであって、ァバタ動作指示部 13と エージェント動作指示部 14とのいずれから動作指示データを受け取るかを切替可能 となっている。すなわち、処理制御部 11およびグラフィック処理部 17は、ァバタ動作 指示部 13とエージェント動作指示部 14とのいずれ力 動作指示データを受け取るか を切り替えることによって、仮想空間内の特定のキャラクタを、ァバタとエージェントと の間で柔軟に変更することが可能となっている。なお、上記の切り替えは、指示入力 部 12を通じたユーザの指示入力に応じて行われてもよいし、所定時間の経過などあ らカ、じめ定められた条件をみたしたときに自動的に行われてもよい。
[0068] [4.エージェントの制御]
次に、エージェント動作指示部 14 (図 1参照）が仮想空間におけるエージェントの動 作を自律的に決定する手法について説明する。
[0069] 図 6に示されるように、エージェント動作指示部 14と、処理制御部 11およびグラフィ ック処理部 17との間では、バッファメモリ 50を介して、エージェント動作指示部 14が 生成した動作指示データと、この動作指示データに基づいて、処理制御部 11および グラフィック処理部 17が生成 '更新したエージェントの状態情報データ（動的オブジェ 外情報）とが交換される。
[0070] すなわち、エージェント動作指示部 14が、エージェントの動作指示データをバッフ ァメモリ 50に書き込むと、この動作指示データは、処理制御部 11およびグラフィック 処理部 17によって読み出される。一方、処理制御部 11およびグラフィック処理部 17 、生成'更新したエージェントの状態情報データ（動的オブジェ外情報)をバッファ メモリ 50に書き込むと、この状態情報データは、エージェント動作指示部 14に読み 取られ、フィードバックされる。
[0071] エージェント動作指示部 14は、エージェントの動作を制御するための状態情報とし て、 VRMLデータに含まれる各種オブジェクト情報 (カメラオブジェクト情報、静的ォ ブジェクト情報、動的オブジェ外情報）と、エージェントの内部状態情報 (例えば、知 識、感情、性格などをあらわすパラメータ）とを保持している。また、エージェント動作 指示部 14は、エージェントに適宜「キュー」と呼ばれる観測を動作指示することができ る。すなわち、エージェント動作指示部 14は、処理制御部 11およびグラフィック処理 部 17に「キュー」データを渡すことによって、上記オブジェクト情報を参照したり、上記 オブジェクト情報に基づく判定結果を得たりすることができる。
[0072] エージェント動作指示部 14は、例えば [表 3]に示す「キュー」に基づいて、エージェ ントに観測を指示することにより、上記オブジェクト情報や上記オブジェ外情報に基 づく判定結果を参照する。
ほ 3コ
(キューの種類） （観測内容）
「position」 対象との位置関係
「observe」 対象が実行中の動作内容
「hear」 周囲の音声情報
エージェント動作指示部 14は、上記オブジェ外情報および上記内部状態情報を あらかじめ定められた所定のルール（シナリオ）にあてはめることによって、次のエー ジェントの動作を決定する。すなわち、エージェントの行動ルールは、あらかじめエー ジェント動作指示部 14内にシナリオとして設計されており、エージェント動作指示部 1 4は、その時点の各種オブジェクト情報と、エージェントの内部状態情報とを上記シナ リオにあてはめて解釈することによって、処理制御部 11およびグラフィック処理部 17 にエージェントの動作指示データや「キュー」データを順次渡していく。
[0073] 以上のように、エージェント動作指示部 14は、所定のシナリオに基づいて、エージ ェントの動作指示データを生成するので、上記シナリオの設定によって、エージェント の行動パターンを自由に設計することが容易となっている。また、仮想空間における エージェントの動作を、実世界における人間の動作と近づけるように、上記シナリオを 設定すれば、シミュレーションの進行内容をより自然なものとすることができる。
[5.共有モードにおけるシミュレーション形態]
3次元仮想空間シミュレータシステム 100 (図 1参照）において、 3次元仮想空間シミ ユレーシヨンは、シミュレータ 1のみでも実行することもできるし、シミュレータ 1、シミュ レータ 2、シミュレータ 3 · · · (図 1参照）間で、データ通信を行いながら、 3次元仮想空 間を共有した状態で実行することもできる。
[0074] これまでは、シミュレータ 1のみで 3次元仮想空間シミュレーションを実行する場合に ついて説明したので、本欄では、シミュレータ 1、シミュレータ 2、シミュレータ 3 · · '間 で 3次元仮想空間を共有した状態で 3次元仮想空間シミュレーションを実行する場合 (便宜上「共有モード」と称する）のシミュレーション形態にっレ、て説明する。
[0075] 共有モードでは、シミュレータ 1は、シミュレータ 2、シミュレータ 3 · · ·は、各シミュレ ータの処理制御部 11およびグラフィック処理部 17が生成する VRMLデータをネット ワーク 4を介した双方向通信によって共有する。すなわち、各シミュレータは、それぞ れの処理制御部 11およびグラフィック処理部 17 (図 1参照）が更新した VRMLデー タを、ネットワーク 4を介したピアツーピア通信によって共有する。
[0076] 図 7は、シミュレータ 1一 3が更新した VRMLデータを共有する状態を示す概念図 である。同図において、シミュレータ 1一 3は、 5人のキャラクタが登場する仮想空間を 共有しており、これらキャラクタは、シミュレータ 1のユーザの操作に応じて、アバタ動 作指示部 13 (図 1参照）が動作指示データを生成するァバタ 1人、シミュレータ 2のェ ージェント動作指示部 14 (図 1参照）が動作指示データを生成するエージェント 1人、 シミュレータ 3のユーザの操作に応じて、ァバタ動作指示部 13 (図 1参照）が動作指 示データを生成するァバタ 1人、シミュレータ 3のエージェント動作指示部 14 (図 1参 照）が動作指示データを生成するエージェント 2人から構成されている。各シミュレ一 タ 1一 3は、処理制御部 11およびグラフィック処理部 17によって、更新した VRMLデ ータを、ネットワーク 4を介して他のシミュレータに順次送信し、互いが更新した VRM Lデータを共有する。このように共有された VRMLデータに基づいて、シミュレータ 1 一 3はそれぞれの画像表示部 18に 3次元画像を表示する。
[0077] このように、各シミュレータは、 VRMLデータの更新分のみを互いに送受信するの で、ネットワーク 4を介した通信負担を比較的軽いものとしながら、 3次元仮想空間の VRMLデータをほぼリアルタイムで共有することができる。
[0078] 以上の説明では、各シミュレータはピアツーピア通信で VRMLデータを共有するも のとしたが、 VRMLデータの通信および共有は、この形態に限られるものではなぐ ネットワーク 4上に適宜設けられたサーバコンピュータを介して行われてもよレ、。サー バコンピュータを用いる場合であれば、サーバコンピュータに、各シミュレータから送 信される更新データの他、各種の管理情報も登録しておくことが好ましい。サーバコ ンピュータに登録する管理情報の例としては、各シミュレータのログイン 'ログアウト情 報や、どのシミュレータが、仮想空間のキャラクタのうち、どのキャラクタに関する動作 指示データの生成等を分担するかなどが挙げられる。このような管理情報は、シミュ レータと独立したサーバコンピュータではなぐいずれかのシミュレータに登録されて いてもよい。
[0079] 図 8は、シミュレータ 1、 2 · · ·の間で VRMLデータを共有する共有モードにおいて、
VRMLデータに含まれるキャラクタに動作指示を付与する主体を示す概念図である
。同図に示される例では、共有されるキャラクタのうち、シミュレータ 1では、ユーザが ァバタ動作指示部 13 (図 1参照）を通じて 1人のキャラクタ（ァバタ）に動作指示を付 与し、エージェント動作指示部 14 (図 1参照）が 2人のキャラクタ（エージェント）に動作 指示を付与している一方、シミュレータ 2では、ユーザがァバタ動作指示部 13 (図 1参 照）を通じて 1人のキャラクタ（アバタ）に動作指示を付与している。本発明では、共有 モードにおいても、前述のように、各シミュレータにおける処理制御部 11およびグラフ イツク処理部 17は、特定のキャラクタをァバタまたはエージェントとして前記仮想空間 に表示するものであって、ァバタ動作指示部 13とエージェント動作指示部 14とのい ずれから動作指示データを受け取るかを切替可能である。したがって、各シミュレ一 タの処理制御部 11およびグラフィック処理部 17は、ァバタ動作指示部 13とエージヱ ント動作指示部 14とのいずれから動作指示データを受け取るかを切り替えることによ つて、仮想空間内の特定のキャラクタを、ァバタとエージェントとの間で柔軟に変更す ることが可能となっている。
[0080] なお、共有モードでキャラクタ同士が会話する際、聞き手がァバタ（ユーザ)である 場合には、会話は音声 (音声データ）を通じて行われることが好ましい一方、聞き手 がエージェントである場合には、会話は文字情報 (テキストデータ）を通じて行われる ことが好ましい。図 9は、共有モードのシミュレータ間で音声データおよびテキストデ ータの送受信を行う手法例を示したブロック図である。同図では、各シミュレータを A , B, C, Dで示しており、シミュレータ A、 Bではエージェントが動作する一方、シミュレ ータ C, Dではァバタが動作しているものとする。したがって、 AB間の会話はエージェ ント対エージェント、 BC間の会話はエージェント対ァバタ、 CD間の会話はァバタ対 ァバタ、 DA間の会話はァバタ対エージェントのものとなる。
[0081] 同図において、話者の少なくとも一方がエージェントである場合には、シミュレータ 間のデータ送受信は、テキストデータによって行っている。すなわち、アバタ対エージ 工ントの会話については、アバタ側（ユーザ）の音声データを音声認識処理によって、 テキストデータに変換してから、エージェント側に送信している。
これは、音声データよりもテキストデータの方が解析しやすいためである。一方、アバ タ（ユーザ）同士の会話においては、音声データを送受信することによって、ユーザ に肉声を通じた会話を行わせ、シミュレーションの現実感を高めるものとしている。こ れらの会話処理は、各シミュレータの通信処理部 10、処理制御部 11、および音声入 出力部 16 (図 1参照）によって行われる。
[6.避難シミュレーションへの適用例]
最後に、本実施形態の 3次元仮想空間シミュレータシステム 100 (図 1参照）を、災 害発生時の避難シミュレーションに適用する例を説明する。ここでは、 6台のシミュレ ータを用いた共有モードによって、 20人のキャラクタが地下室から脱出するシミュレ ーシヨン内容を構築した。例えば「避難者が近づいたら出口方向を指さしながら歩く」 などの前記シナリオを適宜設計して組み合わせることによって、災害発生時の避難シ ミュレーシヨンを構築した。
[0082] 図 10は、上記避難シミュレーションの実行中、各シミュレータの画像表示部 18 (図 1 参照）に仮想空間を 3次元表示した画面例を示す図である。また、図 11は、図 10と同 一の場面を上方向の視点からみた状態で 3次元表示した画面例を示す図である。な お、各シミュレータの画像表示部 18の画面には、適宜、周囲のキャラクタ位置を確認 するための小画面表示であるレーダースクリーンや、本来は表示されない後方の様 子を小画面表示する後方視点表示などを表示させてもよい。
[0083] 次に、シミュレーションの実行中、ユーザによるシミュレータへの入力指示によって、 20人のエージェントのうち、特定のエージェントを指定してァバタに切り替えた。全 6 台のシミュレータによって、この切替作業を行った結果、最終的には、 20人のエージ ェントのうち、 6人がァバタとなった。そのままシミュレーションを続行したところ、ユー ザは、周囲のキャラクタがァバタなのかエージェントなのかを特別意識することなぐ 自然な感覚で避難シミュレーションを実行することができた。シミュレーションに参加 するユーザを変更しながら、シミュレーションを数十回繰り返したところ、参加するュ 一ザの性格や組み合わせに関係なぐ同様の結果を得た。
[0084] なお、本発明は上述した実施形態に限定されるものではなぐ請求項に示した範囲 で種々の変更が可能である。例えば、上述した実施形態では、 3次元画像の表現に
VRML言語を用いた力 データの形式等はこれに限られるものではなぐ適宜の言 語'形式を採用することができる。
[0085] (結語）
発明の詳細な説明の項においてなされた具体的な実施の形態は、あくまでも、本 発明の技術内容を明らかにするものであって、そのような具体例にのみ限定して狭義 に解釈されるべきものではなぐ本発明の精神と特許請求事項との範囲内で、様々に 変更して実施することができるものである。
産業上の利用の可能性 本発明は、複数のキャラクタが登場する仮想空間を 3次元画像で表示する 3次元仮 想空間シミュレーションに適用できる。特に、災害発生時の避難状態などの大規模シ ミュレーシヨンに好適である。

Claims

請求の範囲
[1] ァバタとエージェントとからなる複数のキャラクタが登場する仮想空間を 3次元画像 で表示する 3次元仮想空間シミュレータであって、
前記ァバタの動作をユーザの入力に基づいて決定し、その内容を示す動作指示デ ータを生成するァバタ動作指示手段と、
前記エージェントの動作を自律的に決定し、その内容を示す動作指示データを生 成するエージェント動作指示手段と、
前記アバタ動作指示手段および前記エージェント動作指示手段から受け取る動作 指示データに基づいて、前記各キャラクタを前記仮想空間に表示するキャラクタ表示 手段とを備え、
前記キャラクタ表示手段は、前記アバタ動作指示手段から動作指示データを受け 取るインタフェースと、前記エージェント動作指示手段から動作指示データを受け取 るインタフェースとを共通としていることを特徴とする 3次元仮想空間シミュレータ。
[2] 前記キャラクタ表示手段は、特定のキャラクタを前記アバタまたは前記エージェント として前記仮想空間に表示するものであって、前記アバタ動作指示手段と前記エー ジェント動作指示手段とのいずれから動作指示データを受け取るかを切替可能であ ることを特徴とする請求項 1に記載の 3次元仮想空間シミュレータ。
[3] ネットワークを介して接続された複数のコンピュータで構成され、前記仮想空間を共 有して、 3次元画像で表示することを特徴とする請求項 1または 2に記載の 3次元仮 想空間シミュレータ。
[4] 請求項 1乃至 3のいずれ力 4項に記載の 3次元仮想空間シミュレータであって、前 記仮想空間において、災害発生時の避難状態をシミュレートすることを特徴とする 3 次元仮 ¾1空間シミュレータ。
[5] コンピュータを、ァバタとエージェントとからなる複数のキャラクタが登場する仮想空 間を 3次元画像で表示する 3次元仮想空間シミュレータとして機能させる 3次元仮想 空間シミュレーションプログラムであって、
前記コンピュータを、
前記ァバタの動作をユーザの入力に基づいて決定し、その内容を示す動作指示デ ータを生成するァバタ動作指示手段と、
前記エージェントの動作を自律的に決定し、その内容を示す動作指示データを生 成するエージェント動作指示手段と、
前記アバタ動作指示手段および前記エージェント動作指示手段から受け取る動作 指示データに基づいて、前記各キャラクタを前記仮想空間に表示するキャラクタ表示 手段として機能させると共に、
前記キャラクタ表示手段は、前記アバタ動作指示手段から動作指示データを受け 取るインタフェースと、前記エージェント動作指示手段から動作指示データを受け取 るインタフェースとが共通となっていることを特徴とする 3次元仮想空間シミュレーショ ンプログラム。
[6] ネットワークを介して接続された複数のコンピュータを、ァバタとエージェントとからな る複数のキャラクタが登場する仮想空間を共有し、 3次元画像で表示する 3次元仮想 空間シミュレータとして機能させる 3次元仮想空間シミュレーションプログラムであって 前記複数のコンピュータを、
前記ァバタの動作をユーザの入力に基づいて決定し、その内容を示す動作指示デ ータを生成するァバタ動作指示手段と、
前記エージェントの動作を自律的に決定し、その内容を示す動作指示データを生 成するエージェント動作指示手段と、
前記アバタ動作指示手段および前記エージェント動作指示手段から受け取る動作 指示データに基づいて、前記各キャラクタを前記仮想空間に表示するキャラクタ表示 手段として機能させると共に、
前記キャラクタ表示手段は、前記アバタ動作指示手段から動作指示データを受け 取るインタフェースと、前記エージェント動作指示手段から動作指示データを受け取 るインタフェースとが共通となっていることを特徴とする 3次元仮想空間シミュレーショ ンプログラム。
[7] 請求項 5または 6に記載の 3次元仮想空間シミュレーションプログラムを記録したコ ンピュータ読み取り可能な記録媒体。
PCT/JP2004/009973 2003-09-16 2004-07-13 ３次元仮想空間シミュレータ、３次元仮想空間シミュレーションプログラム、およびこれを記録したコンピュータ読み取り可能な記録媒体 WO2005029414A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CA002538957A CA2538957C (en) 2003-09-16 2004-07-13 Three-dimensional virtual space simulator, three-dimensional virtual space simulation program, and computer readable recording medium where the program is recorded
EP04747439A EP1669932A4 (en) 2003-09-16 2004-07-13 THREE-DIMENSIONAL VIRTUAL SPACE SIMULATOR, THREE-DIMENSIONAL VIRTUAL SPACE SIMULATION PROGRAM, AND COMPUTER READABLE RECORDING MEDIUM IN WHICH THE PROGRAM IS RECORDED
US10/572,060 US20070075993A1 (en) 2003-09-16 2004-07-13 Three-dimensional virtual space simulator, three-dimensional virtual space simulation program, and computer readable recording medium where the program is recorded

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2003323612A JP3625212B1 (ja) 2003-09-16 2003-09-16 ３次元仮想空間シミュレータ、３次元仮想空間シミュレーションプログラム、およびこれを記録したコンピュータ読み取り可能な記録媒体
JP2003-323612 2003-09-16

Publications (1)

Publication Number Publication Date
WO2005029414A1 true WO2005029414A1 (ja) 2005-03-31

Family

ID=34372713

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2004/009973 WO2005029414A1 (ja) 2003-09-16 2004-07-13 ３次元仮想空間シミュレータ、３次元仮想空間シミュレーションプログラム、およびこれを記録したコンピュータ読み取り可能な記録媒体

Country Status (6)

Country Link
US (1) US20070075993A1 (ja)
EP (1) EP1669932A4 (ja)
JP (1) JP3625212B1 (ja)
CN (1) CN100442313C (ja)
CA (1) CA2538957C (ja)
WO (1) WO2005029414A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100565496C (zh) * 2005-07-22 2009-12-02 株式会社日立制作所 空间模拟装置和方法
US11356393B2 (en) 2020-09-29 2022-06-07 International Business Machines Corporation Sharing personalized data in an electronic online group user session

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7836437B2 (en) * 2006-02-10 2010-11-16 Microsoft Corporation Semantic annotations for virtual objects
US20080086696A1 (en) * 2006-03-03 2008-04-10 Cadcorporation.Com Inc. System and Method for Using Virtual Environments
US9329743B2 (en) * 2006-10-04 2016-05-03 Brian Mark Shuster Computer simulation method with user-defined transportation and layout
US20080215974A1 (en) * 2007-03-01 2008-09-04 Phil Harrison Interactive user controlled avatar animations
JP2009025658A (ja) * 2007-07-20 2009-02-05 Oki Electric Ind Co Ltd 音声合成装置、音声合成システム
US20090174656A1 (en) * 2008-01-07 2009-07-09 Rudell Design Llc Electronic image identification and animation system
US20090177976A1 (en) 2008-01-09 2009-07-09 Bokor Brian R Managing and presenting avatar mood effects in a virtual world
US20090193494A1 (en) * 2008-01-30 2009-07-30 International Business Machines Corporation Managing actions of virtual actors in a virtual environment
US9256898B2 (en) 2008-02-11 2016-02-09 International Business Machines Corporation Managing shared inventory in a virtual universe
US8018462B2 (en) * 2008-02-11 2011-09-13 International Business Machines Corporation Pack avatar for shared inventory in a virtual universe
US8145676B2 (en) * 2008-02-11 2012-03-27 International Business Machines Corporation Shared inventory item donation in a virtual universe
US9754234B2 (en) * 2008-02-15 2017-09-05 International Business Machines Corporation Tracking of shared inventory in a virtual universe
US8103559B2 (en) * 2008-02-15 2012-01-24 International Business Machines Corporation Maintenance of group shared inventories in a virtual universe
US8645846B2 (en) * 2008-02-20 2014-02-04 International Business Machines Corporation Accessibility in virtual worlds using tags
US9063565B2 (en) * 2008-04-10 2015-06-23 International Business Machines Corporation Automated avatar creation and interaction in a virtual world
KR101640458B1 (ko) * 2009-06-25 2016-07-18 삼성전자주식회사 영상 장치 및 컴퓨터 판독 기록매체
US20110225519A1 (en) * 2010-03-10 2011-09-15 Oddmobb, Inc. Social media platform for simulating a live experience
US8667402B2 (en) * 2010-03-10 2014-03-04 Onset Vi, L.P. Visualizing communications within a social setting
US8572177B2 (en) 2010-03-10 2013-10-29 Xmobb, Inc. 3D social platform for sharing videos and webpages
US20110239136A1 (en) * 2010-03-10 2011-09-29 Oddmobb, Inc. Instantiating widgets into a virtual social venue
US20110225518A1 (en) * 2010-03-10 2011-09-15 Oddmobb, Inc. Friends toolbar for a virtual social venue
US20110225039A1 (en) * 2010-03-10 2011-09-15 Oddmobb, Inc. Virtual social venue feeding multiple video streams
US20110225515A1 (en) * 2010-03-10 2011-09-15 Oddmobb, Inc. Sharing emotional reactions to social media
US9589000B2 (en) * 2012-08-30 2017-03-07 Atheer, Inc. Method and apparatus for content association and history tracking in virtual and augmented reality
JP2015220574A (ja) * 2014-05-16 2015-12-07 ソニー株式会社 情報処理システム、記憶媒体、およびコンテンツ取得方法
CN105214308B (zh) * 2015-09-02 2018-09-11 网易（杭州）网络有限公司 一种游戏对象的控制方法及系统
US10181986B2 (en) 2015-11-02 2019-01-15 International Business Machines Corporation Action records in virtual space
WO2019051492A1 (en) * 2017-09-11 2019-03-14 Cubic Corporation TOOLS AND ARCHITECTURE OF IMMERSIVE VIRTUAL ENVIRONMENT (IVE)
JP6707111B2 (ja) * 2018-07-25 2020-06-10 株式会社バーチャルキャスト ３次元コンテンツ配信システム、３次元コンテンツ配信方法、コンピュータプログラム
JP2021005157A (ja) * 2019-06-25 2021-01-14 株式会社ソニー・インタラクティブエンタテインメント 画像処理装置および画像処理方法
US10979672B1 (en) * 2020-10-20 2021-04-13 Katmai Tech Holdings LLC Web-based videoconference virtual environment with navigable avatars, and applications thereof
CN112560622B (zh) * 2020-12-08 2023-07-21 中国联合网络通信集团有限公司 虚拟对象动作控制方法、装置及电子设备
JP7167388B1 (ja) 2021-12-24 2022-11-09 正啓 榊原 動画作成システム、動画作成装置、及び動画作成用プログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001325169A (ja) * 2000-05-15 2001-11-22 Vasara:Kk タグ付き言語を用いたサイバースペースシステム
JP2002049937A (ja) * 2000-08-04 2002-02-15 Atr Ningen Joho Tsushin Kenkyusho:Kk 自律キャラクタ再現装置、仮想空間表示装置およびコンピュータ読み取り可能な記録媒体
JP2002108196A (ja) * 2000-10-03 2002-04-10 Matsushita Electric Works Ltd 避難仮想体験システム
JP2003150978A (ja) * 2001-11-09 2003-05-23 Sony Corp 三次元仮想空間表示方法、プログラム及びそのプログラムを格納した記録媒体

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6285380B1 (en) * 1994-08-02 2001-09-04 New York University Method and system for scripting interactive animated actors
US6563503B1 (en) * 1999-05-07 2003-05-13 Nintendo Co., Ltd. Object modeling for computer simulation and animation
US6954728B1 (en) * 2000-05-15 2005-10-11 Avatizing, Llc System and method for consumer-selected advertising and branding in interactive media
US6453294B1 (en) * 2000-05-31 2002-09-17 International Business Machines Corporation Dynamic destination-determined multimedia avatars for interactive on-line communications
US7392191B2 (en) * 2001-03-29 2008-06-24 Intellisist, Inc. Method and device to distinguish between voice conversation and automated speech recognition
US7333507B2 (en) * 2001-08-31 2008-02-19 Philip Bravin Multi modal communications system
EP1495447A1 (en) * 2002-03-26 2005-01-12 KIM, So-Woon System and method for 3-dimension simulation of glasses
US7568004B2 (en) * 2002-06-20 2009-07-28 Linda Gottfried Method and system for sharing brand information
US20050234340A1 (en) * 2004-03-31 2005-10-20 Brock-Fisher George A Bolus control for contrast imaging with 3D

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001325169A (ja) * 2000-05-15 2001-11-22 Vasara:Kk タグ付き言語を用いたサイバースペースシステム
JP2002049937A (ja) * 2000-08-04 2002-02-15 Atr Ningen Joho Tsushin Kenkyusho:Kk 自律キャラクタ再現装置、仮想空間表示装置およびコンピュータ読み取り可能な記録媒体
JP2002108196A (ja) * 2000-10-03 2002-04-10 Matsushita Electric Works Ltd 避難仮想体験システム
JP2003150978A (ja) * 2001-11-09 2003-05-23 Sony Corp 三次元仮想空間表示方法、プログラム及びそのプログラムを格納した記録媒体

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP1669932A4 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100565496C (zh) * 2005-07-22 2009-12-02 株式会社日立制作所 空间模拟装置和方法
US11356393B2 (en) 2020-09-29 2022-06-07 International Business Machines Corporation Sharing personalized data in an electronic online group user session

Also Published As

Publication number Publication date
CA2538957C (en) 2009-01-27
EP1669932A1 (en) 2006-06-14
CN1849628A (zh) 2006-10-18
JP2005092459A (ja) 2005-04-07
US20070075993A1 (en) 2007-04-05
CA2538957A1 (en) 2005-03-31
CN100442313C (zh) 2008-12-10
JP3625212B1 (ja) 2005-03-02
EP1669932A4 (en) 2006-10-25

Similar Documents

Publication Publication Date Title
JP3625212B1 (ja) ３次元仮想空間シミュレータ、３次元仮想空間シミュレーションプログラム、およびこれを記録したコンピュータ読み取り可能な記録媒体
WO2020090786A1 (ja) 仮想空間中のアバター表示システム、仮想空間中のアバター表示方法、コンピュータプログラム
US8082297B2 (en) Method and apparatus for managing communication between participants in a virtual environment
US20160225188A1 (en) Virtual-reality presentation volume within which human participants freely move while experiencing a virtual environment
US20100169796A1 (en) Visual Indication of Audio Context in a Computer-Generated Virtual Environment
JP6576245B2 (ja) 情報処理装置、制御方法及びプログラム
KR20060082849A (ko) 협력 게임 시스템의 동작 동기화 방법, 이를 적용한 다수의협력 게임 시스템간의 상호간섭 작용 구현 방법 및 협력게임 방법
US11294453B2 (en) Simulated reality cross platform system
Zikas et al. MAGES 4.0: Accelerating the world’s transition to VR training and democratizing the authoring of the medical metaverse
CN113209618B (zh) 虚拟角色的控制方法、装置、设备及介质
JP2003067317A (ja) メッセージ交換方法、コンピュータ、管理装置、記録媒体
JP2024016017A (ja) 情報処理システム、情報処理装置およびプログラム
CN114053693B (zh) 虚拟场景中的对象控制方法、装置及终端设备
WO2021181454A1 (ja) 画像処理システム、プログラムおよび画像処理方法
JP2023527624A (ja) コンピュータプログラムおよびアバター表現方法
Soares et al. Sharing and immersing applications in a 3D virtual inhabited world
WO2024009653A1 (ja) 情報処理装置、情報処理方法、及び情報処理システム
KR20210061161A (ko) 가상공간에서의 교육을 위한 참관자 및 다자간 협업관리 시스템 및 동작 방법
US20230393648A1 (en) System for multi-user collaboration within a virtual reality environment
WO2024066723A1 (zh) 针对虚拟场景的位置更新方法、设备、介质和程序产品
EP4306192A1 (en) Information processing device, information processing terminal, information processing method, and program
JP7409467B1 (ja) 仮想空間生成装置、仮想空間生成プログラム、および、仮想空間生成方法
JP7232620B2 (ja) ゲームプログラム、記録媒体、ゲーム処理方法
WO2023188104A1 (ja) 遠隔体験システム、情報処理装置、情報処理方法およびプログラム
JP2001249876A (ja) ３次元仮想共有空間における共有動作方法及びシステム及び３次元仮想共有空間における共有動作プログラムを格納した記憶媒体

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200480025789.0

Country of ref document: CN

AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BW BY BZ CA CH CN CO CR CU CZ DK DM DZ EC EE EG ES FI GB GD GE GM HR HU ID IL IN IS KE KG KP KR LC LK LR LS LT LU LV MA MD MG MN MW MX MZ NA NI NO NZ OM PG PL PT RO RU SC SD SE SG SK SL SY TM TN TR TT TZ UA UG US UZ VC YU ZA ZM

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): GM KE LS MW MZ NA SD SZ TZ UG ZM ZW AM AZ BY KG MD RU TJ TM AT BE BG CH CY DE DK EE ES FI FR GB GR HU IE IT MC NL PL PT RO SE SI SK TR BF CF CG CI CM GA GN GQ GW ML MR SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 2538957

Country of ref document: CA

WWE Wipo information: entry into national phase

Ref document number: 2004747439

Country of ref document: EP

DPEN Request for preliminary examination filed prior to expiration of 19th month from priority date (pct application filed from 20040101)
WWP Wipo information: published in national office

Ref document number: 2004747439

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2007075993

Country of ref document: US

Ref document number: 10572060

Country of ref document: US

WWP Wipo information: published in national office

Ref document number: 10572060

Country of ref document: US