WO2005028053A1 - 音楽ゲーム装置、音楽ゲームシステム、操作物、音楽ゲームプログラム、及び、音楽ゲーム方法 - Google Patents

音楽ゲーム装置、音楽ゲームシステム、操作物、音楽ゲームプログラム、及び、音楽ゲーム方法 Download PDF

Info

Publication number
WO2005028053A1
WO2005028053A1 PCT/JP2004/014025 JP2004014025W WO2005028053A1 WO 2005028053 A1 WO2005028053 A1 WO 2005028053A1 JP 2004014025 W JP2004014025 W JP 2004014025W WO 2005028053 A1 WO2005028053 A1 WO 2005028053A1
Authority
WO
WIPO (PCT)
Prior art keywords
guide
cursor
information
music
operation article
Prior art date
Application number
PCT/JP2004/014025
Other languages
English (en)
French (fr)
Inventor
Hiromu Ueshima
Original Assignee
Ssd Company Limited
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ssd Company Limited filed Critical Ssd Company Limited
Priority to US10/572,429 priority Critical patent/US20070197290A1/en
Priority to JP2005514131A priority patent/JP4701411B2/ja
Publication of WO2005028053A1 publication Critical patent/WO2005028053A1/ja

Links

Classifications

    • A63F13/10—
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80—Special adaptations for executing a specific game genre or game mode
    • A63F13/814—Musical performances, e.g. by evaluating the player's ability to follow a notation
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/45—Controlling the progress of the video game
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/53—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/30—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by output arrangements for receiving control signals generated by the game device
    • A63F2300/303—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by output arrangements for receiving control signals generated by the game device for displaying additional data, e.g. simulating a Head Up Display
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8005—Athletics

Definitions

  • the present invention relates to a music game apparatus that displays an image following the movement of an operation article and related technology.
  • Patent Document 1 Japanese Patent Laid-Open No. 2 0 2 0-2 6 3 3 60 discloses a performance / conducting game device.
  • a light emitting unit is provided at the tip of the baton controller and a light receiving unit is provided at the bottom of the monitor. With this configuration, the movement of the baton controller is detected.
  • Patent Document 2 Japanese Patent Laid-Open No. 10-1 4 3 1 5 1 discloses a command device.
  • music parameters such as tempo, accent and strength are calculated from the trajectory drawn by the mouse.
  • the calculated music parameters are reflected in the output music and images. For example, when displaying a moving image of a train, the train speed is made to follow the calculated tempo, the speed change is made to follow the accent, and the amount of smoke in the train is made to follow the strength.
  • the performance conducting game device of Patent Document 1 is a device whose main purpose is for the player to perform.
  • the command device of Patent Document 2 since the main purpose is for the player to perform, mouse movement information is converted into music parameters, which are reflected in music and images.
  • the displayed image in the above example, the train
  • the baton controller of Patent Document 1 includes a light projecting unit, it is necessary to include an electronic circuit. Therefore, the cost of the baton controller becomes high and it causes a failure. In addition, operability is reduced. In particular, since the baton controller is moved, it is preferable to have a simple configuration without providing an electronic circuit. In addition, the mouse of Patent Document 2 can only be operated on a plane, and there are large restrictions on the operation, and there is a problem similar to the baton controller of Patent Document 1.
  • the present invention provides a music game that allows a player to enjoy an image that follows an operation together with the music by automatically operating the music without the player's involvement.
  • the purpose is to provide equipment and related technologies. '
  • a music game device is a music game device that automatically plays music, and a stroboscope that irradiates an operation article operated by a player with light in a predetermined cycle;
  • An imaging unit that shoots the operation object to generate an image signal at the time of emission and an image signal at the time of extinction, and the image signal at the time of emission
  • a difference signal generation unit that generates a difference signal with respect to the image signal when the light is off, a state information calculation unit that calculates state information of the operation article based on the difference signal, and a cursor linked to the operation article
  • a guide control unit that controls the display of the operation guide at a timing based on the music, and the display of the cursor based on the state information of the operation article.
  • the display of the image is controlled according to the guidance by the guide.
  • a follow-up image control unit wherein the follow-up image control unit is configured to operate the cursor by the operation article based on the state information of the operation article and information on the guide. It is determined whether or not
  • the display of the image is controlled according to the guidance by the guide.
  • the image display is controlled in accordance with the cursor operation.
  • the state of the operation object is obtained by photographing the operation object, which is intermittently irradiated with light by a stroboscope, with an imaging unit. For this reason, it is not necessary to incorporate a circuit driven by a power source in the operation article in order to obtain state information of the operation article. Furthermore, this music game device automatically plays music.
  • the guide is controlled at the timing based on the music, if the player operates the cursor according to the guide, the operation of the operation article also matches the music. Therefore, the player can enjoy the operation of the operation object suitable for the song '.
  • the operation of the operation article means that the operation article itself is moved (for example, moved), and does not include pressing the switch or moving the analog stick.
  • the guide guides the movement position and operation timing of the cursor, and the follow-up image control unit adapts the operation of the force by the operation object to the guide. Then, the display of the image is controlled corresponding to the direction of the movement position guided by the guide.
  • the cursor when the player operates the operation article and moves the cursor to the moving position guided by the guide at the operation timing planned by the guide, the cursor is guided by the guide.
  • the display of the image is controlled according to the direction of the moving position.
  • the image follows the movement of the cursor linked to the operation of the operation object. You can enjoy the statue.
  • the state information calculation unit calculates a position of the operation article as the state information based on the difference signal
  • the follow-up image control unit includes the state information calculation unit.
  • the guide guides the movement path, movement direction, and operation timing of the cursor.
  • the player operates the operation object, and moves the cursor along the movement path guided by the guide in the moving direction guided by the guide at the operation timing planned by the guide.
  • the image display is controlled according to the guide.
  • the state information calculation unit calculates a position of the operation article as the state information based on the difference signal
  • the follow-up image control unit includes the state hate information calculation unit.
  • the accuracy of the cursor operation can be determined based on the position of the operation article that can be calculated by simple processing.
  • the guide is displayed at each of a plurality of predetermined positions on the screen, and the guide control unit changes the form of the guide at a timing based on the music. .
  • the player can easily recognize the position and the direction in which the cursor should be moved by changing the form of the guide.
  • the shape of the guide includes either the shape or color of the guide. Or both.
  • the guide is represented by a display that can visually recognize the movement from the first predetermined position on the screen to the second predetermined position.
  • the unit controls the display of the guide at a timing based on the music.
  • the player can more clearly recognize the direction and route in which the cursor should be moved.
  • the guide is in the form of a plurality of objects arranged on a route starting from the first predetermined position on the screen and ending at the second predetermined position. It can be expressed by change.
  • the player can easily recognize the direction and the path along which the force sol should move by changing the shape of the plurality of objects.
  • the guide can be expressed by moving an object from the first predetermined position on the surface to the second predetermined position.
  • the player can easily recognize the direction and route in which the cursor should be moved by moving the object.
  • the guide can be expressed by a change in the form of a route starting from the first predetermined position on the screen and ending at the second predetermined position. According to this configuration, the player can easily recognize the direction and the path to move the cursor by changing the form of the path.
  • the state information of the operation article calculated by the state information calculation unit includes speed information, movement direction information, movement distance information, velocity vector information, acceleration information, movement trajectory information, Either area information or position information, or a combination of two or more thereof.
  • various information can be used as the state information of the operation object when determining whether or not the operation of the cursor by the operation object conforms to the guide.
  • the degree of freedom increases, and as a result, the degree of freedom in designing game content also increases.
  • FIG. 1 is a diagram showing an overall configuration of a music game system according to an embodiment of the present invention.
  • FIG. 2 is a perspective view of the operation article of FIG.
  • FIG. 3 (a) is a top view of the reflecting pole in FIG. Fig. 3 (b) is a side view of the reflection pole from the direction of arrow A in Fig. 3 (a).
  • Fig. 3 (c) is a side view of the reflection pole from the direction of arrow B in Fig. 3 (a).
  • FIG. 4 is a longitudinal sectional view of the reflecting pole of FIG.
  • FIG. 5 is an illustrative view showing one example of the imaging unit of FIG.
  • FIG. 6 is a diagram showing an electrical configuration of the music game apparatus of FIG.
  • FIG. 7 is a block diagram of the low speed processor of FIG.
  • FIG. 8 is a circuit diagram showing a configuration for taking pixel data from the image sensor of FIG. 6 into a low-speed processor and a LED driving circuit.
  • FIG. 9A is a timing chart of the frame status flag signal F S F output from the image sensor of FIG. Fig. 9 (b) is a timing diagram of the pixel data slope signal PDS output by the image sensor of Fig. 8.
  • Fig. 9 (c) is a timing diagram of the pixel data D (X, Y) output by the image sensor in Fig. 8.
  • FIG. 9 (d) is a timing diagram of the LED control signal LEDC output from the low speed processor of FIG.
  • FIG. 9 (e) is a timing chart showing the lighting state of the infrared light emitting diode of FIG. Fig. 9 (f) is a timing diagram showing the exposure period of the image sensor of Fig. 8.
  • FIG. 10 (a) is an enlarged view of the frame status flag signal F SF in FIG.
  • FIG. 10 (b) is an enlarged view of the pixel data strobe signal P DS of FIG.
  • Figure 10 (c) is an enlarged view of the pixel data D (X, Y) in Figure 9.
  • FIG. 11 is an example of a game screen displayed on the screen of the television monitor of FIG.
  • Figure 12 shows the game screen displayed on the television monitor screen in Figure 1.
  • FIG. 13 is another example of the game screen displayed on the screen of the television monitor of FIG.
  • FIG. 14 is an explanatory diagram of a split that constitutes an object displayed on the screen of the television monitor of FIG.
  • FIG. 15 is an explanatory diagram of a panoramic screen displayed on the screen of the television monitor of FIG.
  • FIG. 16 (a) is an explanatory diagram before scrolling the panoramic screen of FIG. Fig. 16 (b) is an explanatory diagram after scrolling the panoramic screen of Fig. 15.
  • FIG. 17 is a conceptual diagram showing programs and data stored in the ROM of FIG.
  • FIG. 18 is a conceptual diagram showing an example of the first musical score data of FIG.
  • FIG. 19 is a conceptual diagram showing an example of the second musical score data of FIG.
  • Figure 20 (a) shows the relationship between the direction of guiding the cursor and the note picker.
  • FIG. 20 (b) is another relationship diagram between the direction of guiding the cursor and the note picker.
  • Fig. 20 (c) is still another relationship diagram between the direction of guiding the cursor and the note picker.
  • FIG. 21 (a) is an illustration of an image taken by a general image sensor and not subjected to special processing.
  • FIG. 21 (b) is an exemplary diagram of an image signal when the image signal of FIG. 21 (a) is level discriminated by a certain threshold value.
  • FIG. 21 (c) is an illustration of the image signal when the image signal when the image sensor is turned on via the infrared filter is level discriminated by a certain threshold value.
  • FIG. 21 (d) is an illustration of the image signal when the image signal when the image sensor is turned off via the infrared filter is discriminated at a certain threshold level.
  • Fig. 21 (e) shows an example of the difference signal between the image signal when turned on and the image signal when turned off.
  • FIG. 22 is an explanatory diagram of the coordinate calculation of the attention point of the operation article in FIG.
  • Fig. 23 (a) is an explanation of X-direction scanning when calculating the point-of-interest coordinates of the operation object in Fig. 1 based on the coordinates of the pixel having the maximum luminance value.
  • Fig. 23 (b) is an explanatory diagram at the start of the Y-direction scan when calculating the point of interest coordinates of the operation object in Fig. 1 based on the coordinates of the pixel having the maximum luminance value.
  • Figure 2 3 (c) has the maximum luminance value
  • FIG. 5 is an explanatory diagram of a Y-direction scan when calculating the point-of-interest coordinates of the operation article in FIG. 1 based on the pixel coordinates.
  • Fig. 23 (d) is an explanatory diagram of the results when calculating the attention point coordinates of the operation object based on the coordinates of the pixel having the maximum luminance value.
  • FIG. 24 is an explanatory diagram of the attention point presence area determination process (1) by the CPU 201.
  • FIG. 25 is an explanatory diagram of the attention point existence area determination process (2) by the CPU 201.
  • FIG. 26 is an explanatory view of the animation registration of the direction guide G, the position guide g, and the route guide r g according to the present embodiment.
  • FIG. 27 is an example of an animation table specified by the animation table storage position information of FIG.
  • FIG. 28 illustrates the relationship between the first musical score data, the second musical score data, the direction guy KG, the position guy K g, the operation judgment, and the dance animation in the present embodiment. It is a timing diagram.
  • FIG. 29 is a flowchart showing the overall processing flow of the music game apparatus of FIG.
  • FIG. 30 is a flowchart showing the flow of the initial setting process in step S 1 of FIG.
  • FIG. 31 is a flowchart showing the flow of the sensor initial setting process in step S 14 of FIG.
  • FIG. 32 is a flowchart showing the flow of command transmission processing in step S 21 of FIG.
  • Figure 33 shows (a) the timing diagram of the register setting clock C LK in Figure 8. (b) Timing diagram of register data in FIG.
  • FIG. 34 is a flowchart showing the flow of register setting processing in step S 23 of FIG.
  • FIG. 35 is a flowchart showing the flow of the state information calculation process in step S2 of FIG.
  • FIG. 36 is a flowchart showing the flow of pixel data group acquisition processing in step S 50 of FIG.
  • Fig. 37 shows the flow of the pixel data acquisition process in step S61 in Fig. 36. It is a chart.
  • FIG. 38 is a flowchart showing the flow of attention point extraction processing in step S 51 in FIG.
  • FIG. 39 is a flow chart showing the flow of attention point coordinate calculation processing in step S 85 in FIG.
  • FIG. 40 is a flowchart showing the flow of the game process in step S 3 of FIG. 29.
  • FIG. 41 is a flowchart showing the flow of interrupt processing in this embodiment.
  • FIG. 42 is a flowchart showing the flow of the music reproduction process in step S 1 50 of FIG.
  • FIG. 43 is a flowchart showing the flow of the guide registration process in step S 1 51 of FIG.
  • FIG. 44 is another exemplary view of the guide in the present embodiment.
  • FIG. 45 is still another example of the guide according to the present embodiment.
  • FIG. 46 is still another example of the guide according to the present embodiment.
  • FIG. 1 is a diagram showing an overall configuration of a music game system according to an embodiment of the present invention. As shown in FIG. 1, this music game system includes a music game device 1, a work 1550, and a television monitor 90.
  • An imaging unit 1 3 is incorporated in the housing 19 of the music game apparatus 1.
  • the imaging unit 13 includes four infrared light emitting diodes 15 and an infrared filter 17. The light emitting part of the infrared light emitting diode 15 is exposed from the infrared filter 17.
  • a DC power supply voltage is applied to the music game apparatus 1 by the AC adapter 9 2. However, instead of the AC adapter 92, a DC power supply voltage can be applied by a battery (not shown).
  • the television monitor 90 is provided with a screen 9 1 in front of it.
  • the TV monitor 90 and music game device 1 are connected by AV cable 93.
  • the The music game apparatus 1 is placed on the upper surface of the television monitor 90, for example, as shown in FIG.
  • the operation of the operation object 150 means that the operation object itself is moved (for example, moved), and does not include pressing the switch, moving the analog stick, or the like.
  • the infrared light emitting diode 15 of the imaging unit 13 emits infrared light intermittently. Infrared light from the infrared light emitting diode 15 is reflected by a reflection sheet (described later) attached to the operation article 150, and is provided inside the infrared filter 17 (described later). Is input. In this way, the operation article 1 5 0 is photographed intermittently. Therefore, the music game apparatus 1 can acquire an intermittent video signal of the operation article 1 5 0 moved by the player 94. The music game device 1 analyzes this video signal and reflects the analysis result in the game.
  • the reflective sheet used in the present embodiment is, for example, a retroreflective sheet.
  • FIG. 2 is a perspective view of the operation article 150 of FIG. As shown in FIG. 2, the operation article 1 5 0 is configured by fixing a reflective ball 1 5 1 to the tip of a stick 1 5 2 ′. The infrared light from the infrared light emitting diode 15 is reflected by the reflection pole 15 1. The details of the reflection pole 1 5 1 will be described.
  • Fig. 3 (a) is a top view of the reflective ball 15 in Fig. 2
  • Fig. 3 (b) is a side view of the reflective pole 15 1 from the direction of arrow A in Fig. 3 (a)
  • Fig. 3 (c ) Is a side view of the reflective ball 15 1 from the direction of arrow B in FIG. 3 (a).
  • the reflective ball 1 5 1 includes a transparent outer shell (including translucent, colored and transparent, and colorless and transparent) 1 5 3
  • the spherical inner shell 1 5 4 is fixed to the surface.
  • a reflective sheet 1 5 5 is attached to the spherical inner shell 1 5 4. This reflection sheet 15 5 reflects the infrared light from the infrared light emitting diode 15.
  • FIG. 4 is a longitudinal sectional view of the reflecting pole 15 1 in FIG.
  • the spherical outer shell 15 3 has two hemispheric outer shells fixed by bosses 15 6 and screws (not shown). Do it.
  • the spherical inner shell 1 5 4 is formed by fixing two hemispherical inner shells with a box 1 5 7 inside the spherical outer shell 1 5 3.
  • the stick 1 5 2 is inserted and fixed to the reflective ball 1 5 1.
  • the stick outer shell is fixed with the boss 15 6 and screws, and the two hemispherical inner shells are fixed with the boss 1 5 7 to attach the stick 1 5 2 to the reflection pole 1 5 1.
  • FIG. 5 is an illustrative view showing one example of the imaging unit 13 of FIG.
  • the imaging unit 13 includes a unit base 35 formed by plastic molding, for example, and a support cylinder 36 is attached in the unit base 35.
  • a trumpet-shaped opening 41 having an inverted conical inner surface is formed on the upper surface of the support cylinder 36, and inside the cylindrical part below the opening 41 is formed by molding, for example, a transparent plastic.
  • An optical system including the formed concave lens 39 and convex lens 37 is provided, and an image sensor 43 as an image sensor is fixed below the convex lens 37. Therefore, the image sensor 4 3 can take an image corresponding to light incident from the aperture 4 1 through the lenses 3 9 and 3 7.
  • the image sensor 43 is a low-resolution CMOS image sensor (for example, 32 pixels x 32 pixels: gray scale). However, the image sensor 43 may have a larger number of pixels or may be composed of other elements such as CCD. In the following description, it is assumed that the image sensor 43 has 3 2 pixels X 3 2 pixels.
  • the unit base 35 is attached with a plurality (four in the embodiment) of infrared light emitting diodes 15 whose light emission directions are all upward.
  • infrared light emitting diode 15 infrared light is irradiated above the imaging unit 13.
  • an infrared filter (a filter that transmits only infrared light) 17 is attached above the unit base 35 so as to cover the opening 41.
  • the infrared light emitting diode 15 is turned on / off (non-lighted) continuously and functions as a stroboscope.
  • stroboscope is a general term for devices that intermittently illuminate moving bodies.
  • the image sensor 4 3 An object that moves within the imaging range, that is, the operation article 1 5 0 in the embodiment, is to be taken.
  • the stroboscope is mainly composed of an infrared light emitting diode 15, an LED drive circuit 75, and a high-speed processor 200.
  • the imaging unit 13 is incorporated into the housing 19 so that the light receiving surface of the image sensor 43 is inclined by a predetermined angle (for example, 90 degrees) from the horizontal plane.
  • the imaging range of the image sensor 43 due to the turning lens 39 and the heel lens 37 is, for example, a range of 60 degrees.
  • FIG. 6 is a diagram showing an electrical configuration of the music game apparatus 1 of FIG.
  • the music game device 1 includes an image sensor 4 3, an infrared light emitting diode 15, a video signal output terminal 4 7, an audio signal output terminal 4 9, a high-speed processor 200, ROM (readonly memory) 5 1 and 5 3 included.
  • the path 5 3 is connected to the high speed processor 20 0. Furthermore, ROM 51 is connected to node 53. Accordingly, since the high speed processor 200 can access the ROM 51 via the bus 53, it can read and execute the game program stored in the ROM 51, and can store the ROM 51 stored in the ROM 51. It can read and process image data and music data, generate video signals and audio signals, and output them to the video signal output terminal 47 and the audio signal 'output terminal 49.
  • the operation article 1 5 0 is irradiated with infrared light emitted from the infrared light emitting diode 15, and the infrared light is reflected by the reflection sheet 1 5 5.
  • the reflected light from the reflection sheet 1 5 5 is detected by the image sensor 4 3, and accordingly, the image signal of the reflection sheet 1 5 5 is output from the image sensor 4 3.
  • the analog image signal from the image sensor 43 is converted into digital data by an A / D converter (described later) built in the high-speed processor 20. Similar processing is performed when the infrared light is turned off.
  • the high speed processor 200 analyzes this digital data and reflects the analysis result in the game processing.
  • FIG. 7 is a block diagram of the low speed processor 200 of FIG. As shown in Fig. 7, this high-speed processor 20 0 has a central processing unit (CPU) 2 0 1, a graphics processor 2 0 2, Processor 20 3, DMA (direct memory access) controller 204, 1st path arbitration circuit 20 5, 2nd path arbitration circuit 20 6, internal memory 20 7, A / D converter (ADC: analogtodigita 1 converter) 2 0 8, input Output control circuit 2 0 9, Timer circuit 2 1 0, DRAM (dynamic random access memory) renewal control circuit 2 1 1, External memory interface circuit 2 1 2, Clock driver 2 1 3, PLL (phase-locked loop) Circuit 2 1 4, low voltage detection circuit 2 1 5, first path 2 1 8, and second path 2 1 9.
  • CPU central processing unit
  • GPU graphics processor
  • Processor 20 3 DMA (direct memory access) controller 204
  • 1st path arbitration circuit 20 5 2nd path arbitration circuit 20 6
  • internal memory 20 7 A / D converter (ADC: analogtodigita 1 converter) 2 0 8
  • the CPU 201 performs various operations and controls the entire system according to the program stored in the memory (internal memory 207 or ROM5 1).
  • the CPU 2 0 1 is a path master of the first path 2 1 8 and the second path 2 1 9 and can access resources connected to the respective paths.
  • the graphics processor 20 2 is a path master for the first pass 2 1 8 and the second pass 2 1 9, and generates a video signal based on the data stored in the internal memory 20 7 or ROM 5 1. Output to video signal output terminal 4 7.
  • the graphics processor 202 is controlled by the CPU 2 0 1 through the first path 2 1 8.
  • the graphic processor 2 0 2 has a function of generating an interrupt request signal 2 2 0 to the CPU 20 1.
  • the sound processor 20 3 is a bus master of the first pass 2 1 8 and the second bus 2 1 9, and outputs a sound signal based on the data stored in the internal memory 2 0 7 or ROM 5 1. Generate and output to audio signal output terminal 4 9.
  • the sound processor 20 3 is controlled by the CPU 20 1 through the first path 2 1 8.
  • the sound processor 20 3 has a function of generating an interrupt request signal 2 20 for the CPU 2 0 1.
  • the DMA controller 204 manages data transfer from the ROM 51 power to the internal memory 207.
  • the DMA controller 204 has a function of generating an interrupt request signal 2 2 0 for the CPU 2 0 1 in order to notify the completion of data transfer.
  • the DMA controller 204 is a bus master for the first path 2 1 8 and the second bus 2 1 9.
  • DMA controller 2 04 goes from 0 to 112 0 1 through first pass 2 1 8 More controlled.
  • the internal memory 207 includes a mask ROM, an SRAM (sta tic r a n c o m a c c e s s me memory), and a DRAM. If it is necessary to hold SRAM data by battery, battery 2 1 7 is required. When DRAM is installed, an operation to maintain the memory content called refresh is required periodically.
  • the first path arbitration circuit 205 receives the first bus use request signal from each path master of the first bus 2 18, performs arbitration, and issues a first path use permission signal to each path master. Each path master is permitted to access the first path 2 1 8 by receiving the first path use permission signal.
  • the first bus use request signal and the first bus use permission signal are shown as the first bus arbitration signal 2 2 2 in FIG.
  • the second bus arbitration circuit 206 receives a second bus use request signal from each bus master of the second bus 2 19, performs arbitration, and issues a second path use permission signal to each path master. Each bus master is permitted to access the second bus 2 19 by receiving the second path use permission signal.
  • the second bus use request signal and the second bus use permission signal are shown as a second path arbitration signal 2 2 3 in FIG. '
  • the input / output control circuit 20 9 communicates with external input / output devices and external semiconductor elements through input / output signals. Input / output signals are read / written from the CPU 2 0 1 via the first bus 2 1 8.
  • the input / output control circuit 209 has a function of generating an interrupt request signal 220 for the CPU 201.
  • the input / output control circuit 20 9 outputs an LED control signal L E D C for controlling the infrared light emitting diode 15.
  • the timer circuit 210 has a function of generating an interrupt request signal 220 for the CPU 210 based on a set time interval.
  • the time interval is set by the CPU 201 via the first bus 2 1 8.
  • the AD C 20 8 converts an analog input signal into a digital signal. Is this digital signal via the first bus 2 1 8? 112 0 Leaded by 1.
  • a The DC 208 has a function of generating an interrupt request signal 2 2 0 for the CPU 2 0 1.
  • This AD C 2 0 8 receives pixel data (analog) from the image sensor 4 3 and converts it into digital data.
  • the PLL circuit 2 1 4 generates a high-frequency clock signal obtained by multiplying the sine wave signal obtained from the crystal resonator 2 1 6.
  • the clock driver 2 1 3 amplifies the high frequency clock signal received from the PLL circuit 2 1 4 to a signal strength sufficient to supply the clock signal 2 2 5 to each block.
  • the low voltage detection circuit 2 1 5 monitors the power supply voltage V cc, and when the power supply voltage V cc is equal to or lower than the constant voltage, the reset signal 2 2 6 of the PLL circuit 2 1 4 and other system-wide Issue reset signal 2 2 7.
  • the battery backup control is performed when the power supply voltage V cc is below a certain voltage. Function to issue signal 2 24.
  • the external memory interface circuit 2 1 2 has a function for connecting the second path 2 1 9 to the external bus 5 3 and also issues a cycle end signal 2 2 8 of the second bus 2 1 9 Has the function of controlling the bus cycle length of the second bus.
  • the DRAM refresh control circuit 2 1 1 unconditionally acquires the right to use the first pass 2 1 8 at regular intervals and performs DRAM refresh operation.
  • the DRAM refresh control circuit 2 1 1 is provided when the internal memory 2 07 includes a DRAM.
  • FIG. 8 is a circuit diagram showing a configuration for taking pixel data from the image sensor 43 of FIG. 6 into the high speed processor 200 and an LED driving circuit.
  • FIG. 9 is a timing chart showing an operation when the pixel data is taken into the high-speed processor 200 from the image sensor 43 in FIG.
  • FIG. 10 is a timing diagram showing an enlarged part of FIG.
  • the image sensor 4 3 is of a type that outputs pixel data D (X, Y) as an analog signal. Input to the 0th analog input port.
  • the analog input port is connected to the AD C 20 8 in the high speed processor 20 0, so that the high speed processor 200 acquires the pixel data converted from the AD C 2 0 8 into digital data therein.
  • the midpoint of the analog pixel data D (X, Y) described above is determined by the reference voltage applied to the reference voltage terminal V re f of the image sensor 4 3.
  • a reference voltage generating circuit 59 comprising, for example, a resistance voltage dividing circuit is provided in association with the image sensor 43, and a reference voltage having a constant magnitude is always applied from the circuit 59 to the reference voltage terminal Vref.
  • Each digital signal for controlling the image sensor 43 is given to or output from the I / O port of the high-speed processor 200.
  • Each of these I / O ports is a digital port capable of controlling input / output, and is connected to an input / output control circuit 209 by this high-speed processor 200.
  • a reset signal r e set for resetting the image sensor 4 3 is output from the output port of the high-speed processor 200 and applied to the image sensor 4 3.
  • the image sensor 43 outputs a pixel data slope signal PDS and a frame status flag signal FSF, and these signals are given to the input port of the high speed processor 200.
  • the pixel data slope signal PDS is a slope signal as shown in FIG. 9 (b) for reading each pixel signal D (X, Y) described above.
  • the frame status flag signal F SF is a flag signal indicating the state of the image sensor 43 and defines the exposure period of the image sensor 43 as shown in FIG. That is, the low level shown in FIG. 9A of the frame status flag signal F SF indicates the exposure period, and the high level shown in FIG. 9A indicates the non-exposure period.
  • the high-speed processor 200 outputs a command (or command + data) to be set in the control register (not shown) of the image sensor 4 3 as register data from the I / O port. Repeat low level Output the register setting clock C LK to be returned and give them to the image sensor 4 3.
  • infrared light emitting diode i 5 As the infrared light emitting diode i 5, four infrared light emitting diodes 15 a, 15 b, 15 c and 15 d connected in parallel as shown in FIG. 8 are used. These four infrared light emitting diodes 15 a to 15 d irradiate infrared light in the same direction as the viewpoint direction of the image sensor 4 3 so as to illuminate the operation object 1 5 0 as described above. Are arranged so as to surround the sensor 4 3. However, these individual infrared light emitting diodes 15 a to 15 d are simply used unless otherwise necessary to distinguish between them. Called infrared light emitting diode 15.
  • the infrared light emitting diode 15 is turned on or off (not lit) by the LED drive circuit 75.
  • the LED drive circuit 75 receives the above-mentioned frame status flag signal FSF from the image sensor 43, and this flag signal FSF is given to the base of the PNP transistor 7 7 through the differentiation circuit 6 7 composed of the resistor 69 and the capacitor 71. It is done.
  • a pull-up resistor 79 is further connected to the PNP transistor 7 7, and the base of the PNP transistor 77 7 is normally pushed up to a high level.
  • the frame status signal F S F becomes low level, the low level is input to the base via the differentiating circuit 67, so that the P N P transistor 77 is turned on only when the flag signal F S F is low level.
  • the emitter of PNP transistor 7 7 is grounded through resistors 7 3 and 6 5.
  • the connection point between the emitter resistors 7 3 and 65 is connected to the base of the NPN transistor 8 1.
  • the collector of the NPN transistor 81 is connected in common to the infrared light emitting diodes 15a-15d.
  • the emitter of NPN transistor 8 1 is connected directly to the base of another NPN transistor 61.
  • the collector of N P N transistor 6 1 is connected in common to each infrared light emitting diode 15 a to 15 d force sword, and the emitter is grounded.
  • the LED control signal LEDC output from the I / O port of the high-speed processor 2000 is active (high level), and the frame status flag signal FSF from the image sensor 43 is low level. Infrared light emitting diode 15 is lit only during the period.
  • Fig. 9 (a) when the frame status flag signal FSF becomes low level, during the low level period (actually, there is a delay with the time constant of the differentiation circuit 67, the PNP transistor 7 7 turns on. Therefore, when the LED control signal LEDC shown in Fig. 9 (d) is output at a high level from the high-speed processor 200, the base of the NPN transistor 8 1 becomes a high bell, and this transistor 8 1 is turned on.
  • transistor 61 When transistor 8 1 is turned on, transistor 61 is turned on, so that current flows from the power supply (shown by a small white circle in FIG. 8) through each infrared light emitting diode 15a to l5d and transistor 61, As shown in FIG. 9 (e), each of the infrared light emitting diodes 15a to 15d is turned on.
  • infrared light emission is performed only when the LED control signal L EDC in Fig. 9 (d) is active and the frame status flag signal FSF in Fig. 9 (a) is at the low level. Since the diode 15 is turned on, the infrared light emitting diode 15 is turned on only during the exposure period of the image sensor 43 (see FIG. 9 (f)).
  • the frame status flag signal FSF is coupled by the capacitor 71, even if the flag signal FSF stops at a low level due to the runaway of the image sensor 43, etc.
  • the transistor 7 7 is always turned off, and the infrared light emitting diode 15 is always turned off after a certain time.
  • the exposure time of the image sensor 43 can be set or changed arbitrarily and freely.
  • the duration and period of the frame status signal FSF and LED control signal LEDC it is possible to set the infrared light emitting diode 15, that is, the stroboscope light emission period, non-light emission period, light emission non-light emission period, etc. It can be changed or set freely.
  • the image sensor 43 when the operation article 150 is irradiated with the infrared light from the infrared light emitting diode 15, the image sensor 43 is exposed by the reflected light from the operation article 150.
  • the pixel data D (X, Y) described above from the image sensor 43 Is output. More specifically, the image sensor 43 has the pixel data shown in FIG. 9 (b) during the period when the frame status flag signal FSF in FIG. 9 (a) is at the high level (infrared light emitting diode 15 is not lit).
  • Analog pixel data D (X, Y) is output as shown in Fig. 9 (c) in synchronization with the trobe PDS.
  • the high-speed processor 200 acquires the digital pixel data through the ADC 208 while monitoring the frame status flag signal F SF and the pixel data slope P DS.
  • the pixel data is output row by row, row 0, row 1, ... row 31.
  • the first pixel of each row is dummy data.
  • FIG. 11 is an example of a game screen displayed on the screen 91 of the television monitor 90 of FIG.
  • the game screen shown in Fig. 11 is the game start screen.
  • screen 9 1 has background 1 1 0, position guides G 1 to G 4, evaluation objects 1 0 7 to 1 0 9, cursor 1 0 5, dance Objects 1 0 6 and span 1 4 1 and 1 4 2 are displayed. Then, automatic music performance starts.
  • the position guides G 1 to G 4 are represented by flower figures
  • the evaluation objects 1 0 7 to 1 0 9 are represented by heart figures
  • the dance object 1 0 6 is represented by a figure in which men and women are dancing
  • the cursor 1 0 5 is represented by a figure imitating the plant 1 5 0.
  • position guy G when the position guys KG 1 to G 4 are expressed comprehensively, they are expressed as “position guy G”.
  • the cursor 1 0 5 represents the position of the operation article 1 5 0 on the screen 9 1, and moves on the screen 9 1 following the movement of the operation article 1 5 0. Therefore, from the viewpoint of the player 94, the operation of the operation article 1 5 0 is synonymous with the operation of the cursor 1 0 5.
  • Position guide G guides the operation timing and movement position of cursor 1 0 5 (operation object 1 5 0) at the timing of the music to be played automatically.
  • Direction guide described later g 1 to g 5 Guides the operation timing and movement direction of the cursor 1 0 5 (operation object 1 5 0) at the timing of the music to be played automatically.
  • the route guides rgl to rgl O which will be described later, guide the operation timing, movement direction, and movement route of Tsukichi Sol 1 05 (operation object 150) at the timing of the music to be played automatically.
  • Evaluation objects 1 0 7 to 1 0 9 visually display the evaluation of the operation of the cursor 1 0 5 (operation object 1 5 0) by the player 94.
  • direction guide g to comprehensively express the direction guides g1 to g5
  • the route guide rgl to rgl O is expressed as “route guide rg” when comprehensively expressed.
  • FIG. 12 is another example of a game screen displayed on the screen 91 of the television monitor 90 of FIG.
  • the position guide G's gradually opening flower shows the position to move the cursor 105.
  • the player 94 is instructed to move the cursor 105 to the area where the position guy G performing the flower opening animation is displayed.
  • the player 94 moves the operation object 150 and moves the cursor 105 to the area where the position guide G where the flower opening animation is displayed is displayed.
  • the position guide G is expressed by the animation that the flower is deflated.
  • the direction of the position guide G in which the flower opening animation is performed indicates the direction in which the force sol 1 0 5 is moved.
  • the player 94 is instructed to move the cursor 105 in the direction of the position guide G where the flower opening animation is performed.
  • the direction in which the cursor 1 0 5 is moved is also guided by the direction guides gl to g 5. That is, direction guide g 1, then direction guide g 2, then direction guide g 3, then direction guide g 4, and then direction guide g 5.
  • Directional guides g 1 to g 5 appear. Therefore, the direction in which the cursor 105 is moved is determined according to the appearance direction of the direction guides g 1 to g 5.
  • each of the direction guides g1 to g5 is a figure that represents a small sphere at the beginning of the appearance, and the sphere gradually increases with time, and after the size reaches the maximum, the sphere breaks. An animation like this is executed.
  • the direction in which the sphere figure appears is the direction in which the cursor 10 5 is moved.
  • the player 94 must move the cursor 10 5 to the area where the position guide G is displayed during a predetermined time when the flower by the position guide G opens.
  • the position guide G guides the operation timing of the cursor 1 0 5 by the animation that the flower opens.
  • the player 9 4 displays a position guide G in which the cursor 1 0 5 has opened a flower during a predetermined time after the sphere figure by the last direction guide g appears.
  • the position guide G also has a function of notifying the operation direction of the cursor 10 5. That is, when the flower bud begins to open according to the position guide G, the player 94 can know the direction in which the cursor 10 5 is next moved. Furthermore, the direction guide g also has a function of notifying the operation direction of the cursor 1 0 5. That is, since the direction guide g appears before the operation timing arrives, the player 94 can also know the direction in which the cursor 10 5 is moved next.
  • the position where the cursor 1 0 5 is moved is guided by an animation in which the flower gradually opens according to the position guide G2.
  • the player 94 is instructed to move the cursor 10 5 to the area where the position guide G 2 where the flower opening animation is displayed is displayed.
  • the direction guide G 2 where the flower opening animation is performed is the direction in which the direction force S and the cursor 105 are moved.
  • the player 94 is instructed to move the cursor 105 in the direction of the position guide G2 where the flower opening animation is performed.
  • the shape of the sphere by the direction guides g 1 to g 5 appears from the position guide G 1 toward the position guide G 2. In this way, the direction guys K g 1 to g 5 are also guided to move the cursor 1 0 5 from the position guy K G 1 to the position guy K G 2.
  • the player 94 must move the cursor 105 to the area where the position guide KG2 is displayed during a predetermined time when the flower by the position guide G2 opens.
  • the player 9 4 displays a position guide G 2 in which a flower is opened at the cursor 1 0 5 during a predetermined time after the sphere figure by the last direction guide g 5 appears.
  • the direction guide g The operation timing of 1 sol 1 0 5 is guided.
  • the player 94 follows the guidance from the position guide G2 and the direction guides g1 to g5, and appropriately operates the operation article 1500 to move the cursor from the position guide G1 to the position guide G2. Is moving. Therefore, an animation in which all of the evaluation objects 1 0 7 to 1 0 9 flash is executed.
  • an animation in which all of the evaluation objects 1 0 7 to 1 0 9 blink is executed.
  • an animation in which only the evaluation object 1 0 8 blinks is executed.
  • the position guides G l, G 3, and G 4 are flower bud shapes because they are not time zones for guiding the operation timing and movement position of the cursor 105.
  • the direction guide g does not appear because it is not the time zone for guiding the operation timing and operation direction of the cursor 1 0 5.
  • FIG. 13 is yet another example of the game screen displayed on the screen 91 of the television monitor 90 of FIG.
  • the four position guides G1 to G4 are animated to open a flower at the same time.
  • the player 94 is instructed to move the cursor 105 along the route and direction guided by the route guide rg :! to rglO.
  • the appearance position of the route guides rgl to rgl 0 indicates the guide route of the cursor 1 0 5.
  • the route guide rg 1 Next, the route guide rg 1, Next, the route guide rg 2, then the route guide rg 3, then the route guide rg 4, ... rg 1 0 appears.
  • each of the route guides rg 1 to g 10 is a figure that represents a small sphere at the beginning of the appearance, and the sphere gradually grows with time.
  • An animation that breaks the ball is executed. In FIG. 13, it is guided that the cursor 1 0 5 is moved counterclockwise along the route guide rgl to gl O starting from the vicinity of the position guide G 3.
  • the dance object 1 0 6 executes an animation corresponding to the route guides rgl to rgl O (for example, an animation that rotates greatly counterclockwise).
  • the objects such as dance objects 10 6 shown in FIGS. 12 and 13 are images of a certain frame of animation.
  • a series of dance objects 10 6 are provided for dance animation.
  • a series of flower graphic object images are prepared for the position guide G animation.
  • a series of spherical object images are prepared for the animation of direction guide g and route guide r g.
  • the dance objects on the game screen shown in FIGS. 11 to 13, 10 6, Position Guy KG, Evaluation Object 1 0 7 to 1 0 9, Cursor 1 0 5, Direction Guide g, and The path guide rg consists of one or more splices.
  • a splice is a rectangular pixel set and can be placed at any position on the screen 91.
  • the position guide KG, evaluation object 10 07 to 10 09, cursor 10 05, direction guide g, and route guide rg are collectively referred to as an object (or object image).
  • object or object image
  • FIG. 14 is an explanatory diagram of the splits that make up the object displayed on screen 91.
  • the dance object 1 0 6 in Figure 11 is an example.
  • it is composed of 12 splices SP 0 to SP 11.
  • Each of the splices SP 0 to SP 11 is composed of, for example, 16 pixels ⁇ 16 pixels.
  • the dance object 106 is placed on the screen 91, for example, it is specified at which coordinate on the screen 91 the center of the splice SP0 in the upper left corner is placed. Then, based on the designated coordinates and the sizes of the splices SP0 to SP11, the coordinates for arranging the centers of the sprites SP1 to SP11 are calculated.
  • FIG. 15 is an explanatory diagram of the panoramic screen displayed on the screen 91 of the television monitor 90 of FIG.
  • the panoramic screen 1 4 0 is composed of, for example, 3 2 X 3 2 blocks “0” to “1 0 2 3”.
  • Each of the block “0” to the block “1 0 2 3” is, for example, a rectangular element composed of 8 pixels ⁇ 8 pixels.
  • array PA [0] to array [JPA [1 0 2 3] and array CA [0] to 'array CA [1 0 2 3] Prepared.
  • the block “0” to the block “1 0 2 3” are expressed in a comprehensive manner
  • the block “0” to the array PA [1 0 2 3] are simply expressed as “Plock”.
  • sequence PA is expressed as “sequence PA”
  • array CA is expressed as “array CA” when the sequences CA [0] to CA [1 0 2 3] are comprehensively expressed.
  • data (pixel pattern data) specifying the pixel pattern of the corresponding block is substituted into the array PA.
  • This pixel pattern data is color information of each pixel of 8 pixels ⁇ 8 pixels constituting the block.
  • the array CA is assigned information specifying the color palette and depth value used for the corresponding block.
  • a force palette consists of a predetermined number of color information.
  • the depth value is information representing the depth of the pixel. If there are multiple pixels at the same position, only the pixel having the largest depth value is displayed.
  • FIG. 16 (a) is an explanatory diagram before scrolling the panoramic view screen 140
  • FIG. 16 (b) is an explanatory diagram after scrolling the panoramic view screen 140.
  • the size of the screen 9 1 of the television monitor 90 is 2 5 6 pixels X 2 2 4 pixels. 2 2 The range of 4 pixels is displayed on screen 91.
  • the horizontal (horizontal) width of the panoramic screen 14 0 is the same as the horizontal width of the screen 9 1, so as shown in Fig. 16 (b), the screen 9 1 The part outside the range (shaded area) ⁇ Displayed on the right edge of screen 9 1.
  • the same plurality of panoramic screens 140 are connected in the horizontal direction.
  • the portion outside the range of screen 9 1 is the block “6 4”, block “9 6”,..., block “8 9 6”, block “9 2” in Figure 15 8 ”, the image defined by the array PA [6 4], ⁇ PA [9 2 8] and the array CA [6 4], ... A [9 2 8] corresponding to these blocks is displayed on the screen.
  • the right-side scrolling process is the same as the left-side scrolling process.
  • the vertical screen (vertical direction) scoring range of the panoramic screen 140 is 16 pixels, the upper and lower ends of the screen 91 are not masked.
  • FIG. 17 is a conceptual diagram showing programs and data stored in ROM 51 of FIG.
  • the ROM 51 stores a game program 3 00, image data 3 0 1, and music data 3 0 4.
  • Image data 30 2 is image data such as object image data (position guide G, direction guide g, route guide rg, evaluation object 1 0 7-1 0 9, and cursor 1 0 5, etc. Including the background image data.
  • the music data 30 4 includes first musical score data 30 5, second musical score data 3 06, and sound source data (waveform data) 3 07.
  • the first musical score data 300 shown in FIG. 17 is data in which music control information is arranged in time series.
  • FIG. 18 is a conceptual diagram showing an example of the first musical score data 300 in FIG. As shown in FIG. 18, the music piece control information includes a command, note pick-up / waiting time information, instrument designation information, velocity, and gate time.
  • the waiting time is the time until the next command is read (the time from one note to the next).
  • the note picker is information that specifies the pitch (pitch) of the sound.
  • the waiting time information is information that specifies the waiting time to be set.
  • the instrument designation information is information for designating which instrument tone is used. Velocity is information on the strength of sound, that is, information on volume. Gate time is the length of time a sound is produced.
  • the second score data 3 06 is data in which guide control information is arranged in time series.
  • the second musical score data 30 06 is used when the guides (position guide KG, direction guide g, and route guide r g) are displayed on the screen 91.
  • the first musical score data 30 5 is musical score data for automatically playing music
  • the second musical score data 3 06 is used to display a guide at a timing that matches the musical composition. It is musical score data.
  • FIG. 19 is a conceptual diagram showing an example of the second musical score data 300 in FIG. As shown in Fig. 19, the guide control information consists of commands, note pick-up waiting time information, and instrument designation information.
  • the musical instrument designation information is the musical instrument (timbre) playing the music.
  • the second score data 3 06 is a number indicating that the guides (position guide G, direction guide g, and route guide rg) appear. '
  • note-on is not a command to make a sound, but a command to instruct the start of the animation of the position guide G and to instruct the start of the appearance of the direction guide g and the route guide rg.
  • the note number is not information that specifies the pitch (pitch) of the note, but indicates which position guide G animation is started, and where the direction guide g and path guide rg appear. It is information to show. This point will be described in detail.
  • FIG. 20 (a) to FIG. 20 (c) are relationship diagrams between the direction in which the cursor 10 5 is guided and the note number.
  • the direction of the arrow indicates the direction in which the cursor 1 0 5 is guided, and the starting point of the arrow is the position guide that has guided the cursor 1 0 5 immediately before.
  • the end point of the arrow indicates the position of the position guide G that guides the cursor 1 0 5.
  • Fig. 20 (a) to FIG. 20 (c) are relationship diagrams between the direction in which the cursor 10 5 is guided and the note number.
  • the direction of the arrow indicates the direction in which the cursor 1 0 5 is guided
  • the starting point of the arrow is the position guide that has guided the cursor 1 0 5 immediately before.
  • the end point of the arrow indicates the position of the position guide G that guides the cursor 1 0 5.
  • note number "5 5" is used when the cursor 1 0 5 is placed from position guy KG 1 to position guy KG 2, and the note pointed to by the score data pointer
  • position guide G and direction guide g shown in Fig. 12 appear.
  • the notebook number “5 7” guides the user to turn the cursor 1 0 5 counterclockwise starting from the position guide G 3. If the note number pointed to by the musical score data pointer is “5 7”, the position guide G and route guide rg shown in Figure 13 appear.
  • note number “81” is dummy data placed at the beginning of second musical score data 300 (see FIG. 19), and is not information for controlling the display of the guide.
  • the first musical score data 3 0 5 and the second musical score data 3 0 6 are aligned.
  • note picker “79” is data indicating the end of the music and is arranged at the end of the second musical score data 300 (see FIG. 19).
  • “7 9” is not information that controls the display of the guide.
  • the CPU 2 0 1 outputs the image sensor 4 3 Obtain digital pixel data converted from the analog pixel data and assign it to the array P [X] [Y]. Note that the horizontal direction (horizontal direction and row direction) of the image sensor 43 is the X axis, and the vertical direction (vertical direction and column direction) is the Y axis.
  • the CPU 20 1 calculates the difference between the pixel data P [X] [Y] when the infrared light emitting diode 15 is turned on and the pixel data P [X] [Y] when the infrared light emitting diode 15 is turned off. Then, the difference data is assigned to the array D if [X] [Y].
  • the pixel data represents luminance. Therefore, the difference data also represents luminance.
  • Fig. 21 (a) is an illustration of an image taken by a general image sensor without special processing.
  • Fig. 21 (b) shows the image signal of Fig. 21 (a).
  • Fig. 21 (c) shows an example of the image signal when the level is discriminated by the threshold, and
  • Fig. 21 (c) shows the image when the image signal when the image sensor 43 is turned on via the infrared filter 17 is level discriminated by a certain threshold.
  • Fig. 21 (d) shows an example of the signal.
  • Fig. 21 (d) shows an example of the image signal when the image signal when the image sensor 43 is turned off via the infrared filter 17 is discriminated at a certain threshold level.
  • (e) is an exemplary diagram of a differential signal between an image signal at the time of lighting and an image signal at the time of turning off.
  • an infrared light is irradiated on the operation article 150 and an image is captured by the reflected infrared light incident on the image sensor 43 via the infrared filter 17.
  • a stroboscope image is taken of the operation article 1 5 0 using a general light source in a general indoor environment, a general image sensor (corresponding to the image sensor 43 in FIG. 5) 2 1
  • not only light sources such as fluorescent light sources, incandescent light sources, and sunlight (windows), but also all images in the room. Reflect. Therefore, it is necessary to use a very fast computer or processor to extract only the image of the operation article 1550 by processing the image of FIG. 2 1 (a).
  • a high-performance computer cannot be used in an inexpensive device. Therefore, it is conceivable to reduce the burden by performing various processes.
  • Fig. 21 (a) is originally an image represented by black and white gradation, but the illustration is omitted.
  • FIGS. 2 1 (a) to 21 (e) the reflection sheet 1 5 5 of the crop 1 5 0 is photographed.
  • Fig. 21 (b) is an image signal when the image signal of Fig. 21 ( a ) is level- discriminated by a certain threshold.
  • level discrimination processing can be executed either with a dedicated hardware circuit or with software, but with either method, level discrimination is performed by applying pixel data of a certain amount of light or less. Then, low brightness images other than the operation article 150 and the light source can be removed.
  • Fig. 21 (b) is an image signal when the image signal of Fig. 21 ( a ) is level- discriminated by a certain threshold.
  • level discrimination processing can be executed either with a dedicated hardware circuit or with software, but with either method, level discrimination is performed by applying pixel data of a certain amount of light or less. Then, low brightness images other than the
  • the difference between the pixel data of the image signal when turned on in FIG. 21 (c) and the pixel data of the image signal when turned off in FIG. 21 (d) was calculated. Then, as shown in Fig. 21 (e), only the difference can be acquired.
  • the image based on the difference data includes only the image obtained by the operation article 150 as clearly shown in FIG. 21 (a). Therefore, the state information of the operation article 1 5 0 can be acquired while reducing the processing.
  • State information is, for example, one of speed information, moving direction information, moving distance information, velocity vector information, acceleration information, moving trajectory information, area information, or position information, or these A combination of two or more of
  • C PU 20 1 calculates the difference between pixel data when the infrared light emitting diode 15 is turned on and pixel data when the infrared light emitting diode 15 is turned off, and obtains difference data.
  • C P U 2 0 1 obtains the coordinates of the attention point of the operation article 1 5 0 based on the calculated difference data D i f [X] [Y]. This point will be described in detail.
  • FIG. 22 is an explanatory diagram of the coordinate calculation of the attention point of the operation article 1 50.
  • the image sensor 4 3 shown in Fig. 2 2 is assumed to be 3 2 pixels ⁇ 3 2 pixels.
  • CPU 2 0 1 scans the difference data for 3 2 pixels in the X direction (horizontal direction, horizontal direction, row direction), and increments the Y coordinate to 3 in the X direction.
  • the difference data for 2 pixels is scanned, the Y coordinate is incremented, and the difference data for 3 2 pixels is scanned in the X direction while incrementing the Y coordinate.
  • C PU 2 0 1 obtains the difference data of the maximum luminance value from the scanned difference data of 3 2 pixels X 3 2 pixels, and compares the maximum luminance value with a predetermined threshold value Th. Then, when the maximum luminance value is larger than the predetermined threshold value T h, the CPU 2 0 1 calculates the coordinates of the focus point of the operation article 1 5 0 based on the coordinates of the pixel having the maximum luminance value. . This point will be described in detail.
  • Fig. 23 (a) is an explanatory diagram of the X-direction scan when calculating the coordinates of the point of interest of the operation object 1550 based on the coordinates of the pixel having the maximum luminance value. Based on the coordinates of the pixel with the brightness value, the explanatory diagram at the start of the Y-direction scan when calculating the coordinates of the point of interest of the operation object 1 5 0, Fig. 2 3 (c)
  • Figure 2 3 (d) is an explanatory diagram of the Y-direction scan when calculating the coordinates of the point of interest of the operation object 1 5 0 based on the coordinates.
  • Figure 2 3 (d) shows the operation object 1 5 It is explanatory drawing of the result at the time of calculating the attention point coordinate of 0.
  • the CPU 201 scans the difference data in the X direction around the pixel coordinate of the maximum luminance value, and the luminance is larger than a predetermined threshold value Th. Detect the value pixel.
  • X 1 1 to 15 are pixels that exceed a predetermined threshold Th.
  • the CPU 201 executes the process for obtaining the point of interest (Xc, yc) as described above every time the frame is updated. Then, the CPU 201 assigns Xc and yc to the arrays PX [M] and Py [M], respectively. “M” is an integer and is incremented by one when the frame displayed on screen 9 1 is updated.
  • C PU 2 0 1 determines in which area a 1 to a 4 on the screen 91 the attention point of the operation article 1 5 0 exists. This point will be explained in detail.
  • FIG. 24 is an explanatory diagram of the attention point presence region determination process (2) by C P U 201.
  • the predetermined area a 1 including the position guide KG 1 the predetermined area a 2 including the position guide G 2
  • the predetermined area a 3 including the position guide G 3
  • Set the predetermined area a4 including the position guide G4.
  • C P U 2 0 1 determines the region to which the attention point (x c, y c) of the operation article 150 belongs from the predetermined regions a 1 to a 4 and stores the determination result in the array J 1 [M].
  • the CPU 201 executes the above determination process every time the frame displayed on the screen 91 is updated.
  • FIG. 25 is an explanatory diagram of the attention point existence area determination process (2) by the CPU 2 0 1. As shown in Fig. 25, areas A 1 to A 4 are set by dividing screen 9 1 into four.
  • the CPU 201 determines a region to which the attention point (x c, y c) of the operation article 150 belongs from the regions A 1 to A4, and stores the determination result in the array J 2 [M].
  • the CPU 20 1 executes the above determination process every time the frame displayed on the screen 91 is updated.
  • the CPU 2 0 1 displays the coordinates (X c, yc) of the attention point of the current operation object 1 5 0 as the coordinates of the cursor 1 0 5 displayed in the next frame. (Store in internal memory 20 7).
  • FIG. 26 is an explanatory diagram of the animation registration process for the direction guide G, the position guide g, and the path guide r g. As shown in Fig.
  • note picker and animation information (position guide G animation table storage position information, position guide G screen 9 1 display coordinates on position guide G, position guide G Display timing information, direction guide g / route guide rg animation table storage location information, direction guide g / route guide rg screen 9 1 display coordinate information on 1 and direction guide g / route Table associated with the display timing information of the guide rg) is prepared in the ROM 51 or the internal memory 20 07.
  • the note number in this table is a note number for controlling the guide display, and is the note number shown in FIGS. 20 (a) to 20 (c). For example, if the note number assigned to the array NN [J] is “5 5”, the CPU 2 0 1 will refer to this table and refer to the animation number associated with the note number “5 5”.
  • (Location guide G animation table storage position information, position guide G screen 9 1 display coordinates, position guide G display timing information, direction guide g animation table The storage position information, the display coordinate information on the screen 91 of the direction guide g, and the display timing information of the direction guide g) are registered (stored in a predetermined area of the internal memory 206).
  • the display timing information is information indicating when the object is displayed on the screen 91.
  • the display timing information of the direction guide g is 0, 6, 1 2,..., 24, the next frame of the currently displayed frame is displayed.
  • Position guide g1 is displayed at coordinates (X3, yl)
  • position guide g2 is displayed at coordinates (X4, yl) after 6 frames, ..., position guide after 2 frames This means that g 5 is displayed at the coordinates (x 7, yl).
  • FIG. 27 shows an example of animation table specified by the animation table storage position information of FIG.
  • the animation table shows the storage position information of animation image data (arranged multiple object image data in time series) and the number of objects to be animated in time series.
  • the animation image data is pixel pattern data.
  • the pixel pattern data, the color palette, and the depth value are related to the splices constituting the object, and the meaning is the same as that related to the block described in FIG.
  • Animation table storage position information The animation table indicated by address 0 is an example of the animation table of position guide G, and the animation table indicated by animation table storage position information addressl is the animation table of direction guide g.
  • the animation table indicated by the animation table storage position information address 2 is an example of the animation table of the route guide rg, and the animation table indicated by the animation table storage position information address 3 is the player 9 This is an example of the position guide G animation table used when the cursor 1 0 5 operation by 4 is successful.
  • the CPU 2 0 1 is the position guide G and direction guide K g or the position guide G and path guide when the player 9 4 operates the cursor 1 0 5 Judges whether or not the operation was performed in conformity with rg,. Specifically:
  • the CPU 2 0 1 moves the cursor 1 to the area currently guided by the position guide G and the direction guide g based on the determination result J 1 [M] by the attention point presence area determination process (1). It is determined whether 0 5 (that is, the attention point of the operation object 1 5 0) exists (see FIG. 24). For example, if the area where the position guide G and the direction guide g are currently guiding is the area a 2 and the area where the cursor 1 0 5 is is the area a 2 It is determined that the cursor 1 0 5 is operated in conformity with the position guide G and the direction guide g.
  • the CPU 201 follows the route currently guided by the position guide G and the route guide rg based on the determination result J 2 [M] by the attention point presence region determination process (2). , It is determined whether or not the cursor 1 0 5 (that is, the attention point of the operation object 1 5 0) has moved (see FIG. 25).
  • the route guided by the guide picker “5 3” in FIG. 20B is area A 3 ⁇ area A 1 ⁇ area A 2 ⁇ area A 4 in FIG.
  • the route guided by guide number “5 7” in FIG. 20 (c) is area A 4 ⁇ area A 2 ⁇ area A 1 ⁇ area A 3 in FIG.
  • CPU 2 0 1 moves cursor 1 0 5 when the route currently guided by position guide G and route guide rg is the route corresponding to guide number “5 3”. If the selected route is region A 3 ⁇ region A 1 ⁇ region A 2 ⁇ region 4, it is determined that the cursor 1 0 5 has been operated in conformity with the position guide G and route guide rg.
  • the CPU 2 0 1 registers the dance animation information corresponding to the position guide G and direction guide g or the position guide G and route guide rg (internal memory 2 0 7 Stored in a predetermined area).
  • the table that associates the dance number with the note number (see Fig. 20 (a) to 20 (c)) that controls the display of the guide is the ROM51 or internal memory.
  • the dance animation information is the same for note pickers with the same guidance direction (for example, note pickers “5 5” and “6 7”).
  • the dance animation information is the same as the animation information shown in Fig. 26.
  • the dance animation table is the same as the animation table shown in Fig. 27.
  • the dance animation image data (image data of multiple dance objects 106 arranged in chronological order) Storage position information, animation dance object number 1 0 6 number arranged in time series, information indicating how many frames each dance object 1 0 6 is displayed (number of continuous frames) This is a table that associates the size of dance object 106, color palette information, depth value information, and splice size.
  • the dance animation image data is pixel pattern data.
  • the second musical score data 3 06 in FIG. 17 includes a note picker for instructing to perform a fast speed dance animation, a note number for instructing to perform a slow speed dance animation, Can be included.
  • a dance animation table with a high speed dance animation tape and a slow speed dance animation table are also prepared.
  • the table that associates the note picker that controls the guide display and the note picker that controls the dance speed with the dance animation information is stored in ROM 5 1 or internal memory 2 0 7 To be prepared.
  • a dance animation table is prepared for each dance speed.
  • the CPU 20 1 registers the storage position information (address 3 in the example of Fig. 27) of the animation table of the position guide G used when the operation is successful.
  • CPU 2 0 1 registers the furniture information for evaluation objects 1 0 7 to 1 0 9 (stores them in a predetermined area of internal memory 2 0 7).
  • This animation information is the same as the animation information in Figure 26. Therefore, this animation information includes storage position information of the animation table for the evaluation objects 1 07 to 1 0 9. This animation table is similar to the animation table in Figure 27.
  • the CPU 2 0 1 performs scroll control corresponding to the position guide G and the direction guide ⁇ or the position guide G and the route guide rg.
  • CPU 2 0 1 corresponds to position guide G and direction guide g, or position guide G and path guide rg, and note numberer that controls the dance speed, and Change the center position of the panoramic screen 1 4 0 (see Fig. 16 (a) and Fig. 16 (b)) and scroll the background 110.
  • the CPU 20 1 changes the data in the corresponding array PA and array CA.
  • FIG. 28 illustrates the relationship between the first musical score data 30 5, the second musical score data 30 06, the direction guide G, the position guide g, the operation determination, and the dance animation.
  • the thick line indicates the processing execution period
  • the black circle at the left end of the thick line indicates the start of the process
  • the black circle on the right side of the thick line indicates the end of the process.
  • the reading start time of the second musical score data 3 06 is a predetermined time from the starting time T 1, T 2,. t as fast as possible. Therefore, the direction guide g is displayed earlier by a predetermined time t than T 1 to T 3 when the corresponding note number of the first musical score data 3 05 is read out, and the first musical score data 3 0 5 Displayed from T1 to T3 (for example, between 60 frames) when the corresponding note picker is read.
  • the position guide G starts the animation by a predetermined time t earlier than ⁇ ⁇ ⁇ 1 to ⁇ 3 when the corresponding note number of the first score data 3 0 5 is read out, When the corresponding note number of the musical score data 3 0 5 is read out, the animation continues until a little after T 1 to T 3.
  • CPU 2 0 1 is operated by force guide 1 0 5 in direction guide g and position guide G. Judgment as to whether or not it has been performed is started after a certain period of time has elapsed from the start of display of the direction guide g (for example, after 30 frames have elapsed), and the first score data 3 0 5 Note pick-up is read. 3 ⁇ 4 Ends from T1 to T3.
  • the CPU 2 0 1 determines that the operation of the cursor 1 0 5 has been performed in conformity with the direction guide g and the position guide G, the CPU 2 0 1 registers the dance animation information at the end of the determination period. The Therefore, in this case, a dance animation is executed based on the registered dance animation information.
  • the reason why the start time of reading the second musical score data 3 06 is earlier than the start time T 1, T 2,. It is as follows. That is, the player 94 starts the operation of the operation article 1550 after the guidance by the direction guide g and the position guide G is started, so that the time error is adjusted to adjust the time error. Guide G was displayed earlier than the timing of the song.
  • the display timing of the route guide r g is the same as the display timing of the direction guide G. However, for example, whether or not the operation of the cursor 105 matches the route guide rg is determined between the start and end of the guidance by the route guide rg (for example, during 60 frames).
  • the CPU 2 0 1 displays the information necessary for drawing during the vertical blanking period based on the information registered by the cursor control processing, guide control processing, and dance control processing. Give to 7 graphics processor 2 0 2. Then, the graphic processor 20 2 generates a video signal based on the given information and outputs it to the video signal output terminal 47. As a result, the game screen including the position guide G, the background 110, and the like is displayed on the screen 91 of the television monitor 90. More specifically, it is as follows.
  • the CPU 2101 calculates the display coordinates of each sprite constituting the cursor 1105.
  • the CPU 20 1 displays the display coordinate information, color palette information, depth value, size information, pixel pattern data storage position information, and the like for each of the sprites constituting the cursor 10 5.
  • the processor 202 Based on this information, the processor 202 generates a video signal representing the cursor 1 0 5 and outputs it to the video signal output terminal 47.
  • the CPU 201 refers to the animation table based on the animation table storage position information included in the animation information registered in the guide control process, and guides (position guide G, direction guide Kg, route guide). (rg) Get the size information of the objects that make up the animation image and the size information of the splices that make up the object. Then, the CPU 201 calculates the display coordinates of each sprite constituting the object based on the information and the display coordinate information included in the registered animation information. The CPU 2 0 1 also displays the object number of the position guide G to be displayed, the objects included in the animation table, the size information of the splice, and the position guide G included in the animation table. Based on the animation image data storage position information of, the pixel pattern data storage position information of each sprite constituting the object is calculated.
  • the CPU 2 0 1 refers to the animation table, and displays the color palette information, depth value, span, and size information of each spline constituting the position guide G for each splice. Together with the pixel pattern data storage position information and display coordinate information for the graphic processor 202. In this case, the CPU 201 sends the above information to the graphic processor 202 according to the display timing information of the position guide G included in the registered animation information and the number of sustained frames in the animation table. give.
  • the direction guides g1 to g4 and the route guides rgl to rgl O are the timings indicated by the display timing information included in the animation information, and a plurality of display coordinate information included in the animation information indicates Since each of the direction guides g1 to g4 and the route guides rgl to rgl O starts to be displayed, the CPU 201 is included in the registered animation information. Referring to the display coordinate information and display timing information, direction guides g1 to g4 and route guide Information about id rgl to rgl O is given to graphics processor 202.
  • the graphics processor 202 Based on the information given as described above, the graphics processor 202 generates a video signal representing the guide (position guide G, directional force 'Kg, path guide rg), and outputs the video signal. Output to output terminal 47.
  • the CPU 201 refers to the dance animation table based on the dance animation table storage location information included in the dance animation information registered in the dance control process, and the dance object that constitutes the dance animation image. Get the size information of 1 0 6 and the size information of the splits that make up the dance object 1 0 6. Then, the CPU 201 calculates the display coordinates of each sprite constituting the dance object 106 based on this information and the display coordinate information included in the registered dance animation information. To do.
  • the CPU 2 0 1 is the number of the dance object 1 0 6 to be displayed, the dance object 1 0 6 and the size information of the splice included in the dancer table, and the dance Based on the dance animation image data storage location information included in the animation table, the pixel pattern data storage location information of each sprite constituting the dance object 106 is calculated.
  • the CPU 201 refers to the dance animation table and obtains the color palette information, the depth value, and the size information of each sprite constituting the dance object 10 6.
  • the pixel pattern data storage position information and display coordinate information are given to the graphic processor 202.
  • the CPU 201 graphs the above information according to the display timing information included in the registered dance animation information and the number of sustained frames in the dance animation table. Give to processor 20 2.
  • the CPU 201 stores information necessary for generating a video signal based on the animation information and the animation table for the evaluation objects 10 07 to 10 09 registered in the dance control process. Acquired and given to graphic processor 2 0 2. In this case, the acquisition and contents of information given to the graphics processor 20 2 by the CPU 2 0 1 are the same as in the case of the dance object 1 0 6.
  • the graphics processor 202 A video signal representing the dance object 1 0 6 and the evaluation object 1 0 7 to 1 0 9 is generated and output to the video signal output terminal 4 7.
  • the CPU 2101 is the pitch (pitch) indicated by the note picker included in the music control information and the instrument designation information.
  • the sound processor 2 0 3 is given the head address in which the waveform data corresponding to the instrument (tone) indicated by is stored.
  • the CPU 20 0 1 gives the head address storing the necessary envelope data to the sound processor 20 3.
  • the CPU 2 0 1 performs pitch control according to the pitch (pitch) indicated by the note picker included in the music control information.
  • Information and volume information included in the music control information are provided to the sound processor 203.
  • the pitch control information is used for pitch conversion performed by changing the period for reading waveform data.
  • the sound processor 203 reads and accumulates the pitch control information at regular intervals. Then, the sound processor 203 processes this accumulated result to obtain an address pointer of waveform data. Therefore, if the pitch control information is set to a large value, the address pointer is incremented quickly, the waveform data frequency is increased, and if the pitch control information is set to a small value, the address pointer is incremented slowly. As a result, the frequency of the waveform data is lowered. In this way, the sound processor 203 performs the pitch conversion of the waveform data.
  • the sound processor 203 reads out the waveform data stored in the position indicated by the given head address from the ROM 51 while incrementing the address pointer based on the given pitch control information.
  • the sound profiler 20 3 then converts the envelope data and Multiply the volume information to generate an audio signal. In this way, the tone signal, pitch (pitch), and volume of the musical instrument indicated by the first score data 305 are generated and output to the audio signal output terminal 4 9. .
  • the CPU 2 0 1 manages the gate time included in the read music control information. Accordingly, the CPU 2 0 1 instructs the sound processor 203 to end the sound generation of the corresponding musical sound when the gate time has elapsed. In response to this, the sound processor 20 3 ends the sound generation of the instructed musical sound.
  • a music piece is reproduced based on the first musical score data 30 5 and is generated from a speaker (not shown) of the television monitor 90.
  • FIG. 29 is a flowchart showing the overall processing flow of the music game apparatus 1 of FIG.
  • CPU 2 0 1 performs the initial system setup.
  • the CPU 201 calculates the state information of the operation article 1 5 0.
  • the CPU 2 0 1 executes game processing based on the state information of the operation article 1 5 0 calculated in step S 2.
  • the CPU 201 determines whether “Mj is smaller than a predetermined value“ K ”. If “M” is equal to or greater than the predetermined value “K”, the CPU 2 0 1 proceeds to step S 5, substitutes “0” for “Mj”, and proceeds to step S 6.
  • C P U 201 proceeds from step S4 to step S6. This “ ⁇ ” will become clear in the following explanation.
  • step S 6 the CPU 2 0 1 determines whether to wait for a video synchronization interrupt.
  • the CPU 201 gives image information for updating the display screen of the television monitor 90 to the graphics processor 202 after the start of the vertical blanking period (step S7). Therefore, when the calculation process for updating the display screen is completed, the process is not allowed to proceed until there is a video synchronization interrupt. If “YES” in step S 6, that is, if the video synchronization interrupt is awaited (if there is no interrupt by the video synchronization signal), the process returns to the same step S 6. On the other hand, if “NO” in step S 6, that is, if the video synchronization interrupt is not waited (the video synchronization signal If so, go to step S7.
  • step S 7 the CPU 20 1 uses the result of the game processing in step S 3 to display the image information necessary for generating the game screen (see FIG. 11 to FIG. 13) in the vertical blanking period. To the graphic processor 2 0 2 (image display processing).
  • FIG. 30 is a flowchart showing the initial setting process in step S 1 of FIG. As shown in FIG. 30, in step S 1 0, C PU 2 0 1 initializes the score data pointer for the guide. In step S 11, the CPU 20 1 sets the execution waiting counter for the guide to “0”.
  • step S 1 2 the CPU 2 0 1 initializes the score data boyar for music.
  • step S 1 3 the CPU 20 1 sets the execution stand-by counter for music to “t”.
  • step S 14 CPU 2 0 1 executes the initial setting process of image sensor 4 3.
  • step S 15 the CPU 201 initializes various flags and various force counters.
  • step S 16 the CPU 20 1 sets the timer circuit 2 10 as an interrupt source for sound generation. Note that, by the interrupt processing, processing by the sound processor 203 is executed, and sound is output from the speaker power of the television monitor 90.
  • FIG. 31 is a flowchart showing the flow of the sensor initial setting process in step S 14 of FIG.
  • the high speed processor 200 sets the command “CONF” as setting data.
  • this command “CONF” is a command for notifying the image sensor 43 that the setting mode for transmitting the command from the high speed processor 200 0 is entered.
  • command transmission processing is executed.
  • FIG. 32 is a flow chart ⁇ ⁇ showing the flow of command transmission processing in step S 21 of FIG.
  • the slow processor 200 sends the setting data (command "CONF" in step S21) to the register data (I / O port).
  • the register setting clock C LK I ZO port
  • step S 3 2 set the register setting clock CLK to high level.
  • step S 3 5 the register setting clock CLK is set to the low level again in step S 3 5.
  • step S 22 the pixel mode is set and the exposure time is set.
  • the image sensor 4 3 is a CMO image sensor having 3 2 pixels X 3 2 pixels as described above, 3 2 pixels X in the pixel mode register of the setting address “0”. 3 Set “O h” to indicate 2 pixels.
  • the high speed processor 20 00 executes a register setting process.
  • FIG. 34 is a flowchart showing the flow of register setting processing in step S 23 of FIG.
  • the high-speed processor 20 00 sets the command "MOV" + address as the setting data, and in the next step S41, Fig. 3 2 Execute the command transmission process described earlier in and send it.
  • step S 4 2 the high speed processor 2 0 0 sets the command “LD” + data as setting data, executes command transmission processing in the next step S 4 3, and transmits it.
  • step S 4 4 the high speed processor 2 0 0 sets the command “SET” as setting data, and transmits it in the next step S 4 5.
  • the command “MOV” is a command indicating that the address of the control register is transmitted
  • the command “LD” is a command indicating that the data is transmitted
  • the command “SET” is the actual data at that address. It is a command to set to. This process is repeated when there are multiple control registers to be set.
  • step S24 the setting address is set to "1" (indicating the Ronible address of the exposure time setting register), and the FF h "low niple data” Fh "indicating the maximum exposure time is set as data to be set.
  • step S 25 the register setting process shown in FIG. 34 is executed.
  • step S 2 In 6 the setting address is “2” (indicating the address of the hivable in the exposure time setting register), and the data to be set in the “FF h” hidable data “F h” indicating the maximum exposure time.
  • step S27 register setting processing is executed.
  • step S 2 8 the end of setting is indicated, and the command “RUN” for starting output of data to the image sensor 4 3 is set, and the command is transmitted in step S 29.
  • the sensor initial setting process in step S 14 shown in FIG. 30 is executed.
  • the specific examples shown in FIGS. 31 to 34 can be appropriately changed according to the specifications of the image sensor 43 used. .
  • FIG. 35 is a flowchart showing the flow of the state information calculation process in step S2 of FIG.
  • CPU 2 0 1 acquires digital pixel data from AD C 2 0 8. This digital pixel data is obtained by converting analog pixel data from the image sensor 43 to digital by the AD C 2 0 8.
  • step S 51 attention point extraction processing is executed. Specifically, the CPU 201 calculates the difference between the pixel data when the infrared light emitting diode 15 emits light and the pixel data when the infrared light emitting diode 15 turns off, and obtains difference data. Then, the CPU 2 0 1 detects the maximum value of the difference data and compares it with a predetermined threshold value h. Furthermore, when the maximum value of the difference data exceeds a predetermined threshold value T li, the CPU 2 0 1 displays the coordinates of the pixel having the difference data of the maximum value on the screen 9 1 of the television monitor 90. To the coordinates of the target point of the operation object 1 5 0.
  • step S 52 the CPU 20 1 determines whether the attention point of the operation object 1 5 0 exists in any of the areas a 1 to a 4 in FIG. Store in 1 [M].
  • step S 53 the CPU 20 01 determines whether the attention point of the operation object 1 5 0 exists in any of the areas A 1 to A 4 in FIG. 2 [M] Store.
  • FIG. 36 is a flowchart showing the pixel data group acquisition process in step S 50 of FIG.
  • CPU 20 1 sets “1” as the element number of pixel data array and “0” as Y To do.
  • dummy data is output as the data of the first pixel in each row. Therefore, “1” is set as the initial value of X.
  • step S 6 1 pixel data acquisition processing is executed.
  • FIG. 37 is a flowchart showing the pixel data acquisition process in step S 61 of FIG.
  • the CPU 2 0 1 checks the frame status flag signal FSF from the image sensor 4 3 and in step S7 1 its CPU (low level register) is checked. Determine whether or not a force has occurred.
  • the CPU 2 0 1 converts the analog pixel data input to the AD C 2 0 8 digitally. Instructs to start conversion to data.
  • the pixel slope PDS from the image sensor 43 is checked in step S73, and it is determined in step S74 whether an up edge from the low level to the high level of the strobe signal PDS has occurred.
  • step S 75 If “NO” is determined in step S 75, it is the second and subsequent pixel data in the row, so in steps S 76 and S 78, the pixel data at that time is obtained and the temporary register The pixel data is stored in (not shown). Thereafter, the process proceeds to step S 62 in FIG.
  • step S 62 of FIG. 36 the pixel data stored in the temporary register is substituted into the pixel data array P [Y] [X].
  • Increment X in subsequent step S 63 If the value is less than 32, the processes from S 61 to S 63 are repeated. If X is 32, that is, if the acquisition of pixel data has reached the end of the row, then in step S65, X is set to ⁇ —1 ”, and in step S66, Y is incremented. From the beginning of the next line Repeat the pixel data acquisition process.
  • FIG. 38 is a flowchart showing the flow of attention point extraction processing in step S 51 in FIG.
  • the CPU 20 1 receives the pixel data from the image sensor 43 when the infrared light emitting diode 15 is turned on and the infrared light emitting diode 15 is turned off. Calculate the difference between the pixel data of the hour and and get the difference data.
  • the CPU 201 assigns the calculated difference data to the array D i f [X] [Y].
  • step S 8 2 the CPU 2 0 1 scans all elements of the array D i f [X] [Y].
  • step S 83 the CPU 2 0 1 detects the maximum value of all elements of the array D i f [X] [Y]. If the maximum value of the CPU 201 is larger than the predetermined threshold value Th, the process proceeds to step S85, and if it is equal to or less than the predetermined threshold value Th, the process proceeds to step S4 in FIG. Step S 84).
  • step S 85 the CPU 201 calculates the coordinates (X c, Y c) of the attention point of the operation article 1 5 0 based on the coordinates of the maximum value.
  • step S 8 7 the CPU 20 1 changes the coordinates (X c, Y c) of the target point on the image sensor 4 3 to the coordinates (xc, yc) on the screen 9 1 of the television monitor 90. Convert.
  • step S 8 8 the CPU 20 1 assigns X c to the array PX [M] as the x coordinate of the Mth point of interest, and uses the array P y [M as the y coordinate of the Mth point of interest. Substitute yc for].
  • FIG. 39 is a flow chart showing the flow of attention point coordinate calculation processing in step S 85 in FIG. As shown in Figure 39, at step S 1 0 0, the CPU 20 1
  • CPU 20 1 has the difference data D if [m] [ ⁇ ] If it is larger than the predetermined threshold value T h, the process proceeds to step S 1 0 3, and if not, the process proceeds to step S 1 04 (step S 1 0 2).
  • step S 1 03 CPU 2 0 1 assigns “m” at that time to “mr”.
  • step S 104 CPU 20 1 substitutes the maximum X coordinate obtained in step S 83 for “m”.
  • step S 1 0 5 CPU 2 0 1 decrements “m” by one.
  • the CPU 20 1 proceeds to step S 1 0 7 if the difference data D if [m] [n] is greater than the predetermined threshold value T h, and proceeds to step S 1 0 8 otherwise.
  • Step S 1 06 the CPU 20 1 substitutes “m” at that time into “m 1”.
  • scanning is performed from the maximum value in the negative direction of the X axis, and the difference data of the extreme end whose value exceeds the predetermined threshold value Th is determined. Find the X coordinate.
  • step S 1 0 8 the CPU 20 1 calculates the center coordinate between the X coordinate mr and the X coordinate ml and sets it as the X coordinate (X c) of the target point.
  • step S 1 0 9 CPU 20 1 sets “X c ” obtained in step S 1 0 8 and the maximum Y coordinate obtained in step S 8 3 to “m” and ⁇ n, respectively. substitute.
  • the CPU 2 0 1 proceeds to step S 1 1 2 if the difference data D if [m] [n] is greater than the predetermined threshold value T h, otherwise proceeds to step S 1 1 3 (Step Sll).
  • step S 1 1 2 the CPU 20 1 assigns “n” at that time to “md”. In this way, while repeating steps 3 1 1 0 to 3 1 1 2, scan from the maximum value in the positive direction of the Y-axis, and the Y coordinate of the extreme difference data whose value exceeds the predetermined threshold Th Ask for.
  • step S 1 1 CPU 201 substitutes the maximum Y coordinate obtained in step S 8 3 for “n”.
  • step S 1 1 CPU 2 0 1 decrements “n” by one.
  • the CPU 20 1 proceeds to step S 1 1 6 if the difference data D if [m] [n] force is greater than the predetermined threshold value T h, and proceeds to step S 1 1 7 otherwise (step S 1 1 7 S 1 1 5).
  • step S 1 1 6 CPU 2 0 1 Substitute “n” at that time into “mu”. In this way, while repeating steps S 1 1 4 to S 1 1 6, scanning from the maximum value in the negative direction of the Y-axis, the difference data of the extreme end whose value exceeds the predetermined threshold Th Find the Y coordinate.
  • step S 1 17 the CPU 201 calculates the center coordinate between the Y coordinate m d and the Y coordinate mu, and sets it as the Y coordinate (Y c) of the target point. As described above, the coordinates (Xc, Yc) of the point of interest of the plant 1 50 are calculated.
  • FIG. 40 is a flowchart showing the game process flow in step S 3 of FIG. 29.
  • the CPU 2 0 1 checks the music end flag (see step S 1 96 in FIG. 43). If it is not the end of the song, go to step S 1 2 1
  • step S 1 2 the CPU 2 0 1 moves the X coordinate P x [M] and y coordinate P y [M] of the target point of the operation object 1 5 0 to the screen of the cursor 1 0 5 9 1 Register as the upper display coordinates.
  • the CPU 2 0 1 repeats the process between step S 1 2 2 and step S 1 44 twice.
  • “; j” means guide display number J (see Fig. 43).
  • step S 1 2 C P U 20 1 checks the guide start flag G F [j] (see step S 1 94 in FIG. 43). If the guide start flag G F [j] is on, C P U 2 0 1 proceeds to step S 1 25, otherwise proceeds to step S 1 44 (step S 1 24). In step S 1 25, CPU 20 1 checks frame counter C [j]. If CPU 2 0 1 is greater than frame counter C [j] force S “0”, go to step S 1 2 8; if frame counter C [j] force S “0”, step S 1 2 Proceed to step 7 (step S 1 26). In step S 1 2 7, the CPU 2 0 1 registers the animation information of the position guide G according to the note number NN [j], and the animation information of the direction guide g or the route guide rg. Register. Only when the frame counter C [j] is “0”, such animation information is registered. Once the animation information is registered, the animation is then registered according to the registration information. Because it is executed, it is registered only at the start of the animation.
  • step S 1 2 the CPU 2 0 1 checks the note number NN [j]. If it is a note picker that instructs the cursor 1 0 5 to turn (see Fig. 20 (b) and Fig. 20 (c)), go to step S1 3 1, and if it is any other note picker (See Fig. 20 (a)), go to step S 1 29.
  • step S 1 2 9 the CPU 2 0 1 checks the frame counter CU]. The CPU 2 0 1 proceeds to step S 1 3 1 if the frame counter [j] is greater than or equal to the specified number of frames f 1, otherwise proceeds to step S 1 4 1 (step S 1 3 0).
  • step S 1 3 the CPU 20 1 determines whether or not the operation of the cursor 1 0 5 conforms to the guide (position guide G / direction guide g / route guide rg) ( Success determination).
  • the note number NN [j] is a note number that directs the cursor 1 0 5 to turn
  • the frame force counter C [ ] ⁇ ] Regardless of the position guide G and route guide rg (from frame counter C [j] is “0J”), the success of the cursor 1 0 5 operation has been determined.
  • the position guide G and direction guide g are displayed (the frame counter C [j] 0 ”), after a specified number of frames f 1 (for example, 30 frames), the success of the operation of cursor 1 0 5 is determined (see FIG. 28).
  • step S 1 3 3 the CPU 20 1 proceeds to step S 1 3 3 if the operation of the cursor 1 0 5 is successful, and proceeds to step S 1 if it is not successful. Proceed to 1 40 (step S 1 3 2).
  • the CPU 2 0 1 refers to the note number NN [j] and the dance speed flag DF (step S 1 9 3 in FIG. 4 3, step SI 9 0 and step S 1 9 2), register dance animation information. If the operation is successful, the background 1 1 0 should be scrolled.
  • the CPU 2 0 1 changes the center position of the panoramic screen 1 40 with reference to the note picker NN [j] and the dance speed bracket DF. , And the corresponding data in array PA and array CA are changed.
  • C PU 2 0 1 registers the animation table storage position information of position guide G used when the operation is successful.
  • step S 1 34 CPU 2 0 1 checks note picker NN [j], and if it is a note picker instructing turning of cursor 1 0 5, step S 1 3 Proceed to step 7. If it is any other note picker, proceed to step S 1 3 5.
  • step S 1 3 5 CPU 2 0 1 checks frame counter C [j]. The CPU 2 0 1 proceeds to step S 1 3 7 if the frame counter U] is greater than or equal to the prescribed number of frames f 2, otherwise proceeds to step S 1 3 8 (step S 1 3 6) .
  • step S 1 3 7 the CPU 2 0 1 adds “3” to the score S. On the other hand, “1” is added to the score S in step S 1 3 8.
  • step S 1 3 7 “3” is added to score S, and in step S 1 3 8, “1” is added to score S for the following reason.
  • the frame counter CU is “0” (for example, 1 If cursor 1 0 5 exists in the area of position guide G at 0 frame)
  • “3” is added as if cursor 1 0 5 was operated with the best timing.
  • step S 1 39 C P U 2 0 1 checks the frame counter C [j].
  • the CPU 2 0 1 proceeds to step S 1 4 2 if the frame power counter C [j] is equal to the specified frame number f 3 (eg, 60 frames), otherwise it proceeds to step S 1 4 1 Proceed to (Step S 1 4 0).
  • step S 14 1 C P U 2 0 1 increments the frame counter C [; j] by one.
  • step S 1 42 C P U 2 0 1 sets “0” to the frame counter C [j].
  • step S 14 3 the CPU 2 0 1 turns off the guide start flag G F [j].
  • the specified number of frames f3 defines the end of success determination.
  • FIG. 41 is a flowchart showing the flow of interrupt processing. As shown in FIG. 41, at step S 1 5 0, C P U 2 0 1 executes a music playback process. In step S 1 51, C P U 2 0 1 executes guide registration processing (position guide G, direction guide g, route guide r g).
  • Fig. 4 2 is a flowchart showing the flow of the music playback process in step S 1 500 of Fig. 4 1. It is As shown in FIG. 42, in step S 1 60, 0 PU 2 0 1 checks the execution standby counter for music. If the value of the execution stand-by counter for music is “0”, go to step S 16 2, and if not “0”, go to step S 1 70 (step S 1 6 1). In step S 1700, CPU 2 0 1 decrements the execution standby counter for music.
  • step S 1 6 2 C P U 2 0 1 reads and interprets the command indicated by the musical score data pointer for music. If the command is not on, go to step S 1 6 4 (step S 1 6 3). On the other hand, if the command is not note-on, that is, if it is standby, the process proceeds to step S 1 6 5. In step S 1 65, CPU 2 0 1 sets the waiting time in the music execution waiting counter.
  • step S 1 6 the CPU 2 0 1 causes the sound processor 2 0 3 to start sounding in accordance with the read “tona”.
  • step S 1 6 6 the CPU 2 0 1 increments the score data pointer for music.
  • step S 1 6 7 C P U 2 0 1 checks the remaining pronunciation time for the note pick-up being pronounced. If the remaining pronunciation time is “0”, the process proceeds to step S 1 6 9; otherwise, the process proceeds to step S 1 5 1 in FIG. 4 1 (step S 1 6 8). In step S 1 69, the CPU 2 0 1 causes the sound processor 2 0 3 to execute the sound end process of the note picker whose remaining sounding time is “0”.
  • Fig. 4 3 is a broach chart showing the flow of the guide registration process in step S 1 51 of Fig. 41.
  • C P U 2 0 1 checks the execution waiting counter for the guide. If the value of the execution standby counter for guide S is “0”, the process proceeds to step S 1 8 2, and if it is not “0”, the process proceeds to step S 1 9 8 (step S 1 8 1).
  • step S 1 98 CPU 2 0 1 decrements the execution waiting counter for the guide.
  • step S 1 8 2 CPU 2 0 1 reads and interprets the command pointed to by the musical score data pointer for guide. If the command is “not”, the CPU 2 0 1 proceeds to step S 1 8 4 (step S 1 8 3). On the other hand, if the command is not “Note On”, that is, if the command is standby, the CPU 2 0 1 proceeds to Step S 1 9 7. In step S 1 9 7, CPU 2 0 1 Set the waiting time in
  • step S 1 9 6 The CPU 2 0 1 proceeds to step S 1 9 6 if the note number means the end of the music, otherwise proceeds to step S 1 8 5 (step S 1 8 4). .
  • step S 1 96 CPU 2 0 1 turns on the music end flag. —Meanwhile, CPU 2 0 1 proceeds to step S 1 95 if the note picker means start of music, otherwise proceeds to step S 1 8 6 (step S 1 8 5) . If the guide display number J is “1”, the CPU 2 0 1 sets the guide display number J to “0” and the guide display number J to “1” in step S 1 8 8. Otherwise (if it is “0”), guide display number J is set to “1” in step S 1 8 7. Note that the guidance by one position guide G and the guidance by another position guide G start at different timings, but may be executed repeatedly for a certain period. The game process of step S3 in Fig. 29 is executed.
  • step S 1 90 the note picker is a noon picker that instructs to perform fast-speed dance animation. Otherwise, step S 1 9 1 Go to (Step S 1 8 9).
  • step S 1900 the CPU 2 0 1 sets the Dacis speed flag DF to “1” (high-speed dance animation).
  • step S 1 9 2 the CPU 2 0 1 proceeds to step S 1 9 2 if the note picker is a noon picker that instructs to perform a slow-speed dance animation, otherwise it proceeds to step S 1 9 Proceed to step 3 (step S 1 9 1).
  • step S 1 92 2 the CPU 2 0 1 sets the dance speed flag DF to “0” (slow speed dance animation).
  • note picker can be any note picker that represents the end of a song, note picker that represents the start of a song, note picker that represents a fast-speed dance animation, or note picker that represents a slow-speed dance animation. If not, the note picker is a note picker representing the type of guide (Fig. 20 (a) to Fig. 20 (c)), so the CPU 2 0 1 at step S 1 93 Assign that non-namer to the array NN [J]. In step S 1 94, CPU 2 0 1 turns on guide start flag GF [J]. In step S 1 95, CPU 2 0 1 increments the score data pointer for the guide.
  • FIG. 44 is an illustration of a game screen to which another example of the direction guide g is applied.
  • a strip-shaped direction guide g 20 is displayed so as to extend from the position guide G 1 to the position guide KG 2.
  • This direction guide g 2 0 extends from the position guide K G 1 to the position guide G 2 over time.
  • the direction in which the cursor 10 5 is operated is guided by the direction in which the direction guide g 20 extends.
  • the direction guide g 2 0 It is also possible to guide the operation timing. It can also be said that the direction guide g 2 0 is expressed by gradually changing the color of the route from the position guide G 1 to the position guide G 2.
  • FIG. 45 is an illustration of a game screen to which still another example of the direction guide g is applied.
  • a direction guide g 30 is displayed between the position guide G and another position guide G on the game screen.
  • This direction guide g 30 includes five partial paths g 3 1 to g 3 5.
  • the colors of the five partial paths g 3 1 to g 3 5 change in order from the position guide G 1 to the position guide G 2.
  • the color change is indicated by hatching. In this way, the operation direction of the cursor 1 0 5 can be guided by the direction of color change of the partial paths g 3 1 to g 3 5.
  • the success of the operation of the cursor 1 0 5 is determined by a predetermined time from when the color of the partial path g 3 5 adjacent to the position guide G 2 that guides the movement position of the cursor 1 0 5 changes. In this period, the operation timing of the cursor 1 0 5 can be guided by the direction guide g 3 0.
  • FIG. 46 shows an example of a game screen to which still another example of the direction guide g is applied.
  • a direction guide g 40 is displayed on the game screen between the position guide G 1 and the position guide G 2.
  • This direction guide g 40 moves from the position guide KG 1 to the position guide G 2 as time passes.
  • the direction in which the cursor 1 0 5 is operated is guided by the direction in which the direction guide g 4 0 moves.
  • the cursor 10 0 If it is the period of the success judgment of the operation of 5, the operation timing of the cursor 105 can be guided by the direction guide g40.
  • the operation of the cursor 105 when the operation of the cursor 105 is adapted to the guide (position guide G, direction guide Kg, route guide rg), the guidance according to the guide is used.
  • the display of the image in the above example, the dance object 106 and the background 110
  • the display of the image is controlled according to the operation of the cursor 105.
  • the operation object 150 that is intermittently irradiated with light by the stroboscope is photographed by the imaging unit 13 to obtain state information of the operation object 150. For this reason, in order to obtain the state information of the operation article 150, it is not necessary to incorporate a circuit driven by the power source in the operation article 150. Further, the music game apparatus 1 automatically plays music.
  • the guide is controlled at a timing based on the music, if the player 94 operates the cursor 105 according to the guide, the operation of the operation article 150 is also adapted to the music. Therefore, the player 94 can enjoy the operation of the operation article 150 suitable for the music.
  • the high-speed processor 200 scrolls the background 1 1 0 to the left and rotates the dance object 1 0 6 counterclockwise corresponding to the note numbers “55” and “6 7”.
  • the high speed processor 200 corresponds to the note numbers “45” and “64”, scrolls the background 110 to the right, and dance animation information to rotate the dance object 106 clockwise.
  • the high-speed processor 20 0 scrolls the background 1 1 0 downward corresponding to the note numbers “76” and “77”, and rotates the dance object 1 06 counterclockwise. Dancer Prepare animation information and dance animation table.
  • the high-speed processor 2 0 0 scrolls the background 1 1 0 upward corresponding to the note numbers “6 5” and “7 4”, and also turns the dance object 1 0 6 clockwise.
  • dance animation information and a dance animation list table for rotating the dance object 106 in a clockwise direction are prepared.
  • dance animation information and a dance animation table for rotating the dance object 106 in a counterclockwise direction are prepared corresponding to the note number “5 7”.
  • note pickers are note pickers that control the display of the guide, so the background 1 1 0 and the dance object 1 0 6 are It will be controlled according to the guide. In other words, the background 110 and the dance object 106 are controlled in accordance with the operation of the operation article 150.
  • the position guide G guides the movement position and operation timing of the cursor 105.
  • the high-speed processor 20 0 corresponds to the direction of the moving position guided by the position guide G when the operation of the cursor 1 0 5 by the operation object 1 5 0 is adapted to the guidance of the position guide G. Then, the display of the image (in the above example, the dance object 10 06 and the background 110) is controlled.
  • the route guide rg guides the moving route, moving direction, and operation timing of the cursor 10 5. Accordingly, the player 9 4 operates the operation article 1 5 0 to move the cursor 1 0 5 at the operation timing guided by the route guide rg.
  • the route guide rg When moving along the movement route guided by, the image (in the above example, (Object object) display is controlled. As a result, it is possible to enjoy an image according to the movement of the cursor 10 5 that is linked to the operation of the operation article 1 5 0 together with the music (see FIG. 13).
  • the operation article 1 50 when the position of the point of interest of the operation article 1 50 is within the area guided by the position guide G within the period guided by the position guide G, the operation article It is determined that the operation of cursor 1 0 5 linked to 1 5 0 is appropriate for the guidance of position guide G (see Fig. 24).
  • the position of the point of interest of the operation object 1 5 0 moves in a predetermined order guided by the route guide rg through a plurality of predetermined areas guided by the route guide rg within the period guided by the route guide rg.
  • the operation of the force 1 105 linked to the operation object 1 5 0 is suitable for the guidance of the route guide rg (see Fig. 25).
  • the accuracy of the operation of the cursor 105 can be determined based on the position of the attention point of the operation object 150 that can be calculated by simple processing.
  • the position guide G is displayed at each of a plurality of predetermined positions on the screen 91. Then, the high-speed processor 200 changes the position guide G form at the timing based on the music (in the example of Fig. 12, the flower opens an animation). Therefore, the player 94 can easily recognize the position and direction in which the cursor 105 should be moved by the change in the form of the position guide G.
  • the direction guide g and the route guide rg are visually moved from the first predetermined position on the screen 91 to the second predetermined position. It is expressed by a recognizable display.
  • the direction guide g and the route guide r g guide the operation of the cursor 1 0 5. Therefore, the player 94 can more clearly recognize the direction and path in which the cursor 10 05 should be moved. More specifically, it is as follows.
  • the direction guide Kg and the route guide rg are a plurality of routes arranged on the route starting from the first predetermined position on the screen 91 and ending at the second predetermined position. It is represented by a change in the shape of the object (in the examples in Figures 12 and 13 it is a sphere). In this case, the player 94 can easily recognize the direction and the path along which the cursor 10 05 should be moved by changing the shape of the plurality of objects.
  • the direction guide g is changed from the first predetermined position on the screen 91 to the first position. It is represented by the movement of an object (a bird figure in the example of Fig. 46) to 2 predetermined positions. In this case, the player 94 can easily recognize the direction and the path along which the force sol 10 5 should move by moving the object.
  • the direction guide g is expressed by a change in the form of a route starting from the first predetermined position on the screen 91 and ending at the second predetermined position (FIG. 44). (See Figure 4-5). In this case, the player 94 can easily recognize the direction and the route in which the cursor 10 05 should be moved due to the change in the route form.
  • the high speed processor 20 0 includes speed information, movement direction information, movement distance information, speed vector information, acceleration information, and movement trajectory information as status information of the operation article 1 5 0. Either area information or position information, or a combination of two or more thereof can be calculated. As you can see, the operation to determine whether the operation of the cursor 1 0 5 by the operation object 1 5 0 conforms to the guide (position guide KG, direction guide ⁇ , route guide rg). Since various kinds of information can be used as the state information of the object 150, the degree of freedom of expression of the guide is increased, and the degree of freedom of design of the game content is also increased.
  • the operation object 1 5 0 to which the reflective sheet '1 5 5 is attached is irradiated with infrared light intermittently, and this is photographed to obtain state information of the operation object 1 5 0. Can be requested. For this reason, in order to obtain the state information of the operation article 1 5 0, it is not necessary to incorporate a circuit driven by a power source in the operation object 1 5 0. Therefore, the operability and reliability of the operation article 150 can be improved, and the cost can be reduced.
  • the dance object 1 06 and the background 1 1 0 are given as examples of the image (following image) controlled following the operation object 1550.
  • the present invention is not limited to this, and an arbitrary object can be selected as the tracking image.
  • the dance object 1 0 6 instead of expressing the movement of the dance object 1 06 by scrolling the background 1 1 0, the dance object 1 0 6 itself can be moved up, down, left and right. Yes.
  • the linear operation of the cursor 105 is guided by both the position guide G and the direction guide g, but it can be guided by either one.
  • the operation of the cursor 105 is guided only by the direction guide g, it is preferable to place the still image position guide G at the start point and the end point of the direction guide g.
  • the turning operation of the cursor 105 was guided by both the position guide G and the route guide rg, but it can be guided only by the route guide rg.
  • the guides position guide G, direction guide g, route guide r g
  • the present invention is not limited to this.
  • the mode of the guide is not limited to the above.
  • the operation object 1 5 0 composed of the stick 15 2 and the reflection pole 15 1 1 is used as the operation object. Is not limited to this.
  • the coordinates of the attention point of the operation object 1550 are calculated. It is also possible to convert the coordinates of a pixel having a luminance value (see step S83 in Fig. 38) to the coordinates on the screen 91 and use this as the coordinates of the point of interest.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Position Input By Displaying (AREA)

Abstract

カーソル（１０５：図１２）の操作が、ガイド（Ｇ１～Ｇ４，ｇ１～ｇ５：図１２）に適合している場合に、カーソルの操作方向に応じて、ダンスオブジェクト（１０６：図１２）及び背景（１１０：図１２）の表示が制御される。ストロボスコープにより間欠的に赤外光が照射される操作物（１５０：図１）を撮像ユニット（１３：図１）により撮影して、操作物のスクリーン（９１：図１）上の位置を求め、これをカーソルの座標とする。ゲーム開始と同時に、プレイヤ（９４：図１）と無関係に楽曲が自動演奏される。

Description

明細書 音楽ゲーム装置、 音楽ゲームシステム、 操作物、 音楽ゲームプログラム、 及ぴ、 音楽ゲーム方法
技術分野
本発明は、 操作物の動きに追従した画像を表示する音楽ゲーム装置及びその関 連技術に関する。
背景技術
特許文献 1 (特開 2 0 0 2— 2 6 3 3 6 0号公報） には、 演奏指揮ゲーム装置 が開示されている。 この演奏指揮ゲーム装置では、 指揮棒コントローラの先端に 投光ュニッ トが設けられるとともに、 モニタの下部に受光ュニッ トが設けられる。 このような構成により、 指揮棒コントローラの動きを検出する。
ゲームが開始されると、 指揮棒コントローラを振る方向及ぴタイミングを指示 する操作案内画像が、 モニタに表示されるとともに、 演奏音が出力される。 この 演奏音は、 指揮棒コントローラの操作に関係なく出力される。 そして、 プレイヤ が、 指示された方向及びタイミングで、 指揮棒コントローラを操作したときにの み、 指揮棒反応音が出力される。 この指揮棒反応音は、 ある演奏パートを所定の 長さで分断したものである。 従って、 プレイヤが、 指示された方向及ぴタイミン グで、 指揮棒コントローラを操作するたびに、 対応する指揮棒反応音が出力され る。
特許文献 2 (特開平 1 0— 1 4 3 1 5 1号公報） には、 指揮装置が開示されて いる。 この指揮装置では、 マウスを指揮棒のように操作することで、 マウスが描 く軌跡からテンポ、 アクセント及ぴ強弱などの音楽パラメータを算出する。 そし て、 算出したこれらの音楽パラメータを、'出力する音楽や画像に反映させる。 例 えば、 汽車の動画像を表示する際に、 汽車のスピードを、 算出したテンポに追従 させ、 スピー ドの変化を、 アクセントに追従させ、 汽車の煙の量を、 強弱に追従 させる。
上述のように、 特許文献 1の演奏指揮ゲーム装置は、 プレイヤが演奏を行うこ とを主目的とした装置であることは明らかである。 また、 特許文献 2の指揮装置 では、 プレイヤが演奏を行うことを主目的とするため、 マウスの移動情報を音楽 パラメータに変換して、 この音楽パラメータを音楽及ぴ画像に反映させている。 このように、 プレイヤが演奏を行うことを主目的とする従来の装置では、 表示 される画像 （上記の例では、 汽車） に面白味がなく、 プレイヤが画像を楽しむ、 ということが重視されていない。
さらに、 プレイヤによる操作物である指揮棒コントローラやマウスについては、 次のことが言える。 特許文献 1の指揮棒コントローラは、 投光ユニッ トを備えて いるため、 電子回路を備えることが必要となる。 従って、 指揮棒コントローラの コス トが高くなるし、 また、 故障の原因となる。 さらに、 操作性が低くなる。 特 に、 指揮棒コントローラは、 動かされるものであるため、 電子回路を備えること なく、 簡易な構成とすることが好ましい。 また、 特許文献 2のマウスでは、 平面 上での操作のみが可能であり、 操作の制約が大きいし、 また、 特許文献 1の指揮 棒コントローラと同様の問題もある。
発明の開示
そこで、 本発明は、 プレイヤが関与することなく楽曲を自動演奏しながらも、 簡易な構成の操作物をプレイヤが操作することにより、 楽曲とともに、 操作に追 従した画像を楽しむことができる音楽ゲーム装置及びその関連技術を提供するこ とを目的とする。 '
本発明の観点によると、 音楽ゲーム装置は、 楽曲を自動演奏する音楽ゲーム装 置であって、 プレイヤによって操作される操作物に、 予め定められた周期で、 光 を照射するス トロボスコープと、 前記スト口ポスコープの発光時及ぴ消灯時のそ れぞれにおいて、 前記操作物を撮影して、 発光時画像信号及び消灯時画像信号を 生成する撮像ュニッ トと、 前記発光時画像信号と前記消灯時画像信号との差分信 号を生成する差分信号生成ユニッ トと、 前記差分信号に基づいて、 前記操作物の 状態情報を算出する状態情報算出ユニッ トと、 前記操作物に連動するカーソルの 操作のためのガイ ドの表示を、 前記楽曲に基づくタイミングで制御するガイ ド制 御ユニッ トと、 前記カーソルの表示を、 前記操作物の前記状態情報に基づいて制 御するカーソル制御ユニッ トと、 前記操作物による前記カーソルの操作が、 前記 ガイ ドに適合したときに、 前記ガイ ドによる案内に応じて、 画像の表示を制御す る追従画像制御ユニッ トと、 を備え、 前記追従画像制御ユニッ トは、 前記操作物 の前記状態情報及ぴ前記ガイ ドに関する情報に基づいて、 前記操作物による前記 カーソルの操作が、 前記ガイ ドに適合しているか否かを判断する。
この構成によれば、 カーソルの操作がガイ ドに適合している場合に、 ガイ ドに よる案内に応じて画像の表示が制御される。 この場合、 ガイ ドによる案内に適合 してカーソルの操作が行われているため、 カーソルの操作に応じて画像の表示が 制御されることになる。 つまり、 カーソルは操作物と連動しているため、 操作物 の操作に応じて画像の表示が制御される。 また、 ス トロボスコープにより間欠的 に光が照射される操作物を撮像ュニッ トによ'り撮影して、 操作物の状態情報を求 めている。 このため、 操作物の状態情報を求めるために、 操作物に電源により駆 動する回路を内蔵する必要がない。 さらに、 この音楽ゲーム装置は、 楽曲を自動 演奏する。
以上の結果、 プレイヤが関与することなく楽曲を自動演奏しながらも、 簡易な 構成の操作物をプレイヤが操作することにより、 楽曲とともに、 操作物の操作に 追従した画像を楽しむことができる。
また、 楽曲に基づくタイミングでガイ ドが制御されるため、 プレイヤが、 ガイ ドに従ってカーソルを操作すれば、 操作物の操作も楽曲に合ったものとなる。 従 つて、 プレイヤは、 楽曲'に合った操作物の操作を楽しむことができる。
ここで、 操作物の操作とは、 操作物自体を動かすこと （例えば、 移動させるこ と） を意味し、 スィッチを押下したり、 アナログスティックを動かしたり、 等は 含まない。
上記音楽ゲーム装置において、 前記ガイ ドは、 前記カーソルの移動位置及ぴ操 作タイミングを案内し、 前記追従画像制御ユニッ トは、 前記操作物による前記力 一ソルの操作が、 前記ガイ ドに適合したときに、 前記ガイ ドが案内する前記移動 位置の方向に対応して、 前記画像の表示を制御する。
この構成によれば、 プレイヤが、 操作物を操作して、 カーソルを、 ガイ ドが案 内する操作タイミングで、 ガイ ドが案内する移動位置に移動させた場合に、 ガイ ドが案内するカーソルの移動位置の方向に対応して、 画像の表示が制御される。 その結果、 楽曲とともに、 操作物の操作に連動するカーソルの移動に追従した画 像を楽しむことができる。
上記音楽ゲーム装置において、 前記状態情報算出ユニッ トは、 前記差分信号に 基づいて、 前記操作物の前記状態情報としての位置を算出し、 前記追従画像制御 ユニッ トは、 前記状態情報算出ユニッ トが算出した前記操作物の前記位置が、 前 記ガイ ドが案内する期間内に、 前記ガイ ドが案内する領域内に存在する場合に、 前記操作物に連動するカーソルの操作が、 前記ガイ ドに適合していると判断する。 この構成によれば、 簡易な処理で算出できる操作物の位置により、 カーソルの 操作の的確性を判断できる。
上記音楽ゲーム装置において、 前記ガイ ドは、 前記カーソルの移動経路、 移動 方向、 及ぴ、 操作タイミングを案内する。
この構成によれば、 プレイヤが、 操作物を操作して、 カーソルを、 ガイ ドが案 内する操作タイミングで、 ガイ ドが案内する移動方向に、 ガイ ドが案内する移動 経路に沿って移動させた場合に、 ガイ ドに応じて、 画像の表示が制御される。 そ の結果、 '楽曲とともに、 操作物の操作に連動するカーソルの移動に応じた画像を 楽しむことができる。
上記音楽ゲーム装置において、 前記状態情報算出ユニッ トは、 前記差分信号に 基づいて、 前記操作物の前記状態情報としての位置を算出し、 前記追従画像制御 ユニッ トは、 前記状態憎報算出ユニッ トが算出した前記操作物の前記位置が、 前 記ガイ ドが案内する期間内に、 前記ガイ ドが案内する複数の所定領域を、 前記ガ イ ドが案内する所定の順序で移動した場合に、 前記操作物に連動するカーソルの 操作が、 前記ガイ ドに適合していると判断する。
この構成によれば、 簡易な処理で算出できる操作物の位置により、 カーソルの 操作の的確性を判断できる。
上記音楽ゲーム装置において、 前記ガイ ドは、 画面上の予め定められた複数の 位置の各々に表示され、 前記ガイ ド制御ュニッ トは、 前記ガイ ドの形態を、 前記 楽曲にもとづくタイミングで変化させる。
この構成によれば、 プレイヤは、 ガイ ドの形態の変化により、 カーソルを移動 すべき位置及び方向を容易に認識できる。
ここで、 本明細書において、 ガイ ドの形態には、 ガイ ドの形状及び色のいずれ カ あるいは、 その双方が含まれる。
上記音楽ゲーム装置において、 前記ガイ ドは、 画面上の第 1の予め定められた 位置から第 2の予め定められた位置への移動が視覚的に認識できる表示により表 現され、 前記ガイ ド制御ユニッ トは、 前記ガイ ドの表示を、 前記楽曲にもとづく タイミングで制御する。
この構成によれば、 プレイヤは、 カーソルを移動すべき方向及ぴ経路をより明 確に認識できる。
例えば、 前記ガイ ドは、 画面上の前記第 1の予め定められた位置を始点とし、 前記第 2の予め定められた位置を終点とする経路上に配置される複数のオブジェ タ トの形態の変化により表現することができる。
この構成によれば、 プレイヤは、 複数のオブジェク トの形態の変化により、 力 一ソルを移動すべき方向及ぴ経路を容易に認識できる。
例えば、 前記ガイ ドは、 面面上の前記第 1の予め定められた位置から前記第 2 の予め定められた位置へのオブジェク トの移動により表現できる。
この構成によれば、 プレイヤは、 オブジェク トの移動により、 カーソルを移動 すべき方向及び経路を容易に認識できる。
例えば、 前記ガイ ドは、 画面上の前記第 1の予め定められた位置を始点とし、 前記第 2の予め定めら た位置を終点とする経路の形態の変化により表現できる。 この構成によれば、 プレイヤは、 経路の形態の変化により、 カーソルを移動す べき方向及ぴ経路を容易に認識できる。
上記音楽ゲーム装置において、 前記状態情報算出ュニッ トが算出する前記操作 物の前記状態情報は、 速さ情報、 移動方向情報、 移動距離情報、 速度べク トル情 報、 加速度情報、 移動軌跡情報、 面積情報、 若しくは、 位置情報、 のいずれか、 又は、 それらの 2以上の組み合わせ、 である。
この構成によれば、 操作物によるカーソルの操作が、 ガイ ドに適合しているか 否かを判断する際の操作物の状態情報として、 様々な情報を利用できるため、 ガ イ ドの表現の自由度が大きくなり、 ひいては、 ゲーム内容の設計の自由度も大き くなる。
本発明の新規な特徴は、 特許請求の範囲に記載されている。 しかしながら、 発 明そのもの及ぴその他の特徴と効果は、 添付図面を参照して具体的な実施例の詳 細な説明を読むことにより容易に理解される。
図面の簡単な説明
図 1は、本発明の実施の形態における音楽ゲームシステムの全体構成を示す図で ある。
図 2は、 図 1の操作物の斜視図である。
図 3 (a ) は、 図 2の反射ポールの上面図である。 図 3 ( b ) は、 図 3 ( a) の 矢印 A方向からの反射ポールの側面図である。 図 3 ( c ) は、 図 3 ( a ) の矢印 B方向からの反射ポールの側面図である。
図 4は、 図 2の反射ポールの縦断面図である。
図 5は、 図 1の撮像ユニッ トの一例を示す図解図である。
図 6は、 図 1の音楽ゲーム装置の電気的な構成を示す図である。
図 7は、 図 6の髙速プロセッサのプロック図である。
図 8ほ、図 6のィメージセンサから髙速プロセッサへピクセルデータを取り込む 構成及ぴ L ED駆動回路を示す回路図である。
図 9 ( a) は、 図 8のイメージセンサが出力するフレームステータスフラグ信号 F S Fのタイミング図である。 図 9 ( b ) は、 図 8のイメージセンサが出力する ピクセルデータス トロープ信号 PD Sのタイミング図である。 図 9 ( c ) は、 図 8のイメージセンサが出力するピクセルデータ D (X, Y) のタイミング図であ る。 図 9 ( d ) は、 図 8の髙速プロセッサが出力する L E Dコントロール信号 L ED Cのタイミング図である。 図 9 ( e ) は、 図 8の赤外発光ダイオードの点灯 状態を示すタイミング図である。 図 9 ( f ) は、 図 8のイメージセンサの露光期 間を示すタイミング図である。
図 1 0 (a ) は、 図 9のフレームステータスフラグ信号 F S Fの拡大図である。 図 1 0 (b) は、 図 9のピクセルデータス トローブ信号 P D Sの拡大図である。 図 1 0 ( c) は、 図 9のピクセルデータ D (X, Y) の拡大図である。
図 1 1は、図 1のテレビジョンモニタのスクリーンに表示されるゲーム画面の例 示図である。
図 1 2は、図 1のテレビジョンモニタのスクリーンに表示されるゲーム画面の他 の例示図である。
図 1 3は、図 1のテレビジョンモニタのスクリーンに表示されるゲーム画面のさ らに他の例示図である。
図 1 4は、図 1のテレビジョンモニタのスクリーンに表示されるォブジェク トを 構成するスプライ トの説明図である。
図 1 5は、図 1のテレビジョンモニタのスクリーンに表示される全景スクリーン の説明図である。
図 1 6 ( a ) は、 図 1 5の全景スク リーンをスクロールする前の説明図である。 図 1 6 ( b ) は、 図 1 5の全景スク リーンをスクロールした後の説明図である。 図 1 7は、図 6の R O Mに格納されたプログラム及ぴデータを示す概念図である。 図 1 8は、 図 1 7の第 1の楽譜データの一例を示す概念図である。
図 1 9は、 図 1 7の第 2の楽譜データの一例を示す概念図である。
図 2 0 ( a ) は、 カーソルを案内する方向とノートナンパとの関係図である。 図 2 0 ( b ) は、 カーソルを案内する方向とノートナンパとの他の関係図である。 図 2 0 ( c ) は、 カーソルを案内する方向とノートナンパとのさらに他の関係図 である。
図 2 1 ( a ) は、 一般的なィメージセンサにより撮影された、 特別な処理を施さ ない画像の例示図であ 。 図 2 1 ( b ) は、 図 2 1 ( a ) の画像信号を或る閾値 でレベル弁別したときの画像信号の例示図である。 図 2 1 ( c ) は、 赤外フィル タを介したィメージセンサの点灯時の画像信号を或る閾値でレベル弁別したとき の画像信号の例示図である。 図 2 1 ( d ) は、 赤外フィルタを介したイメージセ ンサの消灯時の画像信号を或る閾値でレベル弁別したときの画像信号の例示図で ある。 図 2 1 ( e ) は、 点灯時の画像信号と消灯時の画像信号との差分信号の例 示図である。
図 2 2は、 図 1の操作物の注目点の座標算出の説明図である。
図 2 3 ( a ) は、 最大輝度値を持つピクセルの座標を基に、 図 1の操作物の注目 点座標を算出する際の X方向スキャンの説明 0である。 図 2 3 ( b ) は、 最大輝 度値を持つピクセルの座標を基に、 図 1の操作物の注目点座標を算出する際の Y 方向スキャンのスター ト時の説明図である。 図 2 3 ( c ) は、 最大輝度値を持つ ピクセルの座標を基に、 図 1の操作物の注目点座標を算出する際の Y方向スキヤ ンの説明図である。 図 2 3 ( d) は、 最大輝度値を持つピクセルの座標を基に、 操作物の注目点座標を算出する際の結果の説明図である。
図 24は、 C PU 20 1による注目点存在領域判定処理 （ 1 ) の説明図である。 図 2 5は、 C PU 20 1による注目点存在領域判定処理 （ 2) の説明図である。 図 26は、 本実施の形態による、 方向ガイ G、 位置ガイ ド g、 及び、 経路ガイ ド r g、 のアニメーショ ンの登録の説明図である。
図 2 7は、図 26のアニメーショ ンテーブル格納位置情報により指定されるァニ メーションテープルの例示図である。
図 2 8は、 本実施の形態における、 第 1の楽譜データ、 第 2の楽譜データ、 方向 ガイ KG、 位置ガイ K g、 操作判定、 及ぴ、 ダンスアニメーショ ン、 の関係を説 明するためのタイミング図である。
図 2 9は、図 1の音楽ゲーム装置の全体の処理の流れを示すフローチヤ一トであ る。
図 3 0は、図 2 9のステップ S 1の初期設定処理の流れを示すフローチヤ一トで ある。
図 3 1は、図 30のステップ S 1 4のセンサ初期設定処理の流れを示すフローチ ヤー トである。
図 3 2は、図 3 1のステップ S 2 1のコマンド送信処理の流れを示すフローチヤ ートである。
図 3 3は、 （a) 図 8のレジスタ設定クロック C LKのタイ ミング図である。 ( b ) 図 8のレジスタデータのタイ ミング図である。
図 34は、図 3 1のステップ S 2 3のレジスタ設定処理の流れを示すフローチヤ ートである。
図 3 5は、図 2 9のステップ S 2の状態情報算出処理の流れを示すフローチヤ一 トである。
図 3 6は、図 3 5のステップ S 5 0のピクセルデータ群取得処理の流れを示すフ ローチャートである。
図 3 7は、図 3 6のステップ S 6 1のピクセルデータ取得処理の流れを示すフロ 一チャートである。
図 3 8は、図 3 5のステップ S 5 1の注目点抽出処理の流れを示すフローチヤ一 トである。
図 3 9は、図 3 8のステップ S 8 5の注目点座標算出処理の流れを示すフローチ ヤートである。
図 4 0は、図 2 9のステップ S 3のゲーム処理の流れを示すフローチヤ一トであ る。
図 4 1は、本実施の形態における割込み処理の流れを示すフローチヤ一トである。 図 4 2は、図 4 1のステップ S 1 5 0の楽曲再生処理の流れを示すフローチヤ一 トである。
図 4 3は、図 4 1のステップ S 1 5 1のガイ ド登録処理の流れを示すフローチヤ ートである。
図 4 4は、 本実施の形態におけるガイ ドの他の例示図である。
図 4 5は、 本実施の形態におけるガイ ドのさらに他の例示図である。
図 4 6は、 本実施の形態におけるガイ ドのさらに他の例示図である。
発明を実施するための最良の形態
以下、 本発明の実施の形態について、 図面を参照しながら説明する。 なお、 図中、 同一または相当部分につい Tは同一の参照符号を付してその説明を援用する。
図 1は、 本発明の実施の形態における音楽ゲームシステムの全体構成を示す図 である。 図 1に示すように、 この音楽ゲームシステムは、 音楽ゲーム装置 1、 操 作物 1 5 0、 及ぴ、 テレビジョンモニタ 9 0、 を含む。
音楽ゲーム装置 1のハウジング 1 9には、 撮像ュニッ ト 1 3が組み込まれる。 撮像ュニッ ト 1 3は、 4つの赤外発光ダイォード 1 5及び赤外フィルタ 1 7を含 む。 赤外発光ダイォード 1 5の発光部は、 赤外ブイルタ 1 7から露出している。 音楽ゲーム装置 1には、 A Cアダプタ 9 2により、直流電源電圧が与えられる。 ただし、 A Cアダプタ 9 2に代えて、 電池 （図示せず） により、 直流電源電圧を 与えることもできる。
テレビジョ ンモニタ 9 0には、 その前面にスク リーン 9 1が設けられる。 テレ ビジョンモニタ 9 0と音楽ゲーム装置 1 とは、 A Vケーブル 9 3により接続され. る。 なお、 音楽ゲーム装置 1は、 例えば、 図 1に示すように、 テレビジヨ ンモニ タ 9 0の上面に載置される。
プレイヤ 9 4が、 音楽ゲーム装置 1の背面に設けられた電源スィッチ （図示せ ず） をオンにすると、 スクリーン 9 1に、 ゲーム画面が表示される。 プレイヤ 9 4は、 ゲーム画面のガイ ドに従って、 操作物 1 5 0を操作して、 ゲームを実行す る。 ここで、 操作物 1 5 0の操作とは、 操作物自体を動かすこと （例えば、 移動 させること） を意味し、 スィッチを押下したり、 アナログスティックを動かした り、 等は含まない。
撮像ュニッ ト 1 3の赤外発光ダイオード 1 5は、 間欠的に赤外光を発光する。 赤外発光ダイオード 1 5からの赤外光は、 この操作物 1 5 0に取り付けられた反 射シート （後述） により反射され、 赤外フィルタ 1 7の内部に設けられた撮像素 子 （後述） に入力される。 このよ うにして、 操作物 1 5 0が間欠的に撮影される。 従って、 音楽ゲーム装置 1は、 プレイヤ 9 4により動かされた操作物 1 5 0の間 欠的な映像信号を取得できる。 音楽ゲーム装置 1は、 この映像信号を解析して、 その解析結果をゲームに反映する。 本実施の形態で使用する反射シートは、 例え ば、 再帰反射シートである。
図 2は、 図 1 の操作物 1 5 0の斜視図である。 図 2に示すように、 操作物 1 5 0は、 スティック 1 5 2 'の先端に反射ボール 1 5 1を固定して構成される。 この 反射ポール 1 5 1により、 赤外発光ダイォード 1 5からの赤外光が反射される。 反射ポール 1 5 1の詳細を説明する。
図 3 ( a ) は、 図 2の反射ボール 1 5 1の上面図、 図 3 ( b ) は、 図 3 ( a ) の矢印 A方向からの反射ポール 1 5 1の側面図、 図 3 ( c ) は、 図 3 ( a ) の矢 印 B方向からの反射ボール 1 5 1の側面図、 である。
図 3 ( a ) 〜図 3 ( c )に示すように、 反射ボール 1 5 1は、 透明色 （半透明、 有色透明、 及び、 無色透明、 を含む。） の球状外殻 1 5 3の内部に球状内殻 1 5 4 を固定してなる。 球状内殻 1 5 4には、 反射シート 1 5 5が取り付けられる。 こ の反射シート 1 5 5が、 赤外発光ダイォード 1 5からの赤外光を反射する。
図 4は、 図 2の反射ポール 1 5 1の縦断面図である。 図 4に示すように、 球状 外殻 1 5 3は、 2つの半球状外殻をボス 1 5 6及びビス （図示せず） により固定 してなる。 球状内殻 1 5 4は、 球状外殻 1 5 3の内部に、 2つの半球状内殻をボ ス 1 5 7により固定してなる。 また、 反射ボール 1 5 1には、 スティック 1 5 2 が、 揷入して固定される。 具体的には、 球状外殻 1 5 3を構成する 2つの半球状 外殻と、 球状内殻 1 5 4を構成する 2つの半球状内殻と、 によりスティック 1 5 2を挟み、 2つの半球状外殻をボス 1 5 6及びビスで固定するとともに、 2つの 半球状内殼をボス 1 5 7で固定することで、 スティ ック 1 5 2を反射ポール 1 5 1に取り付ける。
図 5は、 図 1の撮像ュニッ ト 1 3の一例を示す図解図である。 図' 5に示すよう に、 この撮像ユニッ ト 1 3は、 たとえばプラスチック成型によって形成されるュ ニッ トベース 3 5を含み、 このユニッ トベース 3 5内には支持筒 3 6が取り付け られる。 支持筒 3 6の上面には内面が逆円錐形状であるラッパ状の開口 4 1が形 成され、 その開口 4 1の下方の筒状部内部には、 いずれもがたとえば透明プラス チックの成型によって形成された凹レンズ 3 9および凸レンズ 3 7を含む光学系 が設けられ、 凸レンズ 3 7の下方において、 撮像素子としてのイメージセンサ 4 3が固着される。 したがって、 イメージセンサ 4 3は、 開口 4 1からレンズ 3 9 および 3 7を通して入射する光に応じた画像を撮影することができる。
イメージセンサ 4 3は、 低解像度の C M O Sイメージセンサ（たとえば 3 2ピク セル X 3 2ピクセル： グ'レースケール）である。 ただし、 このイメージセンサ 4 3 は、 画素数のもっと多いものでもよいし、 C C D等の他の素子からなるものであ つてよい。 以下では、 イメージセンサ 4 3が、 3 2 ピクセル X 3 2ピクセルからな るものとして説明を行う。
また、 ュニッ トベース 3 5には、 光出射方向がいずれも上方向とされた複数 （実 施の形態では 4つ） の赤外発光ダイオード 1 5が取り付けられる。 この赤外発光 ダイォード 1 5によって、撮像ュニッ ト 1 3の上方に赤外光が照射される。 また、 ユニッ トベース 3 5の上方には、 赤外フィルタ （赤外光のみを透過するフィルタ） 1 7が上記開口 4 1を覆うように、 取り付けられる。 そして、 赤外発光ダイォー ド 1 5は後述のように、 点灯/消灯 （非点灯） が連続的に繰り返されるので、 ス トロボスコープとして機能する。 ただし、 「ス トロボスコープ」 とは、 運動体を間 欠的に照らす装置の総称である。 したがって、 上記イメージセンサ 4 3は、 その 撮影範囲内で移動する物体、 実施の形態では、 操作物 1 5 0を撮影することにな る。 なお、 後述する図 8に示すように、 ス トロボスコープは、 主に、 赤外発光ダ ィォード 1 5、 L ED駆動回路 7 5、 及ぴ、 高速プロセッサ 2 0 0、 により構成 される。
ここで、 撮像ュニッ ト 1 3は、 イメージセンサ 4 3の受光面が、 水平面から所 定角度 （例えば、 9 0度） だけ傾くように、 ハウジング 1 9に組み込まれる。 ま た、 回レンズ 3 9および ώレンズ 3 7により、 ィメージセンサ 4 3の撮影範囲は、 例えば、 6 0度の範囲である。
図 6は、 図 1 の音楽ゲーム装置 1の電気的な構成を示す図である。 図 6に示す ように、 音楽ゲーム装置 1は、 イメージセンサ 4 3、 赤外発光ダイォード 1 5、 映像信号出力端子 4 7、 音声信号出力端子 4 9、 高速プロセッサ 2 0 0、 ROM ( r e a d o n l y m e m o r y) 5 1、 及び、 ノ ス 5 3、 を含む。
高速プロセッサ 2 0 0には、 パス 5 3が接続される。 さらに、 ノ ス 5 3には、 ROM 5 1が接続される。 従って、 高速プロセッサ 2 0 0は、 バス 5 3を介して、 ROM5 1にアクセスすることができるので、 ROM 5 1に格納されたゲームプ ログラムをリードして実行でき、 また、 ROM5 1に格納された画像データ及ぴ 音楽データをリードして処理し、 映像信号及び音声信号を生成して、 映像信号出 力端子 4 7及び音声信号'出力端子 4 9に出力することができる。
操作物 1 5 0は、 赤外発光ダイオード 1 5が発光する赤外光に照射され、 その 赤外光を反射シート 1 5 5で反射する。 この反射シート 1 5 5からの反射光がィ メージセンサ 4 3によって検知され、 したがって、 イメージセンサ 4 3からは反 射シート 1 5 5の画像信号が出力される。 ィメージセンサ 4 3からのこのアナ口 グ画像信号は高速プロセッサ 2 0 0に内蔵された A/Dコンバータ （後述） によ つてデジタルデータに変換される。 赤外光消灯時も同様の処理が行われる。 高速 プロセッサ 2 0 0は、 このデジタルデータを解析して、 その解析結果をゲーム処 理に反映する。
図 7は、図 6の髙速プロセッサ 2 0 0のプロック図である。 図 7に示すように、 この髙速プロセッサ 2 0 0は、 中央演算処理装置 （C P U : c e n t r a l r o c e s s i n g u n i t ) 2 0 1、 グラフィックプロセッサ 2 0 2、 サゥ ンドプロセッサ 20 3、 DMA (d i r e c t m e m o r y a c c e s s ) コントローラ 2 04、 第 1パス調停回路 20 5、 第 2パス調停回路 20 6、 内部 メモリ 20 7、 A/Dコンバータ （ADC : a n a l o g t o d i g i t a 1 c o n v e r t e r ) 2 0 8、 入出力制御回路 2 0 9、 タイマ回路 2 1 0、 DRAM (d y n a m i c r a n d om a c c e s s m e m o r y) リ ブ レッシュ制御回路 2 1 1、 外部メモリインタフェース回路 2 1 2、 クロック ドラ ィパ 2 1 3、 P L L (p h a s e - l o c k e d l o o p) 回路 2 1 4、 低電 圧検出回路 2 1 5、 第 1パス 2 1 8、 及び、 第 2パス 2 1 9、 を含む。
C PU 20 1は、 メモリ （内部メモリ 20 7、 又は、 ROM5 1 ) に格納され たプログラムに従い、 各種演算やシステム全体の制御を行う。 C PU 2 0 1は、 第 1パス 2 1 8及び第 2パス 2 1 9のパスマスタであり、 それぞれのパスに接続 された資源にアクセスが可能である。
グラフィックプロセッサ 2 0 2は、 第 1パス 2 1 8及び第 2パス 2 1 9のパス マスタであり、 内部メモリ 20 7、 又は、 ROM5 1に格納されたデータを基に、 映像信号を生成して、 映像信号出力端子 4 7へ出力する。 グラフィックプロセッ サ 20 2は、 第 1パス 2 1 8を通じて、 C PU 2 0 1により制御される。 また、 グラフィックプロセッサ 2 0 2は、 C PU 20 1に対して、 割込み要求信号 2 2 0を発生する機能を有ザる。
サウンドプロセッサ 2 0 3は、 第 1パス 2 1 8及ぴ第 2バス 2 1 9のバスマス タであり、 内部メモリ 2 0 7、 又は、 ROM5 1に格納されたデータを基に、 音 声信号を生成して、 音声信号出力端子 4 9へ出力する。 サウンドプロセッサ 2 0 3は、 第 1パス 2 1 8を通じて、 C PU 20 1により制御される。 また、 サゥン ドプロセッサ 2 0 3は、 C PU 2 0 1に対して、 割込み要求信号 2 20を発生す る機能を有する。
DMAコン トローラ 2 04は、 ROM5 1力 ら、 内部メモリ 2 0 7へのデータ 転送を司る。 また、 DMAコントローラ 204は、 データ転送の完了を通知する ために、 C PU 2 0 1に対する割込み要求信号 2 2 0を発生する機能を有する。 DMAコン トローラ 2 04は、 第 1パス 2 1 8及び第 2バス 2 1 9のバスマスタ である。 DMAコントローラ 2 04は、 第 1パス 2 1 8を通じて0 ?112 0 1に より制御される。
内部メモリ 20 7は、 マスク ROM、 S RAM ( s t a t i c r a n d o m a c c e s s me mo r y)、 及ぴ、 DRAMのうち、 必要なものを備える。 バ ッテリによる S RAMのデータ保持が必要とされる場合、 パッテリ 2 1 7が必要 となる。 D RAMが搭載される場合、 定期的にリフレッシュと呼ばれる記憶内容 保持のための動作が必要とされる。
第 1パス調停回路 20 5は、 第 1バス 2 1 8の各パスマスタからの第 1バス使 用要求信号を受け付け、 調停を行い、 各パスマスタへの第 1パス使用許可信号を 発行する。 各パスマスタは、 第 1パス使用許可信号を受領することによって第 1 パス 2 1 8に対するアクセスが許可される。 ここで、 第 1バス使用要求信号及ぴ 第 1バス使用許可信号は、 図 7では、 第 1バス調停信号 2 2 2として示されてい る。
第 2バス調停回路 20 6は、 第 2バス 2 1 9の各バスマスタからの第 2バス使 用要求信号を受け付け、 調停を行い、 各パスマスタへの第 2パス使用許可信号を 発行する。 各バスマスタは、 第 2パス使用許可信号を受領することによって第 2 バス 2 1 9に対するァクセスが許可される。 ここで、 第 2バス使用要求信号及ぴ 第 2バス使用許可信号は、 図 7では、 第 2パス調停信号 2 2 3 として示されてい る。 '
入出力制御回路 2 0 9は、 外部入出力装置や外部の半導体素子との通信等を入 出力信号を介して行う。 入出力信号は、 第 1バス 2 1 8を介して、 C PU 2 0 1 からリード/ライ トされる。 また、 入出力制御回路 20 9は、 C PU 20 1に対 して、 割込み要求信号 2 20を発生する機能を有する。
この入出力制御回路 2 0 9から、 赤外発光ダイォード 1 5を制御する L E Dコ ントロール信号 L E D Cが出力される。
タイマ回路 2 1 0は、 設定された時間間隔に基づき、 C PU 2 0 1に対する割 込み要求信号 2 20を発生する機能を有する。 時間間隔等の設定は、 第 1バス 2 1 8を介して C PU 20 1によって行われる。
AD C 20 8は、 アナログ入力信号をデジタル信号に変換する。 このデジタル 信号は、 第 1バス 2 1 8を介して〇？112 0 1にょってリードされる。 また、 A D C 20 8は、 C PU 2 0 1に対して、 割込み要求信号 2 2 0を発生する機能を 有する。
この AD C 2 0 8が、 イメージセンサ 4 3からのピクセノレデータ (アナログ) を受けて、 デジタルデータに変換する。
P L L回路 2 1 4は、 水晶振動子 2 1 6より得られる正弦波信号を通倍した高 周波クロック信号を生成する。
クロック ドライバ 2 1 3は、 P L L回路 2 1 4より受け取った高周波クロック 信号を、 各プロックへク口ック信号 2 2 5を供給するのに十分な信号強度へ増幅 する。
低電圧検出回路 2 1 5は、 電源電圧 V c cを監視し、 電源電圧 V c cがー定電 圧以下のときに、 P L L回路 2 1 4のリセッ ト信号 2 2 6、 その他のシステム全 体のリセッ ト信号 2 2 7を発行する。 また、 内部メモリ 2 0 7が S RAMで構成 されており、 かつ、 S RAMのパッテリ 2 1 7によるデータ保持が要求される場 合、 電源電圧 V c cが一定電圧以下のときに、 バッテリバックアップ制御信号 2 24を発行する機能を有する。
外部メモリインタフェース回路 2 1 2は、 第 2パス 2 1 9を外部バス 5 3に接 続するための機能、 及ぴ、 第 2バス 2 1 9のサイクル終了信号 2 2 8を発行する ことにより、 第 2バスの'バスサイクル長を制御する機能、 を有する。
DRAMリ フレツシュ制御回路 2 1 1は、 一定期間毎に第 1パス 2 1 8の使用 権を無条件に獲得し、 D RAMのリ フレッシュ動作を行う。 なお、 DRAMリ フ レッシュ制御回路 2 1 1は、 内部メモリ 2 0 7が D RAMを含む場合に設けられ る。
ここで、 図 8〜図 1 0を参照して、 イメージセンサ 4 3から髙速プロセッサ 2 00へピクセルデータを取り込むための構成を詳細に説明する。
図 8は、 図 6のイメージセンサ 4 3から髙速プロセッサ 2 00へピクセルデー タを取り込む構成及ぴ L E D駆動回路を示す回路図である。 図 9は、 図 6のィメ ージセンサ 4 3から高速プロセッサ 20 0へピクセルデータを取り込む際の動作 を示すタイミング図である。 図 1 0は、 図 9の一部を拡大して示すタイミング図 である。 図 8に示すように、 ィメ ジセンサ 4 3は、 ピクセルデータ D (X, Y) をァ ナログ信号として出力するタイプのものであるため、 このピクセルデータ D (X, Y) は高速プロセッサ 2 0 0めアナログ入力ポートに入力される。 アナログ入力 ポートは、 この高速プロセッサ 20 0において AD C 20 8に接続され、 したが つて、 髙速プロセッサ 200は、 AD C 2 0 8からデジタルデータに変換された ピクセルデータをその内部に取得する。
上述のアナログピクセルデータ D (X, Y) の中点は、 イメージセンサ 4 3の 基準電圧端子 V r e f に与えられる基準電圧によって決定される。 そのため、 ィ メージセンサ 4 3に関連して例えば抵抗分圧回路からなる基準電圧発生回路 5 9 が設けられ、 この回路 5 9から基準電圧端子 V r e f に常に一定の大きさの基準 電圧が与えられる。
ィメージセンサ 43を制御するための各デジタル信号は、 高速プロセッサ 2 0 0の I /Oポートに与えられ、 またはそこから出力される。 この I /Oポートは 各々入力/出力の制御が可能なデジタルポートであり、 この高速プロセッサ 2 0 0で入出力制御回路 20 9に接続されている。
詳しく言う と、 高速プロセッサ 2 0 0の出力ポートからはイメージセンサ 4 3 をリセッ トするためのリセッ ト信号 r e s e tが出力され、 ィメージセンサ 4 3 に与えられる。 また、 イメージセンサ 4 3からは、 ピクセルデータス トロープ信 号 P D Sおよびフレームステータスフラグ信号 F S Fが出力され、 それらの信号 が高速プロセッサ 200の入力ポートに与えられる。
ピクセルデータス トロープ信号 P D Sは上述の各ピクセル信号 D (X, Y) を 読み込むための図 9 ( b ) に示すようなス トロープ信号である。 フレームステー タスブラグ信号 F S Fはィメージセンサ 4 3の状態を示すフラグ信号で、 図 9 ( a ) に示すように、 このイメージセンサ 4 3の露光期間を規定する。 つまり、 フレームステータスフラグ信号 F S Fの図 9 ( a ) に示すローレベルが露光期間 を示し、 図 9 (a) に示すハイレベルが非露光期間を示す。
また、 高速プロセッサ 2 0 0は、 イメージセンサ 4 3の制御レジスタ （図示せ ず） に設定するコマンド （またはコマンド +データ） をレジスタデータとして I /Oポートから出力するとともに、 たとえばハイレベルおょぴローレベルを繰り 返すレジスタ設定クロック C LKを出力し、 それらをィメージセンサ 4 3に与え る。
なお、 赤外発光ダイオード i 5 として、 図 8に示すように互いに並列接続され た 4つの赤外発光ダイオード 1 5 a， 1 5 b , 1 5 cおよび 1 5 dを用いる。 こ の 4つの赤外発光ダイォード 1 5 a〜 1 5 dは、 上で説明したように、 操作物 1 5 0を照らすように、 イメージセンサ 4 3の視点方向と同一方向に赤外光を照射 するようにかつィメ ^"ジセンサ 4 3を囲むように配置される。 ただし、 これら個 別の赤外発光ダイォード 1 5 a〜 1 5 dは、 特に区別する必要がある場合を除い て、 単に赤外発光ダイオード 1 5と呼ばれる。
この赤外発光ダイオード 1 5は L E D駆動回路 7 5によって、 点灯されまたは 消灯 （非点灯） される。 LED駆動回路 7 5は、 イメージセンサ 4 3から上述の フレームステータスフラグ信号 F S Fを受け、 このフラグ信号 F S Fは、 抵抗 6 9およびコンデンサ 7 1からなる微分回路 6 7を通して PNP トランジスタ 7 7 のベースに与えられる。 この PNP トランジスタ 7 7にはさらにブルアップ抵抗 7 9が接続されていて、 この PNP トランジスタ 7 7のベースは、 通常は、 ハイ レベルにプノレアップされている。 そして、 フレームステータス信号 F S Fがロー レベルになると、 そのローレベルが微分回路 6 7を経てベースに入力されるため、 P N P トランジスタ 77は、 フラグ信号 F S Fがローレベル期間にのみオンする。
PNP トランジスタ 7 7のェミッタは抵抗 7 3および 6 5を介して接地される。 そして、 ェミ ッタ抵抗 7 3および 6 5の接続点が N P Nトランジスタ 8 1のべ一 スに接続される。 この NPNトランジスタ 8 1のコレクタが各赤外発光ダイォー ド 1 5 a〜1 5 dのァノードに共通に接続される。 N P Nトランジスタ 8 1のェ ミ ッタが別の N P Nトランジスタ 6 1のベースに直接接続される。 N P Nトラン ジスタ 6 1のコレクタが各赤外発光ダイォード 1 5 a〜1 5 dの力ソードに共通 接続され、 ェミッタが接地される。
この L E D駆動回路 7 5では、 高速プロセッサ 2 00の Iノ Oポートから出力 される L E Dコントロール信号 L E D Cがアクティブ （ハイ レベル） でありかつ イメージセンサ 4 3からのフレームステータスフラグ信号 F S Fがローレベルで ある期間にのみ赤外発光ダイォード 1 5が点灯される。 図 9 ( a) に示すようにフレームステ一タスフラグ信号 F S Fがローレベルに なると、 そのローレベル期間中 （実際には微分回路 6 7の時定数での遅れがある 力 、 P N P トランジスタ 7 7がオンする。 したがって、 図 9 (d) に示す LED コントロール信号 L ED Cが高速プロセッサ 20 0からハイレベルで出力される と、 N P Nトランジスタ 8 1のベースがハイベルとなり、 この トランジスタ 8 1 がオンとなる。 トランジスタ 8 1がオンすると トランジスタ 6 1はオンとなる。 したがって、 電源 （図 8では小さい白丸で示す） から各赤外発光ダイオード 1 5 a〜l 5 dおよびトランジスタ 6 1を経て電流が流れ、 応じて図 9 ( e ) に示す ように各赤外発光ダイオード 1 5 a ~ 1 5 dが点灯される。
L ED駆動回路 7 5では、 このよ うに、 図 9 ( d ) の LEDコントロール信号 L EDCがアクティブでありかつ図 9 ( a ) のフレームステータスブラグ信号 F S Fがローレベルである期間にのみ赤外発光ダイォード 1 5が点灯されるので、 イメージセンサ 4 3の露光期間 （図 9 ( f ) 参照） にのみ赤外発光ダイオード 1 5が点灯されることになる。
したがって、 無駄な電力消費を抑制することができる。 さらに、 フレームステ 一タスブラグ信号 F S Fはコンデンサ 7 1によってカップリングされているので、 万一イメージセンサ 43の暴走等によりそのフラグ信号 F S Fがローレベルのま ま停止した場合でも、 一'定時間後にはトランジスタ 7 7は必ずオフされ、 赤外発 光ダイォード 1 5も一定時間後には必ずオフされる。
このよ うに、 フレームステータス信号 F S Fの持続期間を変更することによつ て、 イメージセンサ 4 3の露光時間を任意にかつ自在に設定または変更すること ができる。
さらに、 フレームステータス信号 F S Fおよび L EDコントロール信号 L ED Cの持続時間や周期を変更することによって、 赤外発光ダイォード 1 5すなわち ス トロボスコープの発光期間、 非発光期間、 発光 非発光周期などを任意にかつ 自在に変更または設定できる。
先に説明したように、 赤外発光ダイォード 1 5からの赤外光によって操作物 1 5 0が照射されると、 操作物 1 5 0からの反射光によってィメージセンサ 4 3が 露光される。 応じて、 イメージセンサ 43から上述のピクセルデータ D (X, Y) が出力される。 詳しく説明すると、 イメージセンサ 4 3は、 上述の図 9 (a ) の フレームステータスフラグ信号 F S Fがハイレベルの期間 （赤外発光ダイォード 1 5の非点灯期間） に図 9 (b ) に示すピクセルデータス トローブ PD Sに同期 して、 図 9 ( c ) に示すようにアナログのピクセルデータ D (X, Y) を出力す る。
高速プロセッサ 2 00では、 そのフレームステータスフラグ信号 F S Fとピク セルデータス トロープ P D Sとを監視しながら、 ADC 2 0 8を通じて、 デジタ ノレのピクセルデータを取得する。
ただし、 ピクセルデータは、 図 1 0 ( c ) に示すように、 第 0行， 第 1行， … 第 3 1行と行順次に出力される。 ただし、 後に説明するように、 各行の先頭の 1 ピクセルはダミーデータとなる。
さて、 次に、 音楽ゲーム装置 1によるゲーム内容について、 具体例を挙げなが ら説明する。
図 1 1は、 図 1のテレビジョ ンモニタ 9 0のスク リーン 9 1に表示されるゲー ム画面の例示図である。 図 1 1に示すゲーム画面は、 ゲームスタート画面である。 図 1 1に示すように、 ゲームスタート画面として、 スクリーン 9 1には、 背景 1 1 0、 位置ガイ ド G 1 ~G 4、 評価オブジェタ ト 1 0 7〜 1 0 9、 カーソル 1 0 5、 ダンスオブジェク ト 1 0 6、 及ぴ、 マスク 1 4 1， 1 4 2が表示される。 そ して、 楽曲の自動演奏が開始される。
なお、 本実施の形態の例では、 位置ガイ ド G 1 ~G4は、 花の図形で表現され、 評価オブジェク ト 1 0 7〜 1 0 9は、 ハートの図形で表現され、 ダンスオブジェ ク ト 1 0 6は、 男女がダンスをしている図形で表現され、 カーソル 1 0 5は、 操 作物 1 5 0を模した図形で表現される。 ここで、 位置ガイ KG 1〜G 4を包括的 に表現する場合は、 「位置ガイ G」 と表記する。
カーソル 1 0 5は、 操作物 1 5 0のスクリーン 9 1上での位置を表しており、 操作物 1 5 0の動きに追従してスクリーン 9 1上を移動する。 従って、 プレイヤ 94から見れば、 操作物 1 5 0の操作とカーソル 1 0 5の操作とは同義である。 位置ガイ ド Gは、 カーソル 1 0 5 (操作物 1 5 0) の操作タイミング及ぴ移動位 置を、 自動演奏する楽曲のタイミングで案内する。 後述の方向ガイ ド g 1〜 g 5 は、 カーソル 1 0 5 (操作物 1 5 0) の操作タイミング及ぴ移動方向を、 自動演 奏する楽曲のタイミングで案内する。 後述の経路ガイ ド r g l〜r g l Oは、 力 一ソル 1 05 (操作物 1 5 0 ) の操作タイ ミ ング、 移動方向及ぴ移動経路を、 自 動演奏する楽曲のタイミングで案内する。 評価オブジェク ト 1 0 7〜 1 0 9は、 プレイヤ 94によるカーソル 1 0 5 (操作物 1 5 0) の操作の評価を視覚的に表 示する。 ここで、 方向ガイ ド g 1〜g 5を包括的に表現するときは、 「方向ガイ ド g」 と表記する。 また、経路ガイ ド r g l〜r g l Oを包括的に表現するときは、 「経路ガイ ド r g」 と表記する。
図 1 2は、 図 1のテレビジョンモニタ 9 0のスク リーン 9 1に表示されるゲー ム画面の他の例示図である。 図 1 2に示すように、 位置ガイ ド Gによる、 徐々に 花が開くアニメーショ ンは、 カーソル 1 0 5を移動させる位置を示す。 これによ り、 プレイヤ 94に対して、 花が開くアニメーションを行っている位置ガイ G が表示されている領域に、 カーソル 1 0 5を移動させることが指示される。 プレ ィャ 94は、 操作物 1 5 0を移動させて、 花が開くアニメーショ ンを行っている 位置ガイ ド Gが表示されている領域にカーソル 1 0 5を移動させる。 花が開くァ ニメーションの後は、 花がしぼむアニメーションにより、 位置ガイ ド Gが表現さ れる。 さらに、 花が開くアニメーショ ンを行っている位置ガイ ド Gの方向が、 力 一ソル 1 0 5を移動させる方向を示す。 これにより、 プレイヤ 94に対して、 花 が開くアニメーションを行っている位置ガイ ド Gの方向にカーソル 1 0 5を移動 させることが指示される。
以上のことに加えて、 方向ガイ ド g l〜g 5によっても、 カーソル 1 0 5を移 動させる方向が案内される。 つまり、 最初に方向ガイ ド g 1、 次に方向ガイ ド g 2、 その次に方向ガイ ド g 3、 さらにその次に方向ガイ ド g 4、 さらにその次に 方向ガイ ド g 5、 という順番で、 方向ガイ ド g 1〜 g 5は出現する。 従って、 方 向ガイ ド g 1〜 g 5の出現の方向により、 カーソル 1 0 5を移動させる方向が案 内される。 ここで、 方向ガイ ド g 1〜 g 5の各々は、 出現当初は小さな球を表現 した図形であり、 その球は時間とともに徐々に大きくなり、 大きさが最大となつ た後は、 球が砕けるようなアニメーションが実行される。 従って、 球の図形が出 現する方向が、 カーソル 1 0 5を移動させる方向である。 プレイヤ 9 4は、 位置ガイ ド Gによる花が開いた所定時間の間に、 カーソル 1 0 5を、 当該位置ガイ ド Gが表示されている領域に移動させなければならない。 つまり、 位置ガイ ド Gは、 花が開くアニメーショ ンにより、 カーソル 1 0 5 の操 作タイミングを案内する。 また、 プレイヤ 9 4は、 一番最後の方向ガイ ド gによ る球の図形が出現してから所定時間の間に、 カーソル 1 0 5を花が開いた位置ガ イ ド Gが表示されている領域に移動させなければならない。 つまり、 方向ガイ ド gによっても、 カーソル 1 0 5の操作タイミ ングが案内される。
また、位置ガイ ド Gは、カーソル 1 0 5の操作方向を予告する機能をも有する。 つまり、位置ガイ ド Gにより、花のつぼみが開き始めることで、 プレイヤ 9 4は、 次にカーソル 1 0 5を移動させる方向を知ることができる。 さらに、 方向ガイ ド gも、 カーソル 1 0 5の操作方向を予告する機能をも有する。 つまり、 方向ガイ ド gは、 操作タイミングが到来する前に出現するため、 プレイヤ 9 4は、 これに よっても、 次にカーソル 1 0 5を移動させる方向を知ることができる。
以上の点を具体例を挙げて説明する。 図 1 2の例では、位置ガイ ド G 2による、 徐々に花が開くアニメーショ ンにより、 カーソル 1 0 5を移動させる位置が案内 されている。 これにより、 プレイヤ 9 4に、 花が開くアニメーショ ンを行ってい る位置ガイ ド G 2が表示されている領域に、 カーソル 1 0 5を移動させることが 案内される。 また、 花が開くアニメーションを行っている位置ガイ ド G 2の方向 力 S、 カーソル 1 0 5を移動させる方向である。 これにより、 プレイヤ 9 4に、 花 が開くアニメーショ ンを行っている位置ガイ ド G 2の方向にカーソル 1 0 5を移 動させることが案内される。 さらに、 方向ガイ ド g 1〜 g 5による球の図形は、 位置ガイ ド G 1から位置ガイ ド G 2へ向かって出現している。 このように、 方向 ガイ K g 1 ~ g 5によっても、 カーソル 1 0 5を、 位置ガイ K G 1から位置ガイ K G 2へ移動させることが案内される。
プレイヤ 9 4は、 位置ガイ ド G 2による花が開いた所定時間の間に、 カーソル 1 0 5を、 当該位置ガイ K G 2が表示されている領域に移動させなければならな い。 また、 プレイヤ 9 4は、 一番最後の方向ガイ ド g 5による球の図形が出現し てから所定時間の間に、 カーソル 1 0 5を花が開いた位置ガイ ド G 2が表示され ている領域に移動させなければならない。 つまり、 方向ガイ ド gによっても、 力 一ソル 1 0 5の操作タイミングが案内される。
プレイヤ 94は、 位置ガイ G 2及ぴ方向ガイ g 1〜 5による案内に従って、 操作物 1 5 0を適切に操作しで、 位置ガイ ド G 1から位置ガイ ド G 2の位置まで カーソル 1 0 5を移動させている。 従って、 評価オブジェク ト 1 0 7〜 1 0 9の 全てが点滅するアニメーショ ンが実行される。 なお、 最も適切なタイ ミングで、 カーソル 1 0 5が操作された場合は、 評価オブジェク ト 1 0 7〜 1 0 9の全てが 点滅するアニメーションが実行され、 最も適切なタイミングではないが許容範囲 のタイミングでカーソル 1 0 5が操作された場合は、 評価ォブジェク ト 1 0 8の みが点滅するアニメーションが実行される。 なお、 位置ガイ ド G l , G 3 , G 4 は、 カーソル 1 0 5の操作タイミング及ぴ移動位置を案内する時間帯でないため、 花のつぼみの図形となっている。 また、位置ガイ ド G 2と位置ガイ KG 4との間、 位置ガイ ド G 4と位置ガイ ド G 3 との間、 及ぴ、 位置ガイ ド G 3と位置ガイ ド G 1 との間、 では、 カーソル 1 0 5の操作タイ ミング及ぴ操作方向を案内する時間 帯ではないため、 方向ガイ ド gが出現していない。
プレイヤ 94は、 位置ガイ KG 2及ぴ方向ガイ Kg 1〜 5による案内に従って、 カーソル 1 0 5を適切に操作しているため、 カーソル 1 0 5の移動方向 （位置ガ イ ド G 1から位置ガイ ド G 2の方向、 つまり、 スク リーン 9 1に向かって右方向） に対応した方向にダンスを行うアニメーショ ンが実行される。 例えば、 ダンスォ ブジェク ト 1 0 6が、 反時計回りに回転するアニメーションを行い、 かつ、 背景 1 1 0が、 スクリーン 9 1に向かって、 左方向にスクロールする。 これにより、 ダンスオブジェク ト 1 0 6の位置はスクリーン 9 1の中心にありながらも、 ダン スォブジェク ト 1 0 6が、 右方向に移動しながら反時計回りに回転したように見 7Lる。
図 1 3は、 図 1のテレビジョンモニタ 9 0のスク リーン 9 1に表示されるゲー ム画面のさらに他の例示図である。 図 1 3では、 4つの位置ガイ ド G 1〜G 4が 同時に、 花が開くアニメーショ ンをしている。 これを契機として、 プレイヤ 94 に対して、 経路ガイ ド r g ：!〜 r g l Oに案内される経路及び方向にカーソル 1 0 5を移動させることが案内される。 この場合、 経路ガイ ド r g l〜r g l 0の 出現位置が、 カーソル 1 0 5の案内経路を示す。 また、 最初に経路ガイ ド r g 1、 次に経路ガイ ド r g 2、 その次に経路ガイ ド r g 3、 さらにその次に経路ガイ ド r g 4、 ···、 最後に経路ガイ ド r g 1 0、 という順番で、 経路ガイ ド r g 1〜 r g 1 0は出現する。 従って、 経路ガイ ド r g l〜 r g 1 0の出現の方向により、 力一ソル 1 0 5を移動させる方向が案内される。 ここで、 経路ガイ ド r g 1〜g 1 0の各々は、 出現当初は小さな球を表現した図形であり、 その球は時間ととも に徐々に大きくなり、 大きさが最大となった後は、 球が砕けるようなアニメーシ ヨンが実行される。 図 1 3では、 位置ガイ ド G 3の近傍を出発点として、 経路ガ イ ド r g l ~g l Oに沿って、 反時計回りにカーソル 1 0 5を移動させることが 案内されている。
プレイヤ 94が、 位置ガイ ド G 1〜G 4及ぴ経路ガイ ド r g l〜 r g l Oに従 つて、 操作物 1 5 0を操作して適切にカーソル 1 0 5を操作した場合は、 ダンス オブジェク ト 1 0 6は、 経路ガイ ド r g l〜 r g l Oに対応したアニメーシヨ ン (例えば、 反時計回りに大きく回転するようなアニメーショ ン） を実行する。 なお、 上記のように、 図 1 2及ぴ図 1 3に示したダンスォブジェク ト 1 0 6等 のオブジェク トは、 アニメーションの、 あるコマの画像である。 例えば、 ダンス アニメーショ ンのために、 一連のダンスオブジェク ト 1 0 6が用意されている。 また例えば、 位置ガイ ド Gのアニメーショ ンのために、 一連の花の図形のォブジ ェク ト画像が用意されている。 また、 例えば、 方向ガイ ド g及ぴ経路ガイ ド r g のアニメーショ ンのために、 一連の球の図形のオブジェク ト画像が用意されてい る。
ここで、 図 1 1〜図 1 3に示したゲーム画面のダンスオブジェク ト 1 0 6、 位 置ガイ KG、 評価ォブジェク ト 1 0 7〜 1 0 9、 カーソル 1 0 5、 方向ガイ ド g、 及ぴ、 経路ガイ ド r g、 は単数あるいは複数のスプライ トからなる。 スプライ ト は、 矩形の画素集合であり、 スク リーン 9 1の任意の位置に配置できる。 なお、 位置ガイ KG、 評価ォブジェク ト 1 0 7〜 1 0 9、 カーソル 1 0 5、 方向ガイ ド g、 及ぴ、 経路ガイ ド r g、 を総称してオブジェク ト （あるいはォブジェク ト画 像） と呼ぶこともある。
図 1 4は、 スク リーン 9 1に表示されるォブジェク トを構成するスプライ トの 説明図である。 図 1 4に示すように、 図 1 1のダンスオブジェク ト 1 0 6は、 例 えば、 1 2個のスプライ ト S P 0〜S P 1 1により構成される。 スプライ ト S P 0〜 S P 1 1の各々は、 例えば、 1 6画素 X 1 6画素からなる。 ダンスオブジェク ト 1 0 6をスクリーン 9 1上に配置するときは、 例えば、 左上の角のスプライ ト S P 0の中心を、 スク リーン 9 1上のどの座標に配置するかが指定される。 そし て、 指定された座標及びスプライ ト S P 0〜S P 1 1のサイズをもとに、 各スプ ライ ト S P 1〜S P 1 1の中心を配置する座標が算出される。
次に、 背景 1 1 0のスクロールについて説明する。 まず、 全景スクリーンにつ いて説明する。
図 1 5は、 図 1のテレビジョ ンモニタ 9 0のスク リーン 9 1に表示される全景 スク リーンの説明図である。 図 1 5に示すように、 全景スクリーン 1 4 0は、 例 えば、 3 2個 X 3 2個のプロック 「0」〜プロック 「 1 0 2 3」 により構成される。 ブロック 「 0」 〜ブロック 「 1 0 2 3」 の各々は、 例えば、 8画素 X 8画素からな る矩形要素である。 ブロック 「0」 〜プロック 「 1 0 2 3」 に対応して、 配列 P A [ 0 ]〜配歹【J P A [ 1 0 2 3 ] 及び配列 C A [ 0 ] 〜'配列 C A [ 1 0 2 3 ] が用 意される。 ここで、 ブロック 「0」 〜プロック 「 1 0 2 3」 を包括して表現する ときは、 単に 「プロック」 と表記し、 配列 P A [0 ]〜配列 P A [ 1 0 2 3 ] を包 括して表現するときは、 「配列 PA」 と表記し、 配列 CA [0] 〜配列 CA [ 1 0 2 3 ] を包括して表現するときは、 「配列 CA」 と表記する。
さて、 配列 P Aには、 対応するブロックの画素パターンを指定するデータ （画 素パターンデータ） が代入される。 この画素パターンデータは、 ブロックを構成 する 8画素 X 8画素の各画素の色情報である。 また、 配列 C Aには、 対応するプロ ックに使用するカラーパレツ ト及ぴデプス値を指定する情報が代入される。 力ラ 一パレッ トは、 所定数の色情報からなる。 デプス値は、 画素の奥行きを表す情報 であり、 同じ位置に、 複数の画素が存在することとなる場合、 最も大きなデプス 値を持つ画素だけが表示されることになる。
図 1 6 ( a ) は、 全景スクリーン 1 4 0をスクロールする前の説明図、 図 1 6 ( b ) は、 全景スクリーン 1 4 0をスクロールした後の説明図、 である。 図 1 6 ( a ) に示すように、 テレビジョンモニタ 9 0のスクリーン 9 1のサイズは、 2 5 6画素 X 2 2 4画素であるため、全景スクリーン 1 4 0のうち、 2 5 6画素 X 2 2 4画素の範囲がスクリーン 9 1に表示される。 ここで、 全景スクリーン 1 4 0 の中心位置を k画素だけ左にスク ロールすることを考える。 そうすると、 全景ス クリーン 1 4 0の横方向 （水平方向） の幅が、 スク リーン 9 1の横方向の幅と同 じであるため、 図 1 6 ( b ) に示すように、 スク リーン 9 1 の範囲外となった部 分 （斜線部分） ± スク リーン 9 1 の右端に表示される。 つまり、 概念的には、 横方向にスク口ールをする場合は、 同じ複数の全景スクリーン 1 4 0が横方向に 連なっていると考えることができる。
例えば、 スク リーン 9 1の範囲外となった部分 （斜線部分） が、 図 1 5 のプロ ック 「6 4」， ブロック 「9 6」， …， ブロック 「 8 9 6」， ブロック 「 9 2 8」 と すると、 これらのプロックに対応する配列 P A [ 6 4 ] , 〜 P A [ 9 2 8 ] 及ぴ配 列 C A [ 6 4 ]， …じ A [ 9 2 8 ] によって定まる画像が、 スク リーン 9 1 の右端 に表示される。 従って、 全景スクリーン 1 4 0の左スク ロールにより、 背景が連 続的に連なるようにするには、 スク リーン 9 1 の範囲外となった部分 （斜線部分） に含まれるプロックに対応する配列 P A及ぴ配列 C Aに代入されたデータを更新 する必要がある。 そうすれば、 更新された配列 P A及ぴ配列 C Aによって定まる 画像が、 スク リーン 9 1 の右端に表示される。
背景を滑らかに連続するように見せるためには、 スク リーン 9 1 の右端に表示 される前に、 該当する |έ列 P A及び配列 C Aのデータを更新する必要がある。 そ うすると、 スク リーン 9 1の左端に表示中のときに、 該当する配列 P A及ぴ配列 C Aのデータを更新する必要が生じ、 スクリーン 9 1の左端の表示が不連続なも のとなる。 従って、 このような不都合を回避するため、 図 1 1〜図 1 3に示すよ うに、 スクリーン 9 1の左端にマスク 1 4 1をする。 同様の理由により、 右端に もマスク 1 4 2をする。
なお、 右方向へのスク口ール処理も上記の左方向のスク口ール処理と同様であ る。 また、 本実施の形態では、 全景スクリーン 1 4 0の縦方向 （垂直方向） のス ク口ール範囲を土 1 6画素としているため、スクリーン 9 1の上下端にマスクはし ていない。
以上のようにして、 全景スクリーン 1 4 0をスクロールさせることで、 背景 1 1 0 をスク ローノレさせる。 さて、 次に、 音楽ゲーム装置 1によるゲーム処理の詳細を説明する。 図 1 7は、 図 6の R O M 5 1に格納されたプログラム及ぴデータを示す概念図である。 図 1 7に示すように、 R O M 5 1 は、 ゲームプログラム 3 0 0、 画像データ 3 0 1、 及び、 音楽データ 3 0 4、 が格納される。 画像データ 3 0 2は、 ォブジヱク ト画 像データ （位置ガイ ド G、 方向ガイ ド g、 経路ガイ ド r g、 評価オブジェク ト 1 0 7 - 1 0 9 , 及び、 カーソル 1 0 5、 等の画像データを含む。） 及ぴ背景画像デ ータを含む。 音楽データ 3 0 4は、 第 1の楽譜データ 3 0 5、 第 2の楽譜データ 3 0 6、 及ぴ、 音源データ （波形データ） 3 0 7、 を含む。
図 1 7に示す第 1の楽譜データ 3 0 5は、 楽曲制御情報が時系列に配置された データである。
図 1 8は、 図 1 7の第 1 の楽譜データ 3 0 5の一例を示す概念図である。 図 1 8に示すように、 楽曲制御情報は、 コマンド、 ノートナンパ/待機時間情報、 楽 器指定情報、 ベロシティ、 及び、 ゲートタイム、 を含む。
ノートオンは、 音を出すコマンド、 待機は、 待機時間を設定するコマンド、 で ある。 待機時間は、 次のコマンドを読み出すまでの時間 （ある音符から次の音符 までの時間） である。 ノートナンパは、 音の高さ （ピッチ） を指定する情報であ る。 待機時間情報は、 設定する待機時間を指定する情報である。 楽器指定情報は、 どの楽器の音色を使うかを指定する情報である。ベロシティは、音の強弱の情報、 つまり、 音量の情報、 である。 ゲートタイムは、 音が発音される長さである。 図 1 7に戻って、 第 2の楽譜データ 3 0 6は、 ガイ ド制御情報が、 時系列に配 置されたデータである。 この第 2の楽譜データ 3 0 6は、 ガイ ド （位置ガイ K G、 方向ガイ ド g、 及び、 経路ガイ ド r g ) を、 スク リーン 9 1に表示する際に使用 される。 つまり、 第 1の楽譜データ 3 0 5は、 楽曲を自動演奏するための楽譜デ ータであるが、 第 2の楽譜データ 3 0 6は、 ガイ ドを楽曲に合ったタイミングで 表示させるための楽譜データである。
図 1 9は、 図 1 7の第 2の楽譜データ 3 0 6の一例を示す概念図である。 図 1 9に示すように、 ガイ ド制御情報は、 コマンド、 ノートナンパ 待機時間情報、 及び、 楽器指定情報、 からなる。
第 2の楽譜データ 3 0 6では、 楽器指定情報は、 楽曲を奏でる楽器 （音色） を 示す番号ではなく、 第 2の楽譜データ 3 0 6が、 ガイ ド （位置ガイ ド G、 方向ガ イ ド g、 及び、 経路ガイ ド r g ) を出現させる楽譜データであることを示す番号 である。 '
従って、 ノートオンは、 音を出すコマンドではなく、 位置ガイ ド Gのアニメ一 ション開始を指示したり、 方向ガイ ド g及び経路ガイ ド r gの出現開始を指示し たりするコマンドである。 そして、 ノートナンバは、 音の高さ （ピッチ） を指定 する情報ではなく、 どの位置ガイ ド Gのアニメーションを開始するかを示したり、 どこに方向ガイ ド g及び経路ガイ ド r gを出現させるかを示したりする情報であ る。 この点を詳しく説明する。
図 2 0 (a ) 〜図 2 0 ( c ) は、 カーソル 1 0 5を案内する方向とノートナン パとの関係図である。 図 20 (a ) 〜図 20 ( c) に示すように、 矢印の向きが、 カーソル 1 0 5を案内する方向を示し、 矢印の始点が、 直前にカーソル 1 0 5を 案内した位置ガイ ド Gの位置を示し、 矢印の終点が、 カーソル 1 0 5を案内する 位置ガイ ド Gの位置を示している。 例えば、 図 20 ( a ) に示すように、 ノート ナンパ 「 5 5」 は、 カーソル 1 0 5を、 位置ガイ KG 1から位置ガイ KG 2へ案 内する場合に使用され、 楽譜データポインタが指すノートナンパが 「 5 5」 の場 合は、 図 1 2に示す位置ガイ ド G及び方向ガイ ド gが出現する。 また、 例えば、 図 20 ( c ) に示すように、 ノートナ.ンバ 「5 7」 は、 位置ガイ ド G 3を始点と して、 カーソル 1 0 5を反時計回りに回転させることを案内する場合に使用され、 楽譜データポインタが指すノートナンパが 「5 7」 の場合は、 図 1 3に示す位置 ガイ ド G及ぴ経路ガイ ド r gが出現する。
なお、 例えば、 ノートナンパ 「 8 1」 は、 第 2の楽譜データ 3 0 6の先頭に配 置するダミーデータであり （図 1 9参照）、ガイ ドの表示を制御する情報ではない。 こうすることで、 第 1の楽譜データ 3 0 5と第 2の楽譜データ 3 0 6 との先頭を 揃えている。 また、 例えば、 ノートナンパ 「 7 9」 は、 楽曲終了を意味するデー タであり、 第 2の楽譜データ 3 0 6の最後尾に配置される （図 1 9参照）。 なお、 ノートナンパ 「 7 9」 は、 ガイ ドの表示を制御する情報ではない。
さて、 次に、 髙速プロセッサ 2 0 0が実行する主な処理について説明する。
[ピクセルデータ群取得処理] C PU 2 0 1は、 イメージセンサ 4 3が出力し たアナログのピクセルデータを変換したデジタルのピクセルデータを取得して、 配列 P [X] [Y] に代入する。 なお、 イメージセンサ 4 3の水平方向 （横方向、 行方向） を X軸、 垂直方向 （縦方向、 列方向） を Y軸とする。
[差分データ算出処理] C P U 20 1は、 赤外発光ダイオード 1 5の点灯時の ピクセルデータ P [X] [Y] と、 消灯時のピクセルデータ P [X] [Y] と、 の 差分を算出して、 差分データを配列 D i f [X] [Y] に代入する。 ここで、 図面 を用いて、 差分を求める効果を説明する。 ここで、 ピクセルデータは輝度を表す。 よって、 差分データも輝度を表す。
図 2 1 (a ) は、 一般的なイメージセンサにより撮影された、 特別な処理を施 さない画像の例示図、 図 2 1 (b ) は、 図 2 1 (a ) の画像信号を或る閾値でレ ベル弁別したときの画像信号の例示図、 図 2 1 ( c ) は、 赤外フィルタ 1 7を介 したィメージセンサ 43の点灯時の画像信号を或る閾値でレベル弁別したときの 画像信号の例示図、 図 2 1 ( d) は、 赤外フィルタ 1 7を介したイメージセンサ 4 3の消灯時の画像信号を或る閾値でレベル弁別したときの画像信号の例示図、 図 2 1 ( e ) は、 点灯時の画像信号と消灯時の画像信号との差分信号の例示図、 である。
上記のように、 操作物 1 5 0に赤外光を照射し、 赤外フィルタ 1 7を介してィ メージセンサ 4 3に入射した反射赤外光による画像を撮影している。 一般的な室 内環境で一般的な光源を用いて操作物 1 5 0をス トロボスコープ撮影した場合に は、 一般的なイメージセンサ （図 5のイメージセンサ 43に相当する。） には、 図 2 1 ( a ) に示すように、 操作物 1 5 0による画像以外に、 蛍光灯光源、 白熱灯 光源、 太陽光 （窓） のような光源だけでなく、 室内のすべてのものの画像がすべ て写り込む。 したがって、 この図 2 1 (a ) の画像を処理して操作物 1 5 0の画 像のみを抽出するのは、 かなり髙速のコンピュータまたはプロセサが必要である。 しかしながら、 安価が条件の装置ではそのような高性能コンピュータを使えない。 そこで種々の処理を行って負担を軽減することが考えられる。
なお、 図 2 1 ( a ) の画像は、 本来ならば、 白黒の階調により表される画像で あるが、 その図示を省略している。 また、 図 2 1 ( a) 〜図 2 1 ( e ) では、 操 作物 1 5 0の反射シート 1 5 5が撮影されている。 さて、 図 2 1 ( b ) は、 図 2 1 ( a ) の画像信号を或る閾値でレベル弁別した ときの画像信号である。 このよ うなレベル弁別処理は専用のハードウエア回路で も、 ソフ トウェア的にでも、実行することができるが、 いずれの方法によっても、 一定以下の光量のピクセルデータを力ッ トするレベル弁別を実行すると、 操作物 1 5 0や光源以外の低輝度画像を除去することができる。 この図 2 1 ( b ) の画 像では操作物 1 5 0および室内の光源以外の画像の処理を省略でき、 したがって、 コンピュータの負担を軽減できるが、 それでも、 光源画像を含む高輝度画像が依 然として写り込んでいるので、 操作物 1 5 0と他の光源を分別することは難しい。 そこで、 図 5に示したように赤外フィルタ 1 7を利用して、 ィメージセンサ 4 3に赤外光による画像以外の画像が写らないようにした。 それによつて、 図 2 1 ( c ) に示すように、 赤外光を殆ど含まない蛍光灯光源の画像は除去できる。 し かしながら、 それでもなお太陽光や白熱灯が画像信号中に含まれてしまう。 した がって、 更なる負担軽減のために、 赤外ス トロボスコープの点灯時のピクセルデ ータと消灯時のピクセルデータとの差分を計算することとした。
そのため、 図 2 1 ( c ) の点灯時の画像信号のピクセルデータと、 図 2 1 ( d ) の消灯時の画像信号のピクセルデータとの差分を計算した。 すると、 図 2 1 ( e ) に示すように、その差分だけの画像が取得できる。 この差分データによる画像は、 図 2 1 ( a ) と対比すれば明らかなように、 操作物 1 5 0によって得られる画像 のみを含むことになる。 したがって、 処理の軽減を図りながらも、 操作物 1 5 0 の状態情報を取得できる。 状態情報とは、 例えば、 速さ情報、 移動方向情報、 移 動距離情報、 速度べク トル情報、 加速度情報、 移動軌跡情報、 面積情報、 若しく は、 位置情報、 のいずれか、 又は、 それらの 2以上の組み合わせ、 等である。 以上のような理由で、 C P U 2 0 1は、 赤外発光ダイォード 1 5の点灯時のピ クセルデータと、 消灯時のピクセルデータと、 の差分を算出して、 差分デ タを 得る。
[注目点抽出処理] C P U 2 0 1は、 算出した差分データ D i f [ X ] [ Y ] を 基に、 操作物 1 5 0の注目点の座標を求める。 この点を詳細に説明する。
図 2 2は、 操作物 1 5 0の注目点の座標算出の説明図である。 なお、 図 2 2に 示したィメージセンサ 4 3は、 3 2ピクセル Χ 3 2 ピクセルのものとする。 図 2 2に示すように、 C P U 2 0 1は、 X方向 （水平方向、 横方向、 行方向） に 3 2ピクセル分の差分データをスキャンし、 そして、 Y座標をインクリメント し、 X方向に 3 2 ピクセル分め差分データをスキャンし、 そして、 Y座標をィン クリメントし、 というように、 Y座標をインクリメントしながら、 X方向に 3 2 ピクセル分の差分データをスキャンしていく。
この場合、 C P U 2 0 1 は、 スキャンした 3 2ピクセル X 3 2ピクセル分の差分 データから、 最大輝度値の差分データを求め、 その最大輝度値と所定の閾値 T h とを比較する。 そして、 C P U 2 0 1は、 その最大輝度値が所定の閾値 T hより 大きい場合は、 その最大輝度値を持つピクセルの座標を基に、 操作物 1 5 0の注 目点の座標を算出する。 この点を詳しく説明する。
図 2 3 ( a ) は、 最大輝度値を持つピクセルの座標を基に、 操作物 1 5 0の注 目点座標を算出する際の X方向スキャンの説明図、 図 2 3 ( ) は、 最大輝度値 を持つピクセルの座標を基に、 操作物 1 5 0の注目点座標を算出する際の Y方向 スキャンのスタート時の説明図、 図 2 3 ( c ) は、 最大輝度値を持つピクセルの 座標を基に、 操作物 1 5 0の注目点座標を算出する際の Y方向スキャンの説明図、 図 2 3 ( d ) は、 最大輝度値を持つピクセルの座標を基に、 操作物 1 5 0の注目 点座標を算出する際の結果の説明図、 である。
図 2 3 ( a ) に示すように、 C P U 2 0 1は、 最大輝度値のピクセルの座標を 中心に、 X方向に、 差分データのスキャンを実行して、 所定の閾値 T hより大き い輝度値のピクセルを検出する。 図 2 3 ( a ) の例では、 X = 1 1〜 1 5までが、 所定の閾値 T hを超えたピクセルである。
次に、 図 2 3 ( b ) に示すように、 C P U 2 0 1は、 X = l l〜 1 5の中心を 求める。 すると、 中心の X座標は、 X c = l 3である。
次に、 図 2 3 ( c ) に示すように、 図 2 3 ( b ) で求めた X座標 （= 1 3 ) を 中心に、 Y方向に、 差分データのスキャンを実行して、 所定の閾値 T hより大き い輝度値のピクセルを検出する。 図 2 3 ( c ) の例では、 Y = 5〜 1 0までが、 • 所定の閾値 T hを超えたピクセルである。
次に、 図 2 3 ( d ) に示すように、 C P U 2 0 1は、 Y = 5〜 1 0の中心を求 める。 すると、 中心の Υ座標は、 Y c = 7である。 C P U 20 1は、 以上のようにして算出した注目点の座標 （X c， Y c ) = ( 1 3， 7 ) を、 スク リーン 9 1上の座標 （ X c , y c ) に変換する。 C P U 20 1 は、 以上のような注目点の座穰 ( X c , y c ) を求める処理を、 フレームが更新 されるたびに実行する。 そして、 C PU 20 1は、 X c及ぴ y cをそれぞれ配列 P X [M] 及ぴ P y [M] に代入する。 なお、 「M」 は整数であり、 スク リーン 9 1に表示するフレームが更新されるたぴに 1つインク リメントされる。
[注目点存在領域判定処理 （ 1 )] C P U 2 0 1は、 操作物 1 5 0の注目点が、 スク リーン 9 1上のどの領域 a 1 ~ a 4に存在するかを判定する。 この点を詳細 に説明する。
図 24は、 C P U 20 1による注目点存在領域判定処理 （2) の説明図である。 図 24に示すように、 スク リーン 9 1に、 位置ガイ KG 1を含む所定領域 a 1、 位置ガイ ド G 2を含む所定領域 a 2、位置ガイ ド G 3を含む所定領域 a 3、及ぴ、 位置ガイ ド G 4を含む所定領域 a 4、 を設定する。 C P U 2 0 1は、 所定領域 a 1 ~ a 4の中から、 操作物 1 50の注目点 （x c， y c ) が属する領域を判定し、 判定結果を配列 J 1 [M]に格納する。 C PU 20 1は、以上のような判定処理を、 スク リーン 9 1に表示するフレームが更新されるたびに実行する。
[注目点存在領域判定処理 （ 2)] C PU 2 0 1は、 操作物 1 5 0の注目点が、 スク リーン 9 1上のどの領域 A 1〜A 4に存在するかを判定する。 この点を詳細 に説明する。
図 2 5は、 C PU 2 0 1による注目点存在領域判定処理 （ 2) の説明図である。 図 2 5に示すように、 スク リーン 9 1を 4分割した領域 A 1〜 A 4を設定する。 C PU 20 1は、 領域 A 1〜A4の中から、 操作物 1 50の注目点 （x c， y c ) が属する領域を判定し、 判定結果を配列 J 2 [M]に格納する。 C PU 2 0 1は、 以上のような判定処理を、 スク リーン 9 1に表示するフレームが更新されるたび に実行する。
[カーソル制御処理] C PU 2 0 1は、 現在の操作物 1 5 0の注目点の座標 （X c , y c ) を、 次のフレームで表示す ¾カーソル 1 0 5の座標と して登録する （内 部メモリ 20 7に格納する）。
[ガイ ド種類登録処理] C PU 2 0 1は、 ガイ ド用の楽譜データポインタに従 つて、 第 2の楽譜データ 3 0 6から読み出したノートナンパ （図 1 9及ぴ図 2 0 ( a ) 〜図 2 0 ( c ) 参照） を配列 N N 「0」 あるいは配列 N N [ 1 ]に代入する。 このように、 配列の要素数を 2つにしたのは、 ある位置ガイ ド Gによる案内と他 の位置ガイ ド Gによる案内とが、 違うタイミングで開始されるが、 ある期間重複 して実行される場合もあるからである。 なお、ガイ ド用の楽譜データボインタは、 第 2の楽譜データ 3 0 6の読み出し位置を示すボインタである。
[ガイ ド制御処理] C P U 2 0 1は、 配列 N N [ J ] (ガイ ド表示番号 J = 0， 1 ) を参照して、 配列 N N [ J ] に代入されているノートナンパに従って、 方向 ガイ ド Gのアニメーショ ン情報、 位置ガイ ド gのアニメーショ ン情報、 及び、 経 路ガイ ド r gのアニメーション情報、 を登録する。 この点を詳細に説明する。 図 2 6は、 方向ガイ ド G、 位置ガイ ド g、'及ぴ、 経路ガイ ド r g、 のアニメ一 シヨンの登録処理の説明図である。 図 2 6に示すように、 ノートナンパと、 ァニ メーシヨ ン情報 （位置ガイ ド Gのアニメーショ ンテーブルの格納位置情報、 位置 ガイ ド Gのスク リーン 9 1上の表示座標、 位置ガイ ド Gの表示タイミング情報、 方向ガイ ド g /経路ガイ ド r gのアニメーションテーブルの格納位置情報、 方向 ガイ ド g /経路ガイ ド r gのスク リーン 9 1上の表示座標情報、 及ぴ、 方向ガイ ド g /経路ガイ ド r gの表示タイミング情報） と、が関連付けられたテーブルが、 R O M 5 1あるいは内部メモリ 2 0 7に用意される。
このテーブルのノ一トナンバは、 ガイ ドの表示を制御するためのノ一トナンパ であり、 図 2 0 ( a ) 〜図 2 0 ( c ) に示したノートナンパである。 例えば、 C P U 2 0 1は、 配列 N N [ J ] に代入されているノ一トナンパが 「 5 5」 の場合 は、 このテーブルを参照して、 ノートナンパ 「 5 5」 に関連付けられたアニメ一 シヨ ン情報 （位置ガイ ド Gのアニメーショ ンテーブルの格納位置情報、 位置ガイ ド Gのスク リーン 9 1上の表示座標、 位置ガイ ド Gの表示タイ ミ ング情報、 方向 ガイ ド gのアニメーショ ンテーブルの格納位置情報、 方向ガイ ド gのスク リーン 9 1上の表示座標情報、 及ぴ、 方向ガイ ド gの表示タイミング情報） を登録する (内部メモリ 2 0 7の所定領域に格納する。）。
ここで、 表示タイミング情報は、 スク リーン 9 1にオブジェク トをいつ表示す るかを示す情報である。 例えば、 ガイ ドナンパ 「5 5」 に関しては、 位置ガイ ド Gの表示タイ ミング情報が 「 0」 であるため、 現在表示中のフレームの次のフレ ームにおいて、 位置ガイ G 2を座標 （ X 1 , y 1 ) に表示することを意味する。 また、 例えば、 ガイ ドナンバ 「 5 5」 に関しては、 方向ガイ ド gの表示タイ ミン グ情報が 0， 6， 1 2， …， 2 4であるため、 現在表示中のフレームの次のフレ ームにおいて、 位置ガイ ド g 1 を座標 （ X 3， y l ) に表示し、 6フレーム後に 位置ガイ ド g 2を座標 （ X 4， y l ) に表示し、 ···、 2 4フレーム後に位置ガイ ド g 5を座標 （x 7， y l ) に表示することを意味する。
図 2 7は、 図 2 6のアニメーショ ンテーブル格納位置情報によ り指定されるァ 二メーシヨ ンテーブルの例示図である。 図 2 7に示すよ うに、 アニメーショ ンテ 一ブルは、 アニメーショ ン画像データ （複数のオブジェク ト画像データを時系列 に配置したもの） の格納位置情報、 アニメ シヨ ンを行うオブジェク トの番号を 時系列に配置したもの、 何フレーム連続して各オブジェク トを表示するかを示す 情報 （持続フレーム数）、 オブジェク トのサイズ、 カラーパレッ トの情報、 デプス 値の情報、 及ぴ、 スプライ トサイズ、 を関連付けたテーブルである。 なお、 ァニ メーシヨ ン画像データは、 画素パターンデータである。 ここで、 画素パターンデ ータ、 カラーパレツ ト、 及ぴ、 デプス値は、 ォブジェク トを構成するスプライ ト に関するものであり、 その意味は、 図 1 4で説明したプロックに関するものと同 様である。
アニメーショ ンテーブル格納位置情報 a d d r e s s 0が示すアニメーシヨ ン テーブルは、 位置ガイ ド Gのアニメーションテーブルの例示であり、 アニメーシ ョ ンテーブル格納位置情報 a d d r e s s lが示すアニメーショ ンテーブルは、 方向ガイ ド gのアニメーショ ンテーブルの例示であり、 アニメーショ ンテーブル 格納位置情報 a d d r e s s 2が示すアニメーショ ンテーブルは、 経路ガイ ド r gのアニメーショ ンテープルの例示であり、 アニメーショ ンテーブル格納位置情 報 a d d r e s s 3が示すアニメーショ ンテーブルは、 プレイヤ 9 4によるカー ソル 1 0 5の操作が成功したときに利用する位置ガイ ド Gのアニメ一ショ ンテー プルの例示である。
[ダンス制御処理] C PU 2 0 1 は、 プレイヤ 9 4によるカーソル 1 0 5の操 作が、 位置ガイ ド G及ぴ方向ガイ K g、 あるいは、 位置ガイ ド G及ぴ経路ガイ ド r g、 に適合して操作されたか否かを判断する。 具体的には、 次の通りである。
C PU 2 0 1は、 注目点存在領域判定処理 （ 1 ) による判定結果 J 1 [M] を もとに、 位置ガイ ド G及ぴ方向ガイ ド gが現在案内している領域に、 カーソル 1 0 5 (つまり、 操作物 1 5 0の注目点） が存在するかどうかを判断する （図 24 参照）。 例えば、 C PU 20 1は、 位置ガイ ド G及ぴ方向ガイ ド gが現在案内して いる領域が領域 a 2の場合に、 カーソル 1 0 5が存在する領域が領域 a 2である 場合は、 カーソル 1 0 5が位置ガイ ド G及ぴ方向ガイ gに適合して操作された と判断する。
また、 C PU 20 1は、 注目点存在領域判定処理（2) による判定結果 J 2 [M] をもとに、 位置ガイ ド G及ぴ経路ガイ ド r gが現在案内している経路に沿って、 カーソル 1 0 5 (つまり、 操作物 1 5 0の注目点） が移動したかどうかを判断す る （図 2 5参照）。 ここで、 図 20 (b ) のガイ ドナンパ 「5 3」 が案内する経路 は、図 2 5の領域 A 3→領域 A 1→領域 A 2→領域 A 4である。 また、図 20 ( c) のガイ ドナンバ 「5 7」 が案内する経路は、 図 2 5の領域 A 4→領域 A 2→領域 A 1→領域 A 3である。 従って、 例えば、 C P U 2 0 1は、 位置ガイ ド G及ぴ経 路ガイ ド r gが現在案内している経路がガイ ドナンパ 「5 3」 に対応する経路で ある場合に、 カーソル 1 0 5が移動した経路が、 領域 A 3→領域 A 1→領域 A 2 →領域 4、 である場合は、 カーソル 1 0 5が位置ガイ ド G及ぴ経路ガイ ド r g に適合して操作されたと判断する。
上述の結果、 プレイヤ 94によるカーソル 1 0 5の操作が、 位置ガイ ド G及ぴ 方向ガイ Kg、 あるいは、 位置ガイ ド G及ぴ経路ガイ ド r g、 に適合して操作さ れたと判断した場合は、 C PU 2 0 1は、 位置ガイ ド G及ぴ方向ガイ ド g、 ある いは、 位置ガイ ド G及ぴ経路ガイ ド r g、 に対応したダンスアニメーショ ン情報 を登録する （内部メモリ 2 0 7の所定領域に格納する。）。 図 2 6のテーブルと同 様に、 ガイ ドの表示を制御するノートナンパ （図 20 (a) 〜図 20 ( c ) 参照） とダンスアニメーション情報とを関連付けたテーブルが、 ROM5 1あるいは内 部メモリ 2 0 7に用意される。 ただし、 案内方向が同じノートナンパ （例えば、 ノートナンパ 「5 5」 と 「6 7」） については、 ダンスアニメーショ ン情報も同じ にしている。 ダンスアニメーショ ン情報は、 図 2 6のアニメーショ ン情報と同様のものであ り、 ダンスアニメーションテーブルの格納位置情報、 ダンスオブジェク ト 1 0 6 のスク リーン 9 1上の表示座ネ票、 及ぴ、 ダンスオブジェク ト 1 ひ 6の表示タイ ミ ング情報、 を含む。 また、 ダンスアニメーショ ンテーブルは、 図 2 7のアニメ一 シヨ ンテーブルと同様のものであり、 ダンスアニメーショ ン画像データ （複数の ダンスオブジェク ト 1 0 6の画像データを時系列に配置したもの） の格納位置情 報、 アニメーショ ンを行うダンスオブジェク ト 1 0 6の番号を時系列に配置した もの、 何フレーム連続して各ダンスオブジェタ ト 1 0 6を表示するかを示す情報 (持続フレーム数）、 ダンスオブジェク ト 1 0 6のサイズ、 カラーパレツ トの情報、 デプス値の情報、 及ぴ、 スプライ トサイズ、 を関連付けたテーブルである。 ダン スアニメーション画像データは、 画素パタ ンデータである。
なお、 図 1 7の第 2の楽譜データ 3 0 6には、 速い速度のダンスアニメーショ ンを行う ことを指示するノー トナンパ、 及ぴ、 遅い速度のダンスアニメーショ ン を行う ことを指示するノー トナンパ、 を含めることができる。 この場合は、 ダン スアニメーショ ンテーブルも、 速い速度のダンスアニメーショ ンテープノレと遅い 速度のダンスアニメーショ ンテーブルとが用意される。 また、 この場合は、 ガイ ドの表示を制御するノ一トナンパ及ぴダンス速度を制御するノ一トナンパと、 ダ ンスアニメーショ ン情報と、 を関連付けたテーブルが、 R O M 5 1 あるいは内部 メモリ 2 0 7に用意される。 同様に、 ダンス速度ごとに、 ダンスアニメーショ ン テーブルが用意される。
また、 プレイヤ 9 4によるカーソル 1 0 5の操作が、 位置ガイ ド G及ぴ方向ガ イ ド g、 あるいは、 位置ガイ ド G及ぴ経路ガイ ド r g、 に適合して操作されたと 判断した場合は、 C P U 2 0 1 は、 操作が成功した際に使用する位置ガイ ド Gの アニメーショ ンテーブルの格納位置情報 （図 2 7の例では、 a d d r e s s 3 ) を登録する。
また、 プレイヤ 9 4によるカーソル 1 0 5の操作が、 位置ガイ ド G及ぴ方向ガ ィ K g、 あるいは、 位置ガイ ド G及び経路ガイ ド r g、 に適合して操作されたと 判断した場合は、 C P U 2 0 1 は、 評価オブジェク ト 1 0 7〜1 0 9のためのァ 二メーシヨ ン情報を登録する （内部メモリ 2 0 7の所定領域に格納する。）。 この アニメーショ ン情報は、 図 2 6のアニメーショ ン情報と同様のものである。 従つ て、 このアニメーション情報には、 評価オブジェク ト 1 0 7〜 1 0 9のためのァ ニメーションテーブルの格納位置情報が含まれる。 このアニメーションテーブル は、 図 2 7のアニメーションテーブルと同様のものである。
さらに、 プレイヤ 9 4によるカーソル 1 0 5 の操作が、 位置ガイ ド G及び方向 ガイ K g、 あるいは、 位置ガイ ド G及び経路ガイ ド r g、 に適合して操作された と判断した場合は、 C P U 2 0 1は、位置ガイ ド G及ぴ方向ガイ ド§、 あるいは、 位置ガイ ド G及ぴ経路ガイ ド r g、 に対応したスク ロール制御を行う。 具体的に は、 C P U 2 0 1は、 位置ガイ ド G及ぴ方向ガイ ド g、 あるいは、 位置ガイ ド G 及ぴ経路ガイ ド r g、 並びに、 ダンス速度を制御するノートナンパ、 に対応して、 全景スク リーン 1 4 0の中心位置を変更して （図 1 6 ( a ) 及ぴ図 1 6 ( b ) 参 照）、 背景 1 1 0をスクロールする。 また、 C P U 2 0 1は、 横方向に全景スクリ ーン 1 4 0をスクロールさせる場合は、 該当する配列 P A及ぴ配列 C Aのデータ を変更する。
さて、 図 2 8は、 第 1の楽譜データ 3 0 5、 第 2の楽譜データ 3 0 6、 方向ガ イ ド G、 位置ガイ ド g、 操作判定、 及び、 ダンスアニメーショ ン、 の関係を説明 するためのタイミング図である。 なお、 図 2 8において、 太い線は、 処理の実行 期間を示し、 太い線の左端の黒丸は処理の開始を示し、 太い線の右側の黒丸は処 理の終了を示す。
図 2 8に示すように、 第 2の楽譜データ 3 0 6の読み出しの開始時点は、 第 1 の楽譜データ 3 0 5の読み出しの開始時点 T 1， T 2 , ···、 よりも所定時間 tだ け早い。 従って、 方向ガイ ド gは、 第 1の楽譜データ 3 0 5の対応するノートナ ンバが読み出される時 T 1〜T 3よりも、 所定時間 tだけ早く表示され、 第 1の 楽譜データ 3 0 5の対応するノートナンパが読み出される時 T 1〜T 3まで （例 えば、 6 0 フレームの間） 表示される。 同様に、 位置ガイ ド Gは、 第 1 の楽譜デ ータ 3 0 5の対応するノートナンパが読み出される時 Τ 1〜Τ 3よりも、 所定時 間 tだけ早くアニメーショ ンを開始し、 第 1の楽譜データ 3 0 5の対応するノ一 トナンパが読み出される時 T 1〜T 3の少し後までアニメーションを継続する。
C P U 2 0 1は、 力一ソル 1 0 5の操作が、 方向ガイ ド g及ぴ位置ガイ ド Gに 適合して行われたか否かの判断を、 方向ガイ ド gの表示開始から、 一定期間経過 後 （例えば、 3 0フレーム経過後） に開始し、 第 1の楽譜データ 3 0 5の対応す るノートナンパが読み出され ¾時 T 1〜T 3に終了する。 そして、 C P U 2 0 1 は、 カーソル 1 0 5の操作が、 方向ガイ ド g及び位置ガイ ド Gに適合して行われ たと判断した場合は、 判断期間の終了時に、 ダンスアニメーショ ン情報を登録す る。 従って、 この場合、 登録されたダンスアニメーション情報にもとづいて、 ダ ンスアニメーションが実行される。
なお、 第 2の楽譜データ 3 0 6の読み出しの開始時点が、 第 1の楽譜データ 3 0 5の読み出しの開始時点 T 1， T 2 , ···、 よりも所定時間 tだけ早い理由は、 次の通りである。 つまり、 プレイヤ 9 4は、 方向ガイ ド g及び位置ガイ ド Gによ る案内開始後に、 操作物 1 5 0の操作を開始するため、 その時間誤差を調整する ため、 方向ガイ ド g及ぴ位置ガイ ド Gの表示を楽曲のタイミングよりも早く した のである。
経路ガイ ド r gの表示タイミングについては、 方向ガイ ド Gの表示タイミング と同様である。 ただし、 例えば、 カーソル 1 0 5の操作が経路ガイ ド r gに適合 するか否かの判断は、経路ガイ ド r gによる案内開始時から終了時の間 （例えば、 6 0フレームの間） に行う。
[画像表示処理] C P U 2 0 1は、 カーソル制御処理、 ガイ ド制御処理、 及ぴ、 ダンス制御処理、 により登録された情報をもとに、 描画に必要な情報を垂直ブラ ンキング期間に、 図 7のグラフィックプロセッサ 2 0 2に与える。 すると、 グラ フィックプロセッサ 2 0 2は、 与えられた情報をもとに映像信号を生成して、 映 像信号出力端子 4 7に出力する。 これにより、 テレビジョ ンモニタ 9 0のスク リ ーン 9 1に、 位置ガイ ド Gや背景 1 1 0等を含むゲーム画面が表示される。 より 具体的には、 次の通りである。
C P U 2 0 1は、 カーソル制御処理で登録した座標情報 （操作物 1 5 0の注目 点の座標情報） をもとに、 カーソル 1 0 5を構成する各スプライ トの表示座標を 算出する。 そして、 C P U 2 0 1は、 カーソル 1 0 5を構成する各スプライ トの、 表示座標情報、 カラーパレッ ト情報、 デプス値、 サイズ情報、 及ぴ、 画素パター ンデータ格納位置情報、 をグラフィックプロセッサ 2 0 2に与える。 グラフイツ クプロセッサ 20 2は、 これらの情報をもとに、 カーソル 1 0 5を表す映像信号 を生成して、 映像信号出力端子 4 7に出力する。
また、 C PU 20 1は、 ガイ ド制御処理で登録したアニメーション情報に含ま れるアニメーションテーブル格納位置情報にもとづいて、 アニメーションテープ ルを参照し、 ガイ ド （位置ガイ G, 方向ガイ Kg, 経路ガイ ド r g) のアニメ ーシヨン画像を構成するオブジェク トのサイズ情報、 及ぴ、 そのオブジェク トを 構成するスプライ トのサイズ情報、 を取得する。 そして、 C PU 20 1は、 これ らの情報と、 登録されているアニメーショ ン情報に含まれる表示座標情報と、 を もとに、 当該ォブジェク トを構成する各スプライ トの表示座標を算出する。 また、 C PU 2 0 1は、 これから表示する位置ガイ ド Gのオブジェク ト番号、 アニメ一 ションテーブルに含まれるオブジェク ト及ひ、スプライ トのサイズ情報、 並びに、 アニメーションテーブルに含まれる位置ガイ ド Gのアニメーション画像データ格 納位置情報、 をもとに、 オブジェク トを構成する各スプライ トの画素パターンデ ータ格納位置情報を算出する。
そして、 さらに、 C PU 2 0 1は、 アニメーションテ プルを参照して、 位置 ガイ ド Gを構成する各スプライ トの、 カラーパレッ ト情報、 デプス値、 及ぴ、 サ ィズ情報を、 各スプライ トの画素パターンデータ格納位置情報及び表示座標情報 とともに、 グラフィックプロセッサ 20 2に与える。 この場合、 C P U 20 1は、 登録されているアニメーション情報に含まれる位置ガイ ド Gの表示タイミング情 報、 及ぴ、 アニメーションテーブルの持続フレーム数情報、 に従って、 上記の情 報をグラフィックプロセッサ 20 2に与える。
方向ガイ ド g及ぴ経路ガイ ド r gに関しても、 C PU 2 0 1がグラフィックプ 口セッサ 20 2に与える情報の取得及ぴ内容は、 位置ガイ ド Gと同様である。 た だし、 方向ガイ ド g 1〜 g 4及ぴ経路ガイ ド r g l〜r g l Oは、 アニメーショ ン情報に含まれる表示タイミング情報が指示するタイミングで、 アニメーション 情報に含まれる表示座標情報が指示する複数の位置に順次表示されるため、 方向 ガイ ド g 1〜 g 4の各々及び経路ガイ ド r g l〜r g l Oの各々の表示開始時に おいては、 C P U 20 1は、 登録されているアニメーション情報に含まれる表示 座標情報及ぴ表示タイミング情報を参照して、 方向ガイ ド g 1〜 g 4及び経路ガ イ ド r g l〜 r g l Oの情報をグラフィ ックプロセッサ 20 2に与える。
以上のようにして与えられた情報をもとに、 グラフィ ックプロセッサ 20 2は、 ガイ ド （位置ガイ ド G， 方向力'ィ Kg , 経路ガイ ド r g) を表す映像信号を生成 して、 映像信号出力端子 47に出力する。
また、 C PU 2 0 1は、 ダンス制御処理で登録したダンスアニメーショ ン情報 に含まれるダンスアニメーションテーブル格納位置情報にもとづいて、 ダンスァ ニメーショ ンテーブルを参照し、 ダンスアニメーショ ン画像を構成するダンスォ ブジェク ト 1 0 6のサイズ情報、 及ぴ、 ダンスオブジェク ト 1 0 6を構成するス プライ トのサイズ情報、 を取得する。 そして、 CPU 20 1は、 これらの情報と、 登録されているダンスアニメーショ ン情報に含まれる表示座標情報と、 をもとに、 ダンスオブジェク ト 1 0 6を構成する各スプライ トの表示座標を算出する。 また、 C PU 2 0 1は、 これから表示するダンスオブジェク ト 1 0 6の番号、 ダンスァ 二メーシヨンテーブルに含まれるダンスオブジェク ト 1 0 6及ぴスプライ トのサ ィズ情報'、 及ぴ、 ダンスアニメーショ ンテーブルに含まれるダンスアニメーショ ン画像データ格納位置情報、 をもとに、 ダンスオブジェク ト 1 0 6を構成する各 スプライ トの画素パターンデータ格納位置情報を算出する。
そして、 さらに、 C P U 20 1は、 ダンスアニメーショ ンテーブルを参照して、 ダンスオブジェク ト 1 0 6を構成する各スプライ トの、 カラーパレツ ト情報、 デ ブス値、 及び、 サイズ情報を、 各スプライ トの画素パターンデータ格納位置情報 及ぴ表示座標情報と ともに、 グラフィ ックプロセッサ 20 2に与える。 この場合、 C PU 2 0 1は、 登録されているダンスアニメーショ ン情報に含まれる表示タイ ミ ング情報、 及ぴ、 ダンスアニメーショ ンテーブルの持続フレーム数情報、 に従 つて、 上記の情報をグラフイ ツクプロセッサ 20 2に与える。
さらに、 C PU 2 0 1は、 ダンス制御処理で登録した、 評価オブジェク ト 1 0 7〜 1 0 9のためのアニメーショ ン情報及びアニメーショ ンテーブルをもとに、 映像信号の生成に必要な情報を取得して、 グラフィ ックプロセッサ 2 0 2に与え る。 なお、 この場合に、 C PU 2 0 1がグラフィ ックプロセッサ 2 0 2に与える 情報の取得及ぴ内容は、 ダンスォブジェク ト 1 0 6の場合と同様である。
以上のよう にして与えられた情報をもとに、 グラフィ ックプロセッサ 20 2は、 ダンスォブジェク ト 1 0 6及ぴ評価オブジェク ト 1 0 7〜 1 0 9を表す映像信号 を生成して、 映像信号出力端子 4 7に出力する。
[楽曲再生] 楽曲の再生は、 割込み処理により行われる。 C P U 2 0 1は、 楽 曲用の楽譜データポインタをィンクリメントしながら、 図 1 8の楽曲制御情報を 読み出して解釈する。 なお、 楽曲用の楽譜データポインタは、 第 1の楽譜データ 3 0 5の読み出し位置を示すボインタである。
そして、 C P U 2 0 1は、 読み出した楽曲制御情報に含まれるコマンドが、 ノ 一トオンであれば、その楽曲制御情報に含まれるノ一トナンパが示す音の高さ （ピ ツチ） 及び楽器指定情報が示す楽器 （音色） に応じた波形データが格納されてい る先頭ア ドレスを、 サウンドプロセッサ 2 0 3に与える。 さらに、 C P U 2 0 1 は、 読み出した楽曲制御情報に含まれるコマンドが、 ノートオンであれば、 必要 なエンベロープデータが格納されている先頭ァドレスを、 サウンドプロセッサ 2 0 3に与える。 さらに、 C P U 2 0 1は、 読み出した楽曲制御情報に含まれるコ マンドが、 ノートオンであれば、 その楽曲制御情報に含まれるノートナンパが示 す音の高さ （ピッチ） に応じたピッチ制御情報、 及び、 その楽曲制御情報に含ま れるボリューム情報、 をサウンドプロセッサ 2 0 3に与える。
ここで、 ピッチ制御情報について説明しておく。 ピッチ制御情報は、 波形デー タを読み出す周期を変 ることによって行われるピッチ変換に用いられる。 つま り、 サウンドプロセッサ 2 0 3は、 ピッチ制御情報を一定期間毎に読み出して累 算する。 そして、 サウンドプロセッサ 2 0 3は、 この累算結果を加工して、 波形 データのア ドレスポインタとする。 よって、 ピッチ制御情報に大きな値が設定さ れれば、 アドレスポインタのインクリメントは早く行われ、 波形データの周波数 が高くなり、 ピッチ制御情報に小さな値が設定されれば、 アドレスポインタのィ ンクリメントは遅く行われ、 波形データの周波数が低くなる。 このようにして、 サウンドプロセッサ 2 0 3は、 波形データのピッチ変換を行う。
さて、 サウンドプロセッサ 2 0 3は、 与えられたピッチ制御情報に基づいて、 ァドレスボインタをインクリメントしながら、 与えられた先頭ァドレスが示す位 置に格納されている波形データを R O M 5 1から読み出す。 そして、 サウンドプ 口セッサ 2 0 3は、 順次読み出される波形データに、 エンベロープデータ及ぴボ リューム情報を乗算して、 音声信号を生成する。 このよ うにして、 第 1の楽譜デ ータ 305が指示する楽器の音色、 音の高さ （ピッチ）、 及び、 音量、 の音声信号 が生成され、 音声信号出力端子 4 9に出力される。
一方、 C PU 2 0 1は、 読み出した楽曲制御情報に含まれるゲートタイムを管 理している。 従って、 C PU 2 0 1は、 ゲートタイムが経過した時に、 該当する 楽音の発音を終了するように、 サウンドプロセッサ 20 3に指示を出す。 これを 受けて、 サウンドプロセッサ 20 3は、 指示された楽音の発音を終了する。
以上のようにして、 第 1の楽譜データ 3 0 5に基づいて楽曲が再生され、 テレ ビジョンモニタ 9 0のスピーカ （図示せず） から発音される。
さて、 次に、 図 1の音楽ゲーム装置 1の全体の処理の流れを、 フローチャート を用いて説明する。
図 2 9は、 図 1の音楽ゲーム装置 1の全体の処理の流れを示すフローチヤ一ト である。 図 2 9に示すように、 ステップ S 1にて、 C PU 2 0 1は、 システムの 初期設定を実行する。 ステップ S 2にて、 C PU 20 1は、 操作物 1 5 0の状態 情報を算出する。 ステップ S 3にて、 C PU 2 0 1は、 ステップ S 2で算出した 操作物 1 5 0の状態情報をもとに、 ゲーム処理を実行する。 ステップ S 4にて、 C PU 20 1は、 「Mj が所定値 「K」 より小さいかどうかを判断する。 C PU 2 0 1は、 「M」 が所定値 「K」 以上である場合、 ステップ S 5に進み、 「Mj に 「0」 を代入して、 ステップ S 6に進む。 一方、 C P U 20 1は、 「M」 が所定値 「K」 より小さい場合、 ステップ S 4からステップ S 6に進む。 この 「Μ」 については、 後述の説明の中で明らかになる。
ステップ S 6では、 C PU 2 0 1は、 ビデオ同期の割込み待ちかどうかを判断 する。 C PU 20 1は、 テレビジョンモニタ 9 0の表示画面を更新するための画 像情報を、 垂直ブランキング期間の開始後にグラフイツクプロセッサ 2 0 2に与 える（ステップ S 7)。従って、表示画面を更新するための演算処理が完了したら、 ビデオ同期割込みがあるまで処理を進めないようにしている。 ステップ S 6で「Y E S」 であれば、 即ち、 ビデオ同期の割込み待ちであれば （ビデオ同期信号によ る割り込みがなければ）、 同じステップ S 6に戻る。 一方、 ステップ S 6で 「NO」 であれば、 即ち、 ビデオ同期の割込み待ちでなければ （ビデオ同期信号による割 り込みがあれば）、 ステップ S 7に進む。 ステップ S 7では、 C P U 20 1は、 ス テツプ S 3のゲーム処理の結果をもとに、 ゲーム画面 （図 1 1〜図 1 3参照） の 生成に必要な画像情報を、 垂 ΐプランキング期間に、 グラフィ ックプロセッサ 2 0 2に与える （画像表示処理）。
図 3 0は、 図 2 9のステップ S 1の初期設定処理の流れを示すフローチャート である。 図 3 0に示すように、 ステップ S 1 0にて、 C P U 2 0 1は、 ガイ ド用 の楽譜データポインタを初期化する。 ステップ S 1 1にて、 C PU 20 1は、 ガ イ ド用の実行待機カウンタを 「0」 にセッ トする。
ステップ S 1 2にて、 C PU 2 0 1は、 楽曲用の楽譜データボインタを初期化 する。 ステップ S 1 3にて、 C PU 20 1は、 楽曲用の実行待機カウンタを 「 t」 にセッ トする。
ステップ S 1 4にて、 C PU 2 0 1は、 ィメージセンサ 4 3の初期設定処理を 実行する。 ステップ S 1 5にて、 C PU 20 1は、 各種フラグ及ぴ各種力ゥンタ を初期化する。
ステップ S 1 6にて、 C PU 20 1は、 タイマ回路 2 1 0を発音のための割込 み源と してセッ トする。 なお、 割込み処理によ り、 サゥンドプロセッサ 20 3に よる処理が実行されて、 テレビジョ ンモニタ 9 0のスピー力から音声が出力され る。
図 3 1は、 図 3 0のステップ S 1 4のセンサ初期設定処理の流れを示すフ口一 チャー トである。 図 3 1に示すよ うに、 最初のステップ S 2 0では、 高速プロセ ッサ 200は、 設定データと して、 コマン ド "CONF" を設定する。 ただし、 このコマンド "CONF" は、 イメージセンサ 4 3に、 髙速プロセッサ 20 0か らコマン ドを送信する設定モー ドに入ることを知らせるためのコマン ドである。 そして、 次のステップ S 2 1にて、 コマンド送信処理を実行する。
図 3 2は、 図 3 1のステップ S 2 1のコマンド送信処理の流れを示すフローチ ヤー 卜である。 図 3 2に示すよ うに、 最初のステップ S 3 0では、 髙速プロセッ サ 200は、 設定データ （ステップ S 2 1の場合はコマンド " CONF") をレジ スタデータ （ I /Oポー ト） に設定し、 次のステップ S 3 1でレジスタ設定クロ ック C LK ( I ZOポー ト） をローレベルに設定する。 その後、 ステップ S 3 2 で規定時間待機した後、 ステップ S 3 3で、 レジスタ設定クロック C L Kをハイ レベルに設定する。 そして、 さらにステップ S 3 4での規定時間の待機の後、 ス テツプ S 3 5でレジスタ設定クロック C L Kを再ぴローレベルに設定する。
このようにして、 図 3 3に示すように、 規定時間の待機を行いながら、 レジス タ設定クロック C L Kをローレべノレ， ノヽィ レべノレそしてローレベルとすることに よって、 コマンド （コマンドまたはコマンド +データ） の送信処理が行われる。 図 3 1の説明に戻る。 ステップ S 2 2では、 ピクセルモードを設定するととも に、 露光時間の設定を行う。 この実施の形態の場合、 イメージセンサ 4 3は先に 述べたようにたとえば 3 2ピクセル X 3 2ピクセルの CMO Sィメージセンサで あるため、 設定ア ドレス " 0 " のピクセルモードレジスタに 3 2 ピクセル X 3 2ピ クセルであることを示す " O h" を設定する。 次のステップ S 2 3において、 高 速プロセッサ 2 0 0は、 レジスタ設定処理を実行する。
図 3 4は、 図 3 1のステップ S 2 3のレジスタ設定処理の流れを示すフローチ ヤートである。 図 3 4に示すように、 最初のステップ S 4 0では、 高速プロセッ サ 2 0 0は、 設定データとして、 コマンド "MO V" +ァドレスを設定し、 次の ステップ S 4 1で、 図 3 2で先に説明したコマンド送信処理を実行して、 それを 送信する。 次にステップ S 4 2において、 高速プロセッサ 2 0 0は、 設定データ として、 コマンド "LD" +データを設定し、 次のステップ S 4 3でコマンド送 信処理を実行して、 それを送信する。 そして、 ステップ S 4 4で、 高速プロセッ サ 2 0 0は、 設定データとして、 コマン ド " S E T" を設定し、 次のステップ S 4 5でそれを送信する。 なお、 コマン ド "MOV" は制御レジスタのア ドレスを 送信することを示すコマンドで、 コマンド "LD" はデータを送信することを示 すコマンドで、 コマンド " S E T" はデータをそのア ドレスに実際に設定させる ためのコマンドである。 なお、 この処理は、 設定する制御レジスタが複数ある場 合には、 繰り返し実行される。
図 3 1 の説明に戻る。 ステップ S 2 4では、 設定ァドレスを " 1 " (露光時間設 定レジスタのローニブルのァドレスを示す） とし、 最大露光時間を示す "F F h" のローニプルデータ "F h" を設定すべきデータとして設定する。 そして、 ステ ップ S 2 5で図 3 4のレジスタ設定処理を実行する。 同様にして、 ステップ S 2 6において、 設定アドレスを "2" (露光時間設定レジスタのハイ二ブルのァ ドレ スを示す） とし、 最大露光時間を示す " F F h" のハイ二ブルデータ "F h" を 設定すべきデータとして設定し、 ステップ S 2 7でレジスタ設定処理を実行する。 その後、 ステップ S 2 8で設定終了を示しかつィメージセンサ 4 3にデータの 出力を開始させるためのコマンド " RUN" を設定し、 ステップ S 2 9で送信す る。 このようにして、 図 3 0に示すステップ S 1 4でのセンサ初期設定処理が実 行される。 ただし、 図 3 1〜図 34に示す具体例は、 使用されるイメージセンサ 4 3の仕様に応じて、 適宜変更され得るものである。 .
図 3 5は、 図 2 9のステップ S 2の状態情報算出処理の流れを示すフローチヤ ートである。 図 3 5に示すように、 ステップ S 5 0にて、 C PU 2 0 1は、 AD C 2 0 8からデジタルのピクセルデータを取得する。 このデジタルのピクセルデ ータは、 イメージセンサ 4 3からのアナログのピクセルデータが、 AD C 2 0 8 により、 デジタルに変換されたものである。
ステップ S 5 1にて、 注目点抽出処理が実行される。 具体的には、 C PU 20 1が、 赤外発光ダイオード 1 5の発光時のピクセルデータと消灯時のピクセルデ ータとの差分を算出して、 差分データを得る。 そして、 C PU 2 0 1は、 その差 分データの最大値を検出して、 所定の閾値丁 hと比較する。 さらに、 C PU 2 0 1は、 差分データの最大値が所定の閾値 T liを超えている場合は、 その最大値の 差分データを持つピクセルの座標を、 テレビジョンモニタ 9 0のスクリーン 9 1 上の座標に変換し、 操作物 1 5 0の注目点の座標とする。
ステップ S 5 2にて、 C PU 2 0 1は、 操作物 1 5 0の注目点が、 図 24のい ずれの領域 a 1〜 a 4に存在するかを判定して、 判定結果を配列 J 1 [M] に格 納する。
ステップ S 5 3にて、 C P U 2 0 1は、 操作物 1 5 0の注目点が、 図 2 5のい ずれの領域 A 1〜 A 4に存在するかを判定して、 判定結果を配列 J 2 [M] 格納 する。
図 3 6は、 図 3 5のステップ S 5 0のピクセルデータ群取得処理の流れを示す フローチャートである。 図 3 6に示すように、 最初のステップ S 6 0で、 C PU 20 1は、 ピクセルデータ配列の要素番号として に 「一 1」、 Yに 「0」 を設定 する。 本実施の形態におけるピクセルデータ配列は、 X== 0〜3 1、 Y= 0〜3 1の 2次元配列であるが、 前述のように各行の先頭ピクセルのデータと してダミ 一データが出力されるので、 Xの初期値として 「一 1」 が設定される。 続くステ ップ S 6 1では、 ピクセルデータの取得処理を実行する。
図 3 7は、 図 3 6のステップ S 6 1のピクセルデータ取得処理の流れを示すフ ローチャートである。 図 3 7に示すよ うに、 最初のステツプ S 70で、 C PU 2 0 1は、 ィメージセンサ 4 3からのフレームステータスフラグ信号 F S Fをチェ ック し、 ステップ S 7 1でそのァップェッジ （ローレべノレ力、らノヽィ レべノレへの） が発生したかどうか判断する。 そして、 ステップ S 7 1でフラグ信号 F S Fのァ ップェッジを検出すると、 次のステップ S 7 2において、 C PU 2 0 1は、 AD C 2 0 8に入力されてきたアナ口グのピクセルデータのデジタルデータへの変換 の開始を指示する。 その後、 ステップ S 7 3でイメージセンサ 43からのピクセ ルス トロープ PD Sをチェック し、 ステップ S 74でそのス トローブ信号 P D S のローレベルからハイ レベルへのアップエッジが発生したかどうか判断する。 ステップ S 74で "YE S" が判断されると、 C P U 20 1は、 ステップ S 7 5において、 X =— 1かどう力 、 すなわち先頭ピクセルかどうか判断する。 先に 述べたように、 各行の先頭ピクセルはダミーピクセルと して設定されているので、 このステップ S 7 5で "YE S" が判断されると、 次のステップ S 7 7でそのと きのピクセルデータを取得しないで、 要素番号 Xをィンク リメントする。
ステップ S 7 5で " NO" が判断されると、 行の第 2番目以降のピクセルデー タであるので、 ステップ S 7 6および S 7 8において、 そのときのピクセルデー タを取得し、 テンポラリ レジスタ （図示せず） にそのピクセルデータを格納する。 その後、 図 3 6のステップ S 6 2に進む。
図 3 6のステップ S 6 2では、 テンポラ リ レジスタに格納されたピクセルデー タをピクセルデータ配列 P [Y] [X] に代入する。
続くステップ S 6 3で Xをィンク リ メントする。 が 3 2に満たない場合、 前 述の S 6 1から S 6 3の処理を繰り返し実行する。 Xが 3 2の場合、 すなわちピ クセルデータの取得が行の終端に到達した場合には、 続くステップ S 6 5で Xに Γ— 1」 を設定し、 ステップ S 6 6で Yをインク リメント し、 次の行の先頭から ピクセルデータの取得処理を繰り返す。
ステップ S 6 7で Yが 3 2の場合、 すなわちピクセルデータの取得がピクセル データ配列 P [Y] [X]の終端に到達した場合、 図 3 5のステップ35 1に進む。 図 3 8は、 図 3 5のステップ S 5 1の注目点抽出処理の流れを示すフローチヤ ートである。 図 3 8に示すように、 ステップ S 8 0にて、 C PU 20 1は、 ィメ ージセンサ 43からの、 赤外発光ダイォード 1 5の点灯時のピクセルデータと、 赤外発光ダイオード 1 5の消灯時のピクセルデータと、 の差分を算出して、 差分 データを得る。 ステップ S 8 1にて、 C PU 20 1は、 配列 D i f [X] [Y]に、 算出した差分データを代入する。 ここで、 実施の形態では、 3 2ピクセル Χ 3 2ピ クセルのイメージセンサ 4 3を用いているため、 Χ= 0〜3 1、 Υ= 0~ 3 1、 である。
ステップ S 8 2にて、 C PU 2 0 1は、 配列 D i f [X] [Y] の全要素をスキ ャンする。 ステップ S 8 3にて、 C PU 2 0 1は、 配列 D i f [X] [Y]の全要 素の最大値を検出する。 C PU 20 1は、 その最大値が所定の閾値 T hより大き い場合は、 ステップ S 8 5に進み、 所定の閾値 T h以下の場合は、 図 2 9のステ ップ S 4に進む （ステップ S 84)。
ステップ S 8 5にて、 C PU 20 1は、 その最大値の座標を基に、 操作物 1 5 0の注目点の座標 （X c , Y c ) を算出する。 ステップ S 8 6にて、 C PU 2 0 1は、 回数 Mの値を 1つインク リメントする （M = M+ 1 )。
ステップ S 8 7にて、 C PU 20 1は、 イメージセンサ 4 3上の注目点の座標 (X c , Y c ) を、 テレビジョンモニタ 9 0のスクリーン 9 1上の座標 （x c， y c ) に変換する。 ステップ S 8 8にて、 C PU 20 1は、 M回目の注目点の x 座標として、 配列 P X [M] に X cを代入し、 M回目の注目点の y座標として、 配列 P y [M] に y cを代入する。
図 3 9は、 図 3 8のステップ S 8 5の注目点座標算出処理の流れを示すフロー チャートである。 図 3 9に示すように、 ステップ S 1 0 0にて、 C PU 20 1は、
「m」 及ぴ 「n」 にそれぞれ、 ステップ S 8 3で求めた最大値の X座標及ぴ Y座 標を代入する。 ステップ S 1 0 1にて、 C PU 20 1は、 「m」 を 1つインクリメ ントする （m = m+ l )。 C PU 20 1は、 差分データ D i f [m] [η] が、 所 定の閾値 T hより大きい場合は、 ステップ S 1 0 3に進み、 そうでない場合は、 ステップ S 1 04に進む （ステップ S 1 0 2)。 ステップ S 1 03にて、 C PU 2 0 1は、 「mr」 にそのときの 「m」 を代入する。 このように、 ステップ S 1 0 1 〜 S 1 0 3を繰り返しながら、 最大値から X軸の正方向にスキャンを実行して、 値が所定の閾値 T hを超える一番端の差分データの X座標を求める。
ステップ S 1 04にて、 C PU 20 1は、 「m」 に、 ステップ S 8 3で求めた最 大値の X座標を代入する。 ステップ S 1 0 5にて、 C PU 2 0 1は、 「m」 を 1つ デクリメントする。 C PU 20 1は、 差分データ D i f [m] [n] が、 所定の閾 値 T hより大きい場合は、 ステップ S 1 0 7に進み、 そうでない場合は、 ステツ プ S 1 0 8に進む（ステップ S 1 06)。ステップ S 1 0 7にて、 C PU 20 1は、 「m 1」 にそのときの 「m」 を代入する。 このように、 ステップ S 1 0 5〜S 1 0 7を繰り返しながら、 最大値から X軸の負方向にスキャンを実行して、 値が所 定の閾値 T hを超える一番端の差分データの X座標を求める。
ステップ S 1 0 8にて、 C PU 20 1は、 X座標 m r と X座標 m l との中心座 標を算出して、 それを、 注目点の X座標 （X c) とする。 ステップ S 1 0 9にて、 C P U 20 1は、 「m」 及ぴ Γ n」 にそれぞれ、 ステップ S 1 0 8で求めた 「X c」 およびステップ S 8 3で求めた最大値の Y座標を代入する。 ステップ S 1 1 0に て、 C PU 2 0 1は、 「n」 を 1つインクリメントする （n = n + l )。 C PU 2 0 1は、 差分データ D i f [m] [n] が、 所定の閾値 T hより大きい場合は、 ス テツプ S 1 1 2に進み、 そうでない場合は、 ステップ S 1 1 3に進む （ステツプ S l l l )。 ステップ S 1 1 2にて、 C PU 20 1は、 「md」 にそのときの 「n」 を代入する。 このように、 ステップ3 1 1 0〜3 1 1 2を繰り返しながら、 最大 値から Y軸の正方向にスキャンを実行して、 値が所定の閾値 Thを超える一番端 の差分データの Y座標を求める。
ステップ S 1 1 3にて、 CPU 20 1は、 「n」 に、 ステップ S 8 3で求めた最 大値の Y座標を代入する。 ステップ S 1 1 4にて、 C PU 2 0 1は、 「n」 を 1つ デクリメントする。 C P U 20 1は、 差分データ D i f [m] [n] 力 所定の閾 値 T hより大きい場合は、 ステップ S 1 1 6に進み、 そうでない場合は、 ステツ プ S 1 1 7に進む（ステップ S 1 1 5 )。ステップ S 1 1 6にて、 C P U 2 0 1は、 「mu」 にそのときの 「n」 を代入する。 このよ うに、 ステップ S 1 1 4〜S 1 1 6を繰り返しながら、 最大値から Y軸の負方向にスキャンを実行して、 値が所 定の閾値 T hを超える一番端の差分データの Y座標を求める。
ステップ S 1 1 7にて、 C PU 20 1は、 Y座標 m dと Y座標 m uとの中心座 標を算出して、 それを、 注目点の Y座標 （Y c) とする。 以上のよ うにして、 操 作物 1 5 0の注目点の座標 （X c， Y c) が算出される。
図 40は、 図 2 9のステップ S 3のゲーム処理の流れを示すフローチャー トで ある。 図 40に示すよ うに、 ステップ S 1 20にて、 C PU 2 0 1は、 楽曲終了 フラグをチェックして （図 43のステップ S 1 9 6参照）、 楽曲終了であれば、 ゲ ーム処理を終了し、 楽曲終了でなければ、 ステップ S 1 2 1へ進む
ステップ S 1 2 1にて、 C PU 2 0 1は、 操作物 1 5 0の注目点の X座標 P x [M]及び y座標 P y [M]を、 カーソル 1 0 5のスク リーン 9 1上の表示座標と し て登録する。
C PU 2 0 1は、 ステップ S 1 2 2とステップ S 1 44との間の処理を 2回繰 り返す。 ここで、 「； j 」 は、 ガイ ド表示番号 Jを意味する （図 43参照）。
ステップ S 1 2 3にて、 C P U 20 1は、 ガイ ド開始フラグ G F [ j ]をチェッ クする （図 43のステップ S 1 9 4参照）。 C P U 2 0 1は、 ガイ ド開始フラグ G F [ j ]がオンであれば、 ステップ S 1 2 5へ進み、 オフであれば、 ステップ S 1 44へ進む （ステップ S 1 24)。 ステップ S 1 2 5にて、 C PU 20 1は、 フレ ームカウンタ C [j ]をチェックする。 C PU 2 0 1は、 フレームカウンタ C [j ] 力 S 「0」 より大きい場合は、 ステップ S 1 2 8に進み、 フレームカウンタ C [j ] 力 S 「0」 の場合は、 ステップ S 1 2 7に進む （ステップ S 1 26)。 ステップ S 1 2 7にて、 C PU 2 0 1は、 ノー トナンパ NN[j ]に従って、 位置ガイ ド Gのァ ニメーショ ン情報を登録すると ともに、 方向ガイ ド gあるいは経路ガイ ド r gの アニメ ション情報を登録する。 フレームカウンタ C [j ]が 「0」 の場合にのみ、 このよ うなアニメーショ ン情報の登録を行うのは、 一且、 アニメーショ ン情報の 登録をすれば、 その後は、 その登録情報に従ってアニメーショ ンが実行されるた め、 アニメーションの開始時のみ登録するようにしている。
ステップ S 1 2 8にて、 C PU 2 0 1は、 ノートナンパ NN[j ]をチェック し て、 カーソル 1 0 5の旋回を指示するノートナンパである場合は （図 20 ( b ) 及ぴ図 20 (c) 参照）、 ステップ S 1 3 1に進み、 それ以外のノー トナンパであ れば （図 20 ( a ) 参照）、 ステップ S 1 2 9に進む。 ステップ S 1 2 9にて、 C PU 2 0 1は、 フレームカウンタ C U ]をチェックする。 C PU 2 0 1は、 フレ ームカウンタ [j ]が、 規定フレーム数 f 1以上であれば、 ステップ S 1 3 1へ進 み、 そうでなければ、 ステップ S 1 4 1に進む （ステップ S 1 3 0)。 ステップ S 1 3 1にて、 C PU 20 1は、 カーソル 1 0 5の操作が、 ガイ ド （位置ガイ G /方向ガイ ド g/経路ガイ ド r g) に適合しているか否かを判定する （成功判定）。 なお、 ステップ S 1 28及ぴステップ S 1 3 1から明らかなよ うに、 ノー トナ ンパ NN [ j ]がカーソル 1 0 5の旋回を指示するノ一トナンパである場合には、 フレーム力ゥンタ C [ ]· ]に関係なく、 位置ガイ ド G及ぴ経路ガイ ド r gの表示開 始時から （フレームカウンタ C [ j ]が 「0J)、 カーソル 1 0 5の操作の成功判定 を行っている。 一方、 ノートナンパ NN[j ]がカーソル 1 0 5の旋回を指示する ノー トナンパ以外である場合は、 位置ガイ ド G及ぴ方向ガイ ド gの表示開始時か ら （フレームカウンタ C [j ]が 「0」）、 規定フレーム数 f 1 (例えば。 3 0フレ ーム） 経過した後に、 カーソル 1 0 5の操作の成功判定を行っている （図 2 8参 照）。
さて、 C PU 20 1は、 ステップ S 1 3 1での判定の結果、 カーソル 1 0 5の 操作が成功であった場合は、 ステップ S 1 3 3に進み、 成功でない場合は、 ステ ップ S 1 40に進む （ステップ S 1 3 2)。 ステップ S I 3 3にて、 C PU 2 0 1 は、 ノートナンパ NN [ j ] 及ぴダンス速度フラグ DFを参照して （図 4 3のス テツプ S 1 9 3、 ステップ S I 9 0及ぴステップ S 1 9 2参照）、 ダンスアニメ一 ショ ン情報の登録を行う。 また、 操作成功の場合、 背景 1 1 0をスクロールすべ く、 C PU 2 0 1は、 ノー トナンパ NN [ j ] 及ぴダンス速度ブラグ D Fを参照 して、 全景スク リーン 1 40の中心位置の変更、 並びに、 配列 P A及ぴ配列 C A の該当データの変更を実行する。 さらに、 C P U 2 0 1は、 操作成功の際に使用 する位置ガイ ド Gのアニメーショ ンテーブル格納位置情報を登録する。
ステップ S 1 34にて、 C P U 2 0 1は、 ノー トナンパ NN[ j ]をチェック し て、 カーソル 1 0 5の旋回を指示するノー トナンパである場合は、 ステップ S 1 3 7に進み、 それ以外のノートナンパであれば、 ステップ S 1 3 5に進む。 ステ ップ S 1 3 5にて、 C P U 2 0 1 は、 フレームカウンタ C [ j ]をチェックする。 C PU 2 0 1 は、 フレームカウンタ U ]が、 規定フレーム数 f 2以上であれば、 ステップ S 1 3 7へ進み、 そうでなければ、 ステップ S 1 3 8に進む （ステップ S 1 3 6 )。 ステップ S 1 3 7にて、 C PU 2 0 1は、 スコア Sに 「 3」 を加える。 一方、 ステップ S 1 3 8にて、 スコア Sに 「 1」 を加える。
なお、 ステップ S 1 3 7では、 スコア Sに 「 3」 を加え、 ステップ S 1 3 8で は、 スコア Sに 「 1」 を加えているの次の理由による。 位置ガイ ド G及ぴ方向ガ イ ド gの表示開始時から （フレームカウンタ C U ]が 「 0」）、 規定フレーム数 f 2 (例えば、 5 0フレーム） 経過した後の所定期間内 （例えば、 1 0フレーム） に、 カーソル 1 0 5が位置ガイ ド Gの領域に存在した場合は、 ベス トなタイ ミン グでカーソル 1 0 5が操作されたと して、 「 3」 を加える。 一方、 規定フレーム数 f 1経過時から、 規定フレーム数 f 2経過前に、 カーソル 1 0 5が位置ガイ G の領域に存在した場合は、 通常の成功であると して、 「 1」 を加える。 また、 位置 ガイ ド G及び経路ガイ ド r g (カーソル 1 0 5の旋回を指示するガイ ド） に適合 した操作が行われた場合は、 一律に 「 3」 を加える。
さて、 ステップ S 1 3 9にて、 C P U 2 0 1 は、 フレームカウンタ C [ j ]をチ エックする。 C P U 2 0 1 は、 フレーム力ゥンタ C [ j ]が、 規定フレーム数 f 3 (例えば、 6 0フレーム） に等しければ、 ステップ S 1 4 2へ進み、 そうでなけ れば、 ステップ S 1 4 1に進む （ステップ S 1 4 0)。 ステップ S 1 4 1にて、 C P U 2 0 1 は、 フレームカウンタ C [； j ]を 1つインク リ メントする。 一方、 ステ ップ S 1 4 2にて、 C P U 2 0 1 は、 フレームカウンタ C [ j ]に 「 0」 をセッ ト する。 ステップ S 1 4 3にて、 C PU 2 0 1 は、 ガイ ド開始フラグ G F [ j ]をォ フにする。 なお、 規定フレーム数 f 3は、 成功判定の終了時を定めている。
図 4 1 は、 割込み処理の流れを示すフローチャー トである。 図 4 1 に示すよう に、 ステップ S 1 5 0にて、 C P U 2 0 1 は、 楽曲の再生処理を実行する。 ステ ップ S 1 5 1 にて、 C P U 2 0 1 は、 ガイ ド （位置ガイ G、 方向ガイ ド g、 経 路ガイ ド r g ) の登録処理を実行する。
図 4 2は、 図 4 1 のステップ S 1 5 0の楽曲再生処理の流れを示すフローチヤ ートである。 図 4 2に示すように、 ステップ S 1 6 0にて、 0 PU 2 0 1は、 楽 曲用の実行待機カウンタをチェックする。 楽曲用の実行待機カウンタの値が 「0」 ならば、 ステップ S 1 6 2へ ¾み、 「0」 でないならば、 ステップ S 1 7 0へ進む (ステップ S 1 6 1 )。 ステップ S 1 7 0にて、 C P U 2 0 1は、 楽曲用の実行待 機カウンタをデク リメントする。
—方、 ステップ S 1 6 2にて、 C P U 2 0 1 は、 楽曲用の楽譜データポィンタ の指すコマンドを読み出して解釈する。 コマンドがノー トオンであれば、 ステツ プ S 1 6 4に進む （ステップ S 1 6 3)。 一方、 コマンドが、 ノートオンでなけれ ば、 即ち、 待機であれば、 ステップ S 1 6 5に進む。 ステップ S 1 6 5にて、 C PU 2 0 1は、 楽曲用の実行待機カウンタに待機時間をセッ トする。
さて、 ステップ S 1 6 4にて、 C PU 2 0 1は、 サウンドプロセッサ 2 0 3に、 読み出したノ ^ " トナンパに応じた発音を開始させる。 ステップ S 1 6 6にて、 C PU 2 0 1は、 楽曲用の楽譜データポィンタをインク リ メントする。
ステップ S 1 6 7にて、 C P U 2 0 1は、 発音中のノートナンパに対する残り の発音時間をチェックする。 残りの発音時間が 「 0」 であれば、 ステップ S 1 6 9に進み、 そうでなければ、 図 4 1のステップ S 1 5 1へ進む （ステップ S 1 6 8)。 ステップ S 1 6 9にて、 C PU 2 0 1は、 サウンドプロセッサ 2 0 3に対し て、 残りの発音時間が 「0」 のノートナンパの発音終了処理を実行させる。
図 4 3は、 図 4 1のステップ S 1 5 1のガイ ド登録処理の流れを示すブローチ ヤートである。 図 4 3に示すよ うに、 ステップ S 1 8 0にて、 C P U 2 0 1 は、 ガイ ド用の実行待機カウンタをチヱックする。 ガイ ド用の実行待機カウンタの値 力 S 「0」 ならば、 ステップ S 1 8 2へ進み、 「 0」 でないならば、 ステップ S 1 9 8へ進む （ステップ S 1 8 1 )。 ステップ S 1 9 8にて、 C PU 2 0 1は、 ガイ ド 用の実行待機カウンタをデク リメントする。
一方、 ステップ S 1 8 2にて、 C P U 2 0 1 は、 ガイ ド用の楽譜データボイン タの指すコマンドを読み出して解釈する。 C P U 2 0 1 は、 コマンドがノー トォ ンであれば、 ステップ S 1 8 4に進む （ステップ S 1 8 3)。 一方、 C P U 2 0 1 は、 コマンドが、 ノー トオンでなければ、 即ち、 待機であれば、 ステップ S 1 9 7に進む。 ステップ S 1 9 7にて、 C P U 2 0 1 は、 ガイ ド用の実行待機力ゥン タに待機時間をセッ トする。
さて、 C PU 2 0 1は、 ノートナンパが楽曲終了を意味するものであれば、 ス テツプ S 1 9 6に進み、 そうでなければ、 ステップ S 1 8 5に進む （ステップ S 1 8 4)。ステップ S 1 9 6にて、 C PU 2 0 1は、楽曲終了フラグをオンにする。 —方、 C P U 2 0 1 はノートナンパが楽曲開始を意味するものであれば、 ステ ップ S 1 9 5に進み、 そうでなければ、 ステップ S 1 8 6に進む （ステップ S 1 8 5 )。 C PU 2 0 1 は、 ガイ ド表示番号 Jが、 「 1」 であれば、 ステップ S 1 8 8にて、 ガイ ド表示番号 J を 「0」 と し、 ガイ ド表示番号 Jが、 「 1」 でなければ (「 0」 であれば）、 ステップ S 1 8 7にて、 ガイ ド表示番号 J を 「 1」 とする。 なお、 ある位置ガイ ド Gによる案内と他の位置ガイ ド Gによる案内とが、 違うタ イ ミングで開始されるが、 ある期間重複して実行される場合もあるため、 ガイ ド 表示番号 Jを規定して、 図 2 9のステップ S 3のゲーム処理を実行している。
さて、 C P U 2 0 1 は、 ノートナンパが、 速い速度のダンスアニメーショ ンを 行う ことを指示するノ一トナンパであれば、 ステップ S 1 9 0に進み、 そうでな ければ、 ステップ S 1 9 1 に進む （ステップ S 1 8 9 )。 ステップ S 1 9 0にて、 C PU 2 0 1 は、 ダシス速度フラグ D Fを 「 1」 （速い速度のダンスアニメーショ ン） にセッ トする。
一方、 C PU 2 0 1 は、 ノートナンパが、 遅い速度のダンスアニメーショ ンを 行う ことを指示するノ一トナンパであれば、 ステップ S 1 9 2に進み、 そうでな ければ、 ステップ S 1 9 3に進む （ステップ S 1 9 1 )。 ステップ S 1 9 2にて、 C PU 2 0 1は、 ダンス速度フラグ D Fを 「 0」 （遅い速度のダンスアニメーショ ン） にセッ トする。
さて、 ノートナンパが、 楽曲終了を表すノー トナンパ、 楽曲の開始を表すノー トナンパ、 速い速度のダンスアニメーショ ンを表すノー トナンパ、 及ぴ、 遅い速 度のダンスアニメーショ ンを表すノー トナンパ、 のいずれでもない場合は、 その ノートナンパは、 ガイ ドの種類を表すノートナンパ （図 2 0 ( a ) 〜図 2 0 ( c )) であるから、 C P U 2 0 1 は、 ステップ S 1 9 3にて、 配列 N N [ J ]に、 そのノ 一トナンパを代入する。 ステップ S 1 9 4にて、 C P U 2 0 1 は、 ガイ ド開始フ ラグ GF [ J ]をオンにする。 ステップ S 1 9 5にて、 C P U 2 0 1は、 ガイ ド用の楽譜データボインタをィ ンクリメントする。
さて、 次に、 方向ガイ ド gの他の例を説明する。 図 4 4は、 方向ガイ ド gの他 の例を適用したゲーム画面の例示図である。 図 4 4に示すように、 位置ガイ ド G 1から位置ガイ K G 2へ延びるように、 帯状の方向ガイ ド g 2 0が表示される。 この方向ガイ ド g 2 0は、 時間の経過とともに、 位置ガイ K G 1から位置ガイ ド G 2まで延びる。 この方向ガイ ド g 2 0が延びる方向によって、 カーソル 1 0 5 を操作する方向が案内される。 また、 方向ガイ ド g 2 0が位置ガイ ド G 2に到達 した時から所定時間を、 カーソル 1 0 5の操作の成功判定の期間とすれば、 方向 ガイ ド g 2 0により、 カーソル 1 0 5の操作タイミングを案内することもできる。 なお、 方向ガイ ド g 2 0は、 位置ガイ ド G 1から位置ガイ ド G 2までの経路の色 を徐々に変化させることにより表現されている、 ということもできる。
図 4 5は、 方向ガイ ド gのさらに他の例を適用したゲーム画面の例示図である。 図 4 5に示すように、 ゲーム画面には、 位置ガイ ド Gと他の位置ガイ ド Gとの間 に、 方向ガイ ド g 3 0が表示される。 この方向ガイ ド g 3 0は、 5つの部分経路 g 3 1〜 g 3 5からなる。 そして、 図 4 5の例では、 位置ガイ ド G 1から位置ガ イ ド G 2へ向かって順番に、 5つの部分経路 g 3 1〜 g 3 5の色が変化する。 な お、 色の変化は、 ハッチングで示している。 このようにすることで、 部分経路 g 3 1〜 g 3 5の色の変化の方向により、 カーソル 1 0 5の操作方向を案内できる。 また、 この例において、 カーソル 1 0 5の移動位置を案内する位置ガイ ド G 2に 隣接した部分経路 g 3 5の色が変化した時から所定時間を、 カーソル 1 0 5の操 作の成功判定の期間とすれば、 方向ガイ ド g 3 0により、 カーソル 1 0 5の操作 タイミングを案内することもできる。
図 4 6は、 方向ガイ ド gのさらに他の例を適用したゲーム画面の例示図である。 図 4 6に示すように、 ゲーム画面には、 位置ガイ ド G 1 と位置ガイ ド G 2 との間 に、 方向ガイ ド g 4 0が表示される。 この方向ガイ ド g 4 0は、 時間の経過とと もに、 位置ガイ K G 1から位置ガイ ド G 2まで移動する。 この方向ガイ ド g 4 0 が移動する方向によって、 カーソル 1 0 5を操作する方向が案内される。 また、 方向ガイ ド g 4 0が位置ガイ K G 2に到達した時から所定時間を、 カーソル 1 0 5の操作の成功判定の期間とすれば、 方向ガイ ド g 40により、 カーソル 1 05 の操作タイミングを案内することもできる。
さて、 以上のように本実施の形態では、 カーソル 1 05の操作がガイ ド （位置 ガイ G、 方向ガイ Kg、 経路ガイ ド r g) に適合している場合に、 ガイ ドによ る案内に応じて画像 （上記例では、 ダンスオブジェク ト 106及び背景 1 10 ) の表示が制御される。 この場合、 ガイ ドによる案内に適合してカーソル 1 05の 操作が行われているため、 カーソル 1 05の操作に応じて画像の表示が制御され ることになる。 つまり、 カーソル 1 05は操作物 1 50と連動しているため、 操 作物 1 50の操作に応じて画像の表示が制御される。 また、 ス トロボスコープに より間欠的に光が照射される操作物 1 50を撮像ュニッ ト 1 3により撮影して、 操作物 1 50の状態情報を求めている。 このため、 操作物 1 50の状態情報を求 めるために、 操作物 1 50に電源により駆動する回路を内蔵する必要がない。 さ らに、 この音楽ゲーム装置 1は、 楽曲を自動演奏する。
以上の結果、 プレイヤ 94が関与することなく楽曲を自動演奏しながらも、 簡 易な構成の操作物 1 50をプレイヤ 94が操作することにより、 楽曲とともに、 操作物 1 50の操作に追従した画像を楽しむことができる。
また、 楽曲に基づくタイミングでガイ ドが制御されるため、 プレイヤ 94が、 ガイ ドに従ってカーソル 1 05を操作すれば、 操作物 1 50の操作も楽曲に合つ たものとなる。 従って、 プレイヤ 94は、 楽曲に合った操作物 1 50の操作を楽 しむことができる。
ここで、 例えば、 高速プロセッサ 200は、 ノートナンパ 「55」 及び 「6 7」 に対応して、 背景 1 1 0を左にスクロールさせ、 また、 ダンスオブジェク ト 1 0 6を反時計回りに回転させるダンスアニメーション情報及びダンスアニメーショ ンテーブルを用意する。 また、 例えば、 高速プロセッサ 200は、 ノートナンパ 「 45」 及び 「 64」 に対応して、 背景 1 1 0を右にスクロールさせ、 また、 ダ ンスォブジェク ト 1 06を時計回りに回転させるダンスアニメーション情報及び ダンスアニメーショ ンテーブルを用意する。 また、 例えば、 高速プロセッサ 20 0は、 ノートナンパ 「 76」 及び 「77」 に対応して、 背景 1 1 0を下にスクロ ールさせ、 また、 ダンスオブジェク ト 1 06を反時計回りに回転させるダンスァ ニメーション情報及びダンスアニメーションテーブルを用意する。 また、例えば、 高速プロセッサ 2 0 0は、 ノートナンパ 「6 5」 及ぴ 「 7 4」 に対応して、 背景 1 1 0を上にスク ロールさせ、 また、 ダンスオブジェク ト 1 0 6を時計回りに回 転させるダンスアニメーション情報及びダンスアニメーションテーブルを用意す る。 また、 例えば、 ノートナンパ 「5 3」 に対応して、 ダンスオブジェク ト 1 0 6を時計回りに大きく回転させるダンスアニメーション情報及びダンスアニメ一 シヨ ンテーブルを用意する。 また、 例えば、 ノートナンパ 「5 7」 に対応して、 ダンスオブジェク ト 1 0 6を反時計回りに大きく回転させるダンスアニメーショ ン情報及びダンスアニメーションテーブルを用意する。
なお、 このようなノートナンパ （図 2 0 ( a ) 〜図 2 0 ( c ) 参照） は、 ガイ ドの表示を制御するノートナンパであるため、 背景 1 1 0及ぴダンスォブジェク ト 1 0 6は、ガイ ドに応じて制御されるということになる。 さらに言い換えると、 背景 1 1 0及びダンスオブジェク ト 1 0 6は、 操作物 1 5 0の操作に応じて制御 されるということになる。
また、 本実施の形態では、 位置ガイ ド Gは、 カーソル 1 0 5の移動位置及び操 作タイミングを案内する。 そして、 高速プロセッサ 2 0 0は、 操作物 1 5 0によ るカーソル 1 0 5の操作が、 位置ガイ ド Gの案内に適合したときに、 位置ガイ ド Gが案内する移動位置の方向に対応して、 画像 （上記例では、 ダンスォブジェク ト 1 0 6及ぴ背景 1 1 0 ) の表示を制御する。
従って、 プレイヤ 9 4が、 操作物 1 5 0を操作して、 カーソル 1 0 5を、 位置 ガイ ド Gが案内する操作タイ ミ ングで、 位置ガイ ド Gが案内する移動位置に移動 させた場合に、 位置ガイ ド Gが案内する移動位置の方向に対応して、 画像の表示 が制御される。 その結果、 楽曲とともに、 操作物 1 5 0の操作に連動するカーソ ル 1 0 5の移動に追従した画像を楽しむことができる （図 1 2参照）。
さらに、 本実施の形態では、 経路ガイ ド r gは、 カーソル 1 0 5の移動経路、 移動方向、 及ぴ、 操作タイミングを案内する。 従って、 プレイヤ 9 4が、 操作物 1 5 0を操作して、 カーソル 1 0 5を、 経路ガイ ド r gが案内する操作タイミン グで、 経路ガイ ド r gが案内する移動方向に、 経路ガイ ド r gが案内する移動経 路に沿って移動させた場合に、 経路ガイ ド r gに応じて、 画像 （上記例では、 ダ ンスオブジェク ト） の表示が制御される。 その結果、 楽曲とともに、 操作物 1 5 0の操作に連動するカーソル 1 0 5の移動に応じた画像を楽しむことができる (図 1 3参照）。
さらに、 本実施の形態によれば、 操作物 1 5 0の注目点の位置が、 位置ガイ ド Gが案内する期間内に、 位置ガイ ド Gが案内する領域内に存在する場合に、 操作 物 1 5 0に連動するカーソル 1 0 5の操作が、 位置ガイ ド Gの案内に適合してい ると判断される （図 2 4参照）。 また、 操作物 1 5 0の注目点の位置が、 経路ガイ ド r gが案内する期間内に、 経路ガイ ド r gが案内する複数の所定領域を、 経路 ガイ ド r gが案内する所定の順序で移動した場合に、 操作物 1 5 0に連動する力 一ソル 1 0 5の操作が、 経路ガイ ド r gの案内に適合していると判断される （図 2 5参照）。 以上のように、 簡易な処理で算出できる操作物 1 5 0の注目点の位置 により、 カーソル 1 0 5の操作の的確性を判断できる。
さらに、 本実施の形態では、 位置ガイ ド Gは、 スク リーン 9 1上の予め定めら れた複数の位置の各々に表示される。 そして、 高速プロセッサ 2 0 0は、 位置ガ イ ド Gの形態を、 楽曲にもとづくタイミングで変化させる （図 1 2の例では、 花 が開くアニメーション）。 従って、 プレイヤ 9 4は、 位置ガイ ド Gの形態の変化に より、 カーソル 1 0 5を移動すべき位置及ぴ方向を容易に認識できる。
さらに、 本実施の形態では、 方向ガイ ド g及ぴ経路ガイ ド r gは、 スク リーン 9 1上の第 1の予め定められた位置から第 2の予め定められた位置への移動が視 覚的に認識できる表示により表現される。 このよ うに、 位置ガイ ド Gに加えて、 方向ガイ ド gおよび経路ガイ ド r gによっても、 カーソル 1 0 5の操作を案内し ている。 従って、 プレイヤ 9 4は、 カーソル 1 0 5を移動すべき方向及ぴ経路を より明確に認識できる。 より具体的には次の通りである。
方向ガイ K g及ぴ経路ガイ ド r gは、 スク リーン 9 1上の第 1の予め定められ た位置を始点とし、 第 2の予め定められた位置を終点とする経路上に配置される 複数のオブジェク ト （図 1 2及び図 1 3の例では、 球の図形） の形態の変化によ り表現される。 この場合、 プレイヤ 9 4は、 複数のオブジェク トの形態の変化に より、 カーソル 1 0 5を移動すべき方向及ぴ経路を容易に認識できる。
また、 方向ガイ ド gは、 スク リーン 9 1上の第 1の予め定められた位置から第 2の予め定められた位置へのオブジェク ト （図 4 6の例では、 鳥の図形） の移動 により表現される。 この場合、 プレイヤ 9 4は、 オブジェク トの移動により、 力 一ソル 1 0 5を移動すべき方向及ぴ経路を容易に認識できる。
また、 方向ガイ ド gは、 スクリーン 9 1上の第 1の予め定められた位置を始点 とし、 第 2の予め定められた位置を終点とする経路の形態の変化により表現され る （図 4 4及ぴ図 4 5参照）。 この場合、 プレイヤ 9 4は、 経路の形態の変化によ り、 カーソル 1 0 5を移動すべき方向及ぴ経路を容易に認識できる。
さらに、 本実施の形態では、 高速プロセッサ 2 0 0は、 操作物 1 5 0の状態情 報として、 速さ情報、 移動方向情報、 移動距離情報、 速度べク トル情報、 加速度 情報、 移動軌跡情報、 面積情報、 若しくは、 位置情報、 のいずれか、 又は、 それ らの 2以上の組み合わせ、 を算出できる。 ごのように、 操作物 1 5 0によるカー ソル 1 0 5の操作が、 ガイ ド （位置ガイ K G、 方向ガイ ド§、 経路ガイ ド r g ) に適合しているか否かを判断する際の操作物 1 5 0の状態情報として、 様々な情 報を利用できるため、 ガイ ドの表現の自由度が大きくなり、 ひいては、 ゲーム内 容の設計の自由度も大きくなる。
さらに、 本実施の形態では、 反射シート' 1 5 5を取り付けた操作物 1 5 0に間 欠的に赤外光を照射して、 これを撮影することにより、 操作物 1 5 0の状態情報 を求めることができる。 このため、 操作物 1 5 0の状態情報を求めるために、 操 作物 1 5 0に電源により駆動する回路を内蔵する必要がない。 よって、 操作物 1 5 0の操作性及ぴ信頼性の向上を図ることができ、 また、 コス トの低減を図るこ とができる。
なお、 本発明は、 上記の実施の形態に限られるものではなく、 その要旨を逸脱 しない範囲で種々の態様において実施することが可能であり、 例えば、 以下のよ うな変形も可能である。
( 1 ) 実施の形態では、 操作物 1 5 0に追従して制御される画像 （追従画像） の例として、 ダンスオブジェク ト 1 0 6及ぴ背景 1 1 0を挙げた。 ただし、 本発 明は、 これに限定されず、 追従画像として任意のオブジェク トを選択できる。 ま た、 背景 1 1 0のスクロールにより、 ダンスオブジェク ト 1 0 6の移動を表現す るのではなく、 ダンスオブジェク ト 1 0 6 自体を上下左右に移動させることもで きる。
( 2 ) 実施の形態では、 位置ガイ ド G及ぴ方向ガイ ド gの双方により、 カーソ ル 1 0 5の直線操作を案内したが、 いずれか一方により案内することもできる。 方向ガイ ド gのみによりカーソル 1 0 5の操作を案内する場合は、 静止画の位置 ガイ ド Gを、 方向ガイ ド gの始点と終点とに配置することが好ましい。 また、 位 置ガイ ド G及ぴ経路ガイ ド r gの双方により、 カーソル 1 0 5の旋回操作を案内 したが、 経路ガイ ド r gのみにより案内することもできる。 また、 ガイ ド （位置 ガイ ド G、 方向ガイ ド g、 経路ガイ ド r g ) を、 アニメーショ ンにより表現した が、 本発明は、 これに限定されない。 また、 ガイ ドの態様は、 上記したものに限 定されるものではない。
( 3 ) 実施の形態では、 操作物として、 スティック 1 5 2および反射ポール 1 5 1からなる操作物 1 5 0を揉用したが、 反射体を具備するのもであれば、 操作 物の形態はこれに限定されない。
( 4 ) 実施の形態では、 図 2 3 ( a ) 〜図 2 3 ( d ) に示すようにして、 操作 物 1 5 0の注目点の座標を算出したが、 所定の閾値 T hを超える最大輝度値を持 つピクセルの座標を （図 3 8のステップ S 8 3参照）、 スクリーン 9 1上の座標に 変換して、 これを注目点の座標とすることもできる。
( 5 ) 図 6の高速プロセッサ 2 0 0として、 任意の種類のプロセッサを使用で きるが、 本件出願人が既に特許出願している高速プロセッサを用いることが好ま しい。 この髙速プロセッサは、 例えば、 特開平 1 0— 3 0 7 7 9 0号公報おょぴ これに対応するアメ リカ特許第 6， 0 7 0 , 2 0 5号に詳細に開示されている。 以上、 本発明を実施例により詳細に説明したが、 当業者にとっては、 本発明が 本願中に説明した実施例に限定されるものではないということは明らかである。 本発明は、 特許請求の範囲の記載により定まる本発明の趣旨及ぴ範囲を逸脱する ことなく修正及び変更態様として実施することができる。従って、本願の記載は、 例示説明を目的とするものであり、 本発明に対して何ら制限的な意味を有するも のではない。

Claims

請求の範囲
1 . 楽曲を自動演奏する音楽ゲーム装置であって、
プレイヤによって操作される操作物に、 予め定められた周期で、 光を照射する ス トロボスコープと、
前記ス ト口ボスコープの発光時及ぴ消灯時のそれぞれにおいて、 前記操作物を 撮影して、 発光時画像信号及び消灯時画像信号を生成する撮像ュニットと、 前記発光時画像信号と前記消灯時画像信号との差分信号を生成する差分信号生 成ュニッ トと、
前記差分信号に基づいて、 前記操作物の状態情報を算出する状態情報算出ュニ ッ 卜と、
前記操作物に連動するカーソルの操作のためのガイ ドの表示を、 前記楽曲に基 づく タイミングで制御するガイ ド制御ュニッ トと、
前記カーソルの表示を、 前記操作物の前記状態情報に基づいて制御するカーソ ル制御ュニッ トと、
前記操作物による前記カーソルの操作が、 前記ガイ ドに適合したときに、 前記 ガイ ドによる案内に応じて、 面像の表示を制御する追従画像制御ユニッ トと、 を 備え、
前記追従画像制御ュニッ トは、 前記操作物の前記状態情報及ぴ前記ガイ ドに関 する情報に基づいて、 前記操作物による前記カーソルの操作が、 前記ガイ ドに適 合しているか否かを判断する、 音楽ゲーム装置。
2 . 前記ガイ ドは、 前記カーソルの移動位置及び操作タイミングを案内し、 前記追従画像制御ユニッ トは、 前記操作物による前記カーソルの操作が、 前記 ガイ ドに適合したときに、 前記ガイ ドが案内する前記移動位置の方向に対応して、 前記画像の表示を制御する、 請求項 1記載の音楽ゲーム装置。
3 . 前記状態情報算出ユニッ トは、 前記差分信号に基づいて、 前記操作物の 前記状態情報としての位置を算出し、
前記追従画像制御ュ-ッ トは、 前記状態情報算出ュニッ トが算出した前記操作 物の前記位置が、 前記ガイ ドが案内する期間内に、 前記ガイ ドが案内する領域内 に存在する場合に、 前記操作物に連動するカーソルの操作が、 前記ガイ ドに適合 していると判断する、 請求項 2記載の音楽ゲーム装置。
'
4 . 前記ガイ ドは、 前記カーソルの移動経路、 移動方向、 及ぴ、 操作タイミ ングを案内する、 請求項 1記載の音楽ゲーム装置。
5 . 前記状態情報算出ユニッ トは、 前記差分信号に基づいて、 前記操作物の 前記状態情報としての位置を算出し、
前記追従画像制御ュニッ トは、 前記状態情報算出ュニッ トが算出した前記操作 物の前記位置が、 前記ガイ ドが案内する期間内に、 前記ガイ ドが案内する複数の 所定領域を、 前記ガイ ドが案内する所定の順序で移動した場合に、 前記操作物に 連動するカーソルの操作が、 前記ガイ ドに適合していると判断する、 請求項 4記 載の音楽ゲーム装置。
6 . 前記ガイ ドは、 画面上の予め定められた複数の位置の各々に表示され、 前記ガイ ド制御ユニッ トは、 前記ガイ ドの形態を、 前記楽曲にもとづくタイミ ングで変化させる、 請求項 1記載の音楽ゲーム装置。
7 . 前記ガイ ドは、 画面上の第 1の予め定められた位置から第 2の予め定め られた位置への移動が視覚的に認識できる表示により表現され、
前記ガイ ド制御ユニッ トは、 前記ガイ ドの表示を、 前記楽曲にもとづくタイミ ングで制御する、 請求項 1記載の音楽ゲーム装置。
8 . 前記ガイ ドは、 画面上の前記第 1の予め定められた位置を始点とし、 前 記第 2の予め定められた位置を終点とする経路上に配置される複数のオブジェク トの形態の変化により表現される、 請求項 7記載の音楽ゲーム装置。
9 . 前記ガイ ドは、 画面上の前記第 1の予め定められた位置から前記第 2の 予め定められた位置へのオブジェク トの移動により表現される、 請求項 7記載の 音楽ゲーム装置。
1 0 . 前記ガイ ドは、 画面上の前記第 1の予め定められた位置を始点と し、 前記第 2の予め定められた位置を終点とする経路の形態の変化により表現される、 請求項 7記載の音楽ゲーム装置。
1 1 . 前記状態情報算出ユニッ トが算出する前記操作物の前記状態情報は、 速さ情報、 移動方向情報、 移動距離情報、 速度べク トル情報、 加速度情報、 移動 軌跡情報、 面積情報、 若しくは、 位置情報、 のいずれか、 又は、 それらの 2以上 の組み合わせ、 である、 請求項 1記載の音楽ゲーム装置。
1 2 . 楽曲を自動演奏する音楽ゲームシステムであって、
プレイヤによつて操作される操作物と、
前記操作物に、 予め定められた周期で、 光を照射するス トロボスコープと、 前記ス トロボスコープの発光時及ぴ消灯時のそれぞれにおいて、 前記操作物を 撮影して、 発光時画像信号及び消灯時画像信号を生成する撮像ュニッ トと、 前記発光時画像信号と前記消灯時画像信号との差分信号を生成する差分信号生 成ュニッ トと、
前記差分信号に基づいて、 前記操作物の状態情報を算出する状態情報算出ュニ ッ 卜と、
前記操作物に連動するカーソルの操作のためのガイ ドの表示を、 前記楽曲に基 づくタイミングで制御するガイ ド制御ュニッ トと、
前記カーソルの表示を、 前記操作物の前記状態情報に基づいて制御するカーソ ル制御ュニッ トと、
前記操作物による前記カーソルの操作が、 前記ガイ ドに適合したときに、 前記 ガイ ドによる案内に応じて、 画像の表示を制御する追従画像制御ユニッ トと、 を 備え、
前記追従画像制御ュニッ トは、 前記操作物の前記状態情報及び前記ガイ ドに関 する情報に基づいて、 前記操作物によるカーソルの操作が、 前記ガイ ドに適合し ているか否かを判断する、 音楽ゲームシステム。
1 3 . 請求項 1記載の音楽ゲーム装置のプレイヤが操作する操作物であって、 前記プレイヤによって把持される棒状の把持部と、
前記把持部の一方端に設けられ、受けた光を再帰反射する反射部と、 を備える、 操作物。
1 4 . 楽曲を自動演奏するステップと、
プレイヤによって操作される操作物に、 予め定められた周期で、 光を照射する ステップと、
前記光の発光時及び消灯時のそれぞれにおいて、 前記操作物を撮影して、 発光 時画像信号及び消灯時画像信号を生成するステツプと、
前記発光時画像信号と前記消灯時面像信号との差分信号を生成するステップと、 前記差分信号に基づいて、 前記操作物の状態情報を算出するステップと、 前記操作物に連動するカーソルの操作のためのガイ ドの表示を、 前記楽曲に基 づく タイミングで制御するステップと、
前記カーソルの表示を、 前記操作物の前記状態情報に基づいて制御するステツ プと、
前記操作物の前記状態情報及び前記ガイ ドに関する情報に基づいて、 前記操作 物による前記カーソルの操作が、 前記ガイ ドに適合しているか否かを判断し、 前 記操作物による前記カーソルの操作が、 前記ガイ ドに適合したときに、 前記ガイ ドによる案内に応じて、 画像の表示を制御するステップと、 をコンピュータに実 行させる音楽ゲームプログラム。
1 5 . 楽曲を自動演奏するステップと、
プレイヤによって操作される操作物に、 予め定められた周期で、 光を照射する ステップと、
前記光の発光時及び消灯時のそれぞれにおいて、 前記操作物を撮影して、 発光 時画像信号及び消灯時画像信号を生成するステップと、
前記発光時画像信号と前記消灯時画像信号との差分信号を生成するステップと、 前記差分信号に基づいて、 前記操作物の状態情報を算出するステップと、 前記操作物に連動するカーソルの操作のためのガイ ドの表示を、 前記楽曲に基 づくタイミングで制御するステップと、
前記カーソルの表示を、 前記操作物の前記状態情報に基づいて制御するステツ プと、
前記操作物による前記カーソルの操作が、 前記ガイ ドに適合したときに、 前記 ガイ ドによる案内に応じて、 画像の表示を制御するステップと、 を含み、
画像の表示を制御する前記ステップでは、 前記操作物の前記状態情報及ぴ前記 ガイ ドに関する情報に基づいて、 前記操作物による前記カーソルの操作が、 前記 ガイ ドに適合しているか否かを判断する、 音楽ゲーム方法。
PCT/JP2004/014025 2003-09-18 2004-09-17 音楽ゲーム装置、音楽ゲームシステム、操作物、音楽ゲームプログラム、及び、音楽ゲーム方法 WO2005028053A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US10/572,429 US20070197290A1 (en) 2003-09-18 2004-09-17 Music Game Device, Music Game System, Operation Object, Music Game Program, And Music Game Method
JP2005514131A JP4701411B2 (ja) 2003-09-18 2004-09-17 音楽ゲーム装置、音楽ゲームシステム、操作物、音楽ゲームプログラム、及び、音楽ゲーム方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2003-325381 2003-09-18
JP2003325381 2003-09-18

Publications (1)

Publication Number Publication Date
WO2005028053A1 true WO2005028053A1 (ja) 2005-03-31

Family

ID=34372796

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2004/014025 WO2005028053A1 (ja) 2003-09-18 2004-09-17 音楽ゲーム装置、音楽ゲームシステム、操作物、音楽ゲームプログラム、及び、音楽ゲーム方法

Country Status (2)

Country Link
JP (1) JP4701411B2 (ja)
WO (1) WO2005028053A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007077851A1 (ja) * 2005-12-30 2007-07-12 Ssd Company Limited 演出方法及び操作物
CN113713371A (zh) * 2021-08-31 2021-11-30 腾讯科技（深圳）有限公司 音乐合成方法、装置、设备及介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001307124A (ja) * 2000-02-15 2001-11-02 Sega Corp 画像処理システム、画像処理装置及び撮像装置
JP2002024833A (ja) * 2000-07-07 2002-01-25 Sony Corp エンタテインメントシステム、エンタテインメント装置及び情報処理方法
JP2003210838A (ja) * 2002-01-22 2003-07-29 Konami Co Ltd ゲームシステム、ゲームシステム制御方法、及び、ゲームシステム制御プログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3982959B2 (ja) * 1999-09-08 2007-09-26 日立造船株式会社 移動体の位置検出設備
JP2001209487A (ja) * 2000-01-25 2001-08-03 Uw:Kk 筆跡通信システムおよび該システムで使用される筆跡入力装置及び筆跡表示装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001307124A (ja) * 2000-02-15 2001-11-02 Sega Corp 画像処理システム、画像処理装置及び撮像装置
JP2002024833A (ja) * 2000-07-07 2002-01-25 Sony Corp エンタテインメントシステム、エンタテインメント装置及び情報処理方法
JP2003210838A (ja) * 2002-01-22 2003-07-29 Konami Co Ltd ゲームシステム、ゲームシステム制御方法、及び、ゲームシステム制御プログラム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007077851A1 (ja) * 2005-12-30 2007-07-12 Ssd Company Limited 演出方法及び操作物
CN113713371A (zh) * 2021-08-31 2021-11-30 腾讯科技（深圳）有限公司 音乐合成方法、装置、设备及介质
CN113713371B (zh) * 2021-08-31 2023-07-21 腾讯科技（深圳）有限公司 音乐合成方法、装置、设备及介质

Also Published As

Publication number Publication date
JP4701411B2 (ja) 2011-06-15
JPWO2005028053A1 (ja) 2006-11-30

Similar Documents

Publication Publication Date Title
JP4742247B2 (ja) ゲーム装置及びゲームプログラム
JP5130504B2 (ja) 情報処理装置、情報処理方法、プログラム及び記憶媒体
US9224377B2 (en) Computerized percussion instrument
US20070197290A1 (en) Music Game Device, Music Game System, Operation Object, Music Game Program, And Music Game Method
US20120133582A1 (en) Storage medium having stored thereon information processing program, information processing apparatus, information processing system, and information processing method
WO2004002593A1 (ja) ストロボスコープを使った入力システムを備える情報処理装置
JP2009226081A (ja) 情報処理プログラムおよび情報処理装置
US8586852B2 (en) Storage medium recorded with program for musical performance, apparatus, system and method
JP2007300985A (ja) ゲームプログラムおよびゲーム装置
JP5230120B2 (ja) 情報処理システム、情報処理プログラム
CN107408003A (zh) 信息处理设备、信息处理方法和程序
JPH10333834A (ja) 情報記憶媒体及び画像生成装置
JP5848520B2 (ja) 音楽演奏プログラム、音楽演奏装置、音楽演奏システム、および音楽演奏方法
US20130172081A1 (en) Game device, game control method, and game control program, for controlling picture drawing game
JP5758202B2 (ja) 画像処理プログラム、画像処理装置、画像処理方法および画像処理システム
US7554545B2 (en) Drawing apparatus operable to display a motion path of an operation article
WO2005028053A1 (ja) 音楽ゲーム装置、音楽ゲームシステム、操作物、音楽ゲームプログラム、及び、音楽ゲーム方法
JP5013511B2 (ja) ゲームプログラムおよびゲーム装置
JP2009027724A (ja) 自動写真作成装置
JP2004297754A (ja) 自動写真作成装置
JP4735802B2 (ja) ゲーム装置、ゲームプログラム、及び、ゲーム装置の制御方法
JP5255824B2 (ja) 映像再生制御プログラム、映像再生制御装置、映像再生制御システムおよび映像再生制御方法
JP2008076765A (ja) 演奏システム
JP2005158057A (ja) 描画装置、操作物、描画システム、描画プログラム、及び描画方法
JP3098423U (ja) 自動演奏装置及び自動演奏システム

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BW BY BZ CA CH CN CO CR CU CZ DK DM DZ EC EE EG ES FI GB GD GE GM HR HU ID IL IN IS JP KE KG KP KZ LC LK LR LS LT LU LV MA MD MK MN MW MX MZ NA NI NO NZ PG PH PL PT RO RU SC SD SE SG SK SY TJ TM TN TR TT TZ UA UG US UZ VN YU ZA ZM

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): GM KE LS MW MZ NA SD SZ TZ UG ZM ZW AM AZ BY KG MD RU TJ TM AT BE BG CH CY DE DK EE ES FI FR GB GR HU IE IT MC NL PL PT RO SE SI SK TR BF CF CG CI CM GA GN GQ GW ML MR SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 2005514131

Country of ref document: JP

122 Ep: pct application non-entry in european phase
WWE Wipo information: entry into national phase

Ref document number: 10572429

Country of ref document: US

Ref document number: 2007197290

Country of ref document: US

WWP Wipo information: published in national office

Ref document number: 10572429

Country of ref document: US