WO1999034334A1 - Dispositif de sortie d'image - Google Patents

Dispositif de sortie d'image Download PDF

Info

Publication number
WO1999034334A1
WO1999034334A1 PCT/JP1998/005710 JP9805710W WO9934334A1 WO 1999034334 A1 WO1999034334 A1 WO 1999034334A1 JP 9805710 W JP9805710 W JP 9805710W WO 9934334 A1 WO9934334 A1 WO 9934334A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
image data
coordinates
output
data
Prior art date
Application number
PCT/JP1998/005710
Other languages
English (en)
French (fr)
Inventor
Kiyoshi Kaneko
Original Assignee
Hudson Co., Ltd.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hudson Co., Ltd. filed Critical Hudson Co., Ltd.
Priority to CA002315044A priority Critical patent/CA2315044A1/en
Priority to EP98961386A priority patent/EP1049048A1/en
Publication of WO1999034334A1 publication Critical patent/WO1999034334A1/ja

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/39Control of the bit-mapped memory
    • G09G5/395Arrangements specially adapted for transferring the contents of the bit-mapped memory to the screen
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/10Geometric effects
    • G06T15/20Perspective computation
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60Methods for processing data by generating or executing the game program
    • A63F2300/66Methods for processing data by generating or executing the game program for rendering three dimensional images
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/10Mixing of images, i.e. displayed pixel being the result of an operation, e.g. adding, on the corresponding input pixels

Definitions

  • the present invention relates to an image output device, and more particularly, to an image output device that outputs image data provided via a communication line or an image storage medium such as a memory or a video disk to an output medium such as a display screen or recording paper. Related to the device.
  • This type of image output device is suitable for use in a personal computer, a game device based on the 2DZ3 DCG system, a printer, a facsimile device, and the like.
  • FIG. 14 is a diagram for explaining a conventional technique, and shows a configuration of a conventional game device.
  • 1 is a CPU that performs main control and processing of the game device
  • 2 is a main memory (MM) composed of RAM, ROM, HDD, etc. used by the CPU 1
  • 3 is various control keys, a cross key, a mouse, An operation unit having position input means such as a joystick; and 4, a ROM, a CD-ROM which is provided detachably with respect to the game apparatus main body and stores a game arogram (processing procedure, image data, etc.).
  • MM main memory
  • ROM read only memory
  • HDD hard disk drive
  • FIG. 14 is a diagram for explaining a conventional technique, and shows a configuration of a conventional game device.
  • 1 is a CPU that performs main control and processing of the game device
  • 2 is a main memory (MM) composed of RAM, ROM, HDD, etc. used by the CPU 1
  • 3 is various control keys, a cross key
  • 5 is a frame memory unit having a frame memory for a plurality of planes
  • 51 is a frame memory for storing image data such as a background which is not mainly a user operation target
  • 52 is a user operation mainly.
  • 53 is a hero's spoken language for superimposing mainly on the display screen, and a peripheral such as a torch.
  • 6 is a frame memory
  • 5 is an image data synthesis unit that synthesizes each of the image data PD 1 to PD 3 in 1 to 53
  • 7 is a CRT, LCD, etc.
  • Display unit (DISP), 71 is its display screen, 8 is the display screen 7 1 table
  • the display control unit generates the read address (X, Y) of the image data and the necessary timing signal (pixel clock signal GCK, etc.) in synchronization with the display control (V, H).
  • It is common bus Incidentally, obtain pole data of a monochrome image or color image as image data.
  • Figure 14 shows a scene in which the protagonist is exploring a cave with a torch etc. in his hand. It should be noted that, whether to move the main character was fixed background (cave) on the screen, or whether to fix the master public on the screen to move the background (bread) is a category of how to make a game, either good 3 here The case where the hero moves with the background fixed on the screen will be described.
  • the CPU 1 reads the cave image data (2D CG) from the external memory 4 as the game progresses, and writes it to the frame memory 51.
  • the main character's image data is read out and expanded around the coordinates Q (x, y) in the frame memory 52.
  • the coordinates Q (X, y) are the coordinates of the current position on the screen 71 of the hero whose movement is controlled by the operation unit 3.
  • the image data of the dark pattern is read out and expanded around the coordinates m (x, y) in the frame memory 53.
  • the coordinates m (x, y) are the coordinates of the current position on the screen 71 of the center of the torch (flame) moving with the hero.
  • the image data of the cave and the hero in this scene are formed with somewhat low brightness.
  • the inside of a circle R with a radius r centered at the coordinate m (x, y) is transparent, and the outside is dark (black).
  • the image data synthesizing unit 6 generates synthesized data CD by superimposing the image data PD :! to PD 3 of the frame memories 51 to 53 for each pixel.
  • the pixel data p dj of the background is replaced with the pixel data pd 2 of the main character.
  • pixel data pd 3 ⁇ 0 (position overlapping with darkness)
  • the pixel data of the background or the main character is replaced.
  • pd, d The dark pixel data p d.
  • synthetic image data CD is obtained in which the area around the torch is relatively bright and the cave and hero in that part are visible, but the outside is dark and nothing is visible. This is displayed on screen 71.
  • the game device needs to move the hero and the dark pattern on the screen in accordance with the key operation of the user.
  • the CPU 1 moves (or redeploys) the main character of the frame memory 52 to the right side of the memory, and changes the dark pattern of the frame memory 53 to the right.
  • Move (re-expand) to the right of the memory.
  • the image of the part illuminated by the hero and the torches has moved to the right side of the screen.
  • the external memory 4 stores the image data of the cave for one screen, the image data of the part of the hero holding the torch, and the image data of the dark pattern (However, since the dark pattern moves, one screen It is sufficient to memorize the various screens that can be changed irregularly by the user operation with a small number of original pictures efficiently and at high speed. In addition, the burden on game makers of producing original drawings is reduced.
  • the game device needs to have three screen memories for three screens, which increases the cost of the device.
  • a single color image requires about three times the memory capacity of monochrome, and it cannot be ignored even though it is equivalent to one screen of frame memory.
  • the CPU 1 needs to reprocess the image data P D2 and P D3 for two screens each time a user operation is performed.
  • the present invention has been made in view of the above-described problems of the related art, and an object of the present invention is to provide an image output apparatus that can easily edit output image data with a simple configuration.
  • the image output device of the present invention (1) comprises: a memory 20 for storing image data; and a memory 20 for storing the image data at a desired position on the XY address space in synchronization with the control of reading the output XY plane 60.
  • a function generation unit 40 that generates a constant function H (x, y); an image corresponding to the value of the function with respect to output image data g in a corresponding address space based on the value of the function H (x, y)
  • an image data processing unit 30 that performs processing.
  • the image processing of the corresponding output image data g is performed in real time in accordance with the value of the function H (x, y) generated at a desired position in synchronization with the XY read control of the image data.
  • the image data is obtained by performing a perspective transformation of the image (fighter) B ′ in the three-dimensional space with respect to the output XY plane 60 ( Fighter) Image data of B. Therefore, even for 3DCG images, appropriate image editing processing can be performed without impairing the stereoscopic effect by the simple two-dimensional control and processing according to the present invention (1).
  • the function H (x, y) represents the coordinates Q (x, y) on the output XY plane by the external input. Generated as a reference.
  • the coordinates Q (X, y) on the output XY plane are designated from the outside.
  • the area R of the function H (x, y) is set at a desired position on the output XY plane.
  • the coordinate Q (X, y) is the detection coordinate P (x, y) of the gazing point of the human eye with respect to the output XY plane 60.
  • the pursuing user in FIG. 1, in the case where the user is now pursuing the enemy aircraft B, the pursuing user mainly pursues the target B with his eyes.
  • Region R based on the detected coordinates P (x, y) of the region R, and it is possible to display the image inside the region R (enemy aircraft B) clearly and blur the outside image in real time.
  • the coordinates Q (x, y) are the coordinates C (x, y) of a point designated by an external position input means.
  • the user operates the cursor key (such as the cross key) or the control stick of the operation unit. Controls the force sol (sighting device) or the control stick (owner's direction and attitude) so that enemy aircraft B is captured by the sighting device (not shown) on the screen. Even in such a case, the region R is automatically generated based on the coordinates C (x, y) of the designated point (sight) controlled based on the operation of the cursor, and the image (enemy aircraft B) inside the region R is generated. This makes it possible to display a clear and blurred image in real time in real time.
  • the cursor key such as the cross key
  • the control stick of the operation unit Controls the force sol (sighting device) or the control stick (owner's direction and attitude) so that enemy aircraft B is captured by the sighting device (not shown) on the screen.
  • the region R is automatically generated based on the coordinates C (x, y) of the designated point (sight) controlled based on the operation of the cursor, and the image
  • the image (enemy aircraft B) inside the fixed area R can be clearly and externally controlled. It becomes possible to blur and display the image appearing on the side in real time.
  • the coordinate Q (X, y) is the detection coordinate P (x, y) of the gazing point described in the above present invention (4) or The coordinates M (x, y) of a reference point representing a specific image B including a part or the whole thereof in the area near the coordinates C (x, y) of the designated point described in the present invention (5). is there.
  • the present invention (6) in the same manner as described above, considering that the user is now pursuing the enemy aircraft B, in such a situation (scene), the user's attention is focused on the enemy aircraft in the operation of the game. Obviously B.
  • the user pursuing the enemy aircraft B mainly pursues target B with his eyes, but at the same time frequently looks at other situations (other fighters, sights, instruments, etc.)
  • gaze point the region R can be locked in practice. Also, the user does not always stare at the center of enemy aircraft B during pursuit, and may be looking at the vicinity.
  • the coordinates Q (X, y) for generating the region R are set to the detection coordinates P (x, y) of the gazing point or the coordinates C (x, y) of the designated point.
  • the coordinates M (x, y) of a reference point representing a specific image (enemy aircraft) B in which a part or all of the area is included in the vicinity of are set.
  • the point at which the line of sight R (or the point of sight) coordinates P (x, y) or the coordinates of the designated point C (x, y) are to be hampered depends on the game operation and the like. Conceivable. For example, a game device (game program), a part or all of a specific image (enemy aircraft B in this example) which is important for the operation of the game in a predetermined vicinity of the point of gazing point P or the designated point C may be displayed. In addition to monitoring whether or not it is included, if it is detected that it is included (that is, if a hit judgment as normally used in a game program is obtained), the region R is generated at this time.
  • the function generator 40 places a predetermined function H (x) at a desired position on the output XY address space (for example, a position given one after another from the game program). , y) is easily realized.
  • the output image data g is accompanied by depth data z representing a depth on the Z-axis in the three-dimensional space
  • the image data processing unit 30 performs image processing corresponding to the value of the function on the corresponding output image data g on condition that the depth data z is included in a predetermined range on the Z axis.
  • the coordinate z on the Z axis in the original 3D space is the Z when included in a predetermined range on the axis (Z l ⁇ z 2), for example clearly outputted, if not included the output obscured.
  • FIG. 1 is a diagram illustrating the principle of the present invention
  • FIG. 2 is a diagram showing a configuration of a game device according to the first embodiment
  • FIG. 3 is a diagram (1) illustrating the image data editing unit in the first embodiment
  • FIG. 4 is a diagram (2) illustrating the image data editing unit in the first embodiment
  • FIG. FIG. 3 is a diagram illustrating a configuration of a game device according to a second embodiment.
  • FIG. 6 is a diagram for explaining the operation of the gazing point detection unit in the second embodiment
  • FIG. 7 is a flowchart of the gazing point detection process in the second embodiment
  • FIG. 8 is a diagram (1) illustrating an image data editing unit according to the second embodiment.
  • FIG. 9 is a diagram (2) illustrating an image data editing unit according to the second embodiment. Is a diagram showing the configuration of the game device according to the third embodiment,
  • FIG. 11 is a diagram for explaining the operation of the rendering processing unit in the third embodiment.
  • FIG. 12 is a diagram showing the configuration of an image data editing unit in the third embodiment.
  • FIG. 14 is an image diagram showing an operation of an image data editing unit according to the third embodiment.
  • FIG. 14 is a diagram for explaining a conventional technique. BEST MODE FOR CARRYING OUT THE INVENTION
  • FIG. 2 is a diagram showing the configuration of the game device according to the first embodiment, and shows a case where the generation of a dark pattern and the overlapping processing thereof as described in FIG. 14 are automatically performed inside the device. ing.
  • 1 OA is an image data editing unit (corresponding to the image data processing unit 30 and the function generation unit 40 in FIG. 1) in the first embodiment.
  • Other configurations may be the same as those described in FIG.
  • the frame memory 53 for storing the image data PD 3 for image editing, such as a dark pattern, is deleted from the frame memory unit 5.
  • the CPU 1 writes the cave image data (2DCG) read from the external memory 4 into the frame memory 51.
  • the CPU 1 also develops image data of the hero having a torch read from the external memory 4 around the hero's reference coordinates Q (x, y) controlled by the instruction of the operation unit 3 of the frame memory 52.
  • the hero is moved in a desired direction by a user's cursor operation, and accordingly, the CPU 1 moves the hero (including the torch) image data in the frame memory 52 in the corresponding direction.
  • the image data synthesizing unit 6 superimposes the image data PD2 of the hero on the image data PD1 of the cave pixel by pixel to generate synthesized data CD. Then, based on the coordinates m (x, y) of the torch provided from the CPU 1 and the display address (X, Y) from the display control unit 8, the image data editing unit 1 OA , Y), and the luminance correction (editing) corresponding to the composite data CD inside and outside the region R defined by the function is added to generate the corrected image data HD.
  • the image data HD is input to the display unit 7, and as a result, a scene similar to that shown in FIG. 14 is displayed on the display screen 71.
  • FIG. 3 and 4 are diagrams (1) and (2) illustrating an image data editing unit according to the first embodiment, and FIG. 3 (A) is a block diagram of the image data editing unit. .
  • 10A is the image data editing unit in the first embodiment, and 34 is the control unit.
  • the data selector (SEL) for selecting the black pixel data BK representing the darkness of the data input or the synthesized pixel data g from the image data synthesis unit 6 at the previous stage, 37 A is Based on the coordinates m (x, y) of the torch from the CPU 1 and the X and Y scan addresses from the display control unit 8, the threshold coordinates X required for determining the area on the X axis on each Y axis parameter generation unit for generating X 2 in real time, 36 scans from the display control unit 8 Adoresu X and the threshold coordinate X!
  • X determination unit that performs area determination on the X axis by comparison with X 2
  • CM P comparators A is an AND gate circuit. Note that, here, the circuit including the parameter generating unit 37A and the X determining unit 36 corresponds to the function generating unit 40 in FIG.
  • an area R corresponding to the function hi, (x, y) is generated in real time around the desired coordinate m (x, y) in synchronization with the scan X, Y on the display screen 71, and
  • the luminance correction (editing) of the combined pixel data g is performed in real time based on the determination of the inside / outside of the region R.
  • each scanning line Y (for example, scanning line Y n ) and the coordinates m (x , x), the threshold coordinate on the X-axis, X 2 ), at which the circle R of radius r centered on y) is obtained as follows.
  • the parameter generator 37A sequentially generates threshold coordinates (X !, X 2 ) on the X-axis for each scanning line Y as the Y scanning line progresses.
  • each scan line diary, X since it is only inside the circle R is to satisfy the ⁇ X ⁇ X 2, after all, inside the circle R is treated as transparent,
  • the input pixel data g passes through as it is, but the outside of the circle is dark, and the input pixel data g is replaced by the black data BK.
  • Fig. 4 (A) shows a three-dimensional image of the function (x, y).
  • the value of the function (x, y) corresponds to the luminance normalization correction coefficient 0Z1.
  • the plane shape of the function l ⁇ (x, y) is not limited to the above-mentioned circle R: a triangle, a rectangle (square, rectangle), a trapezoid, another polygon, an ellipse, or the like may be used as a hardware operation circuit or It can be generated in real time by calculation such as DSP. Alternatively, a plurality of functions may be generated in advance, and one of the functions may be selectively used by a command from the CPU 1.
  • the luminance increases when ⁇ > 1, and decreases when ⁇ ⁇ 1.
  • FIG. 4 ( ⁇ ) shows a timing chart of luminance correction in the image data editing unit 1OA. Observing the corrected image data HD ( ⁇ ⁇ ) of a certain scanning line Y n , black pixel data ⁇ is output in the dark section of, and the input pixel data g in the transparent section of ⁇ X ⁇ 2 Is output as it is, and the black pixel data BK is output again in the subsequent dark section of X x 2 .
  • FIG. 5 is a diagram showing a configuration of a game device according to the second embodiment, in which images inside and outside a desired region R are clearly displayed (in a focus state), and images outside the region R are blurred ( C to show the display (in the defocused state)
  • 10 B is an image data editing unit in the second embodiment
  • 11 is a television (CCD) camera capable of capturing an image around the eyes of a user
  • 12 is a gaze point with respect to a user screen 71. It is a gazing point detection unit that detects a position.
  • CCD television
  • Other configurations may be the same as those described in FIG.
  • the background image data of the golf course is stored in the frame memory 51.
  • the green at the target point, the hole in the center of Dal ⁇ n, the flag set in the hole, the hills around the green, the trees, the vans and An image of a surrounding lawn or the like is included.
  • the frame memory 52 stores an image of a golf ball to be hit (controlled) by the user. In addition, this 34
  • the user's attention is on a distant green, and the distance to the green, the degree of the slope on the way, and the like are estimated. Further, in this scene, a scale image for estimating the distance and the inclination to the green is called out by the game operation, and the scale image is temporarily superimposed on the frame memory 52 and developed.
  • the images of both eyes of the user in front of the screen are read by the CCD camera 11 and input to the fixation point detection unit 12 every moment.
  • the gazing point detection unit 12 generates the coordinates P (x, y) of the gazing point of the user on the display screen 71 by analyzing the images of both eyes, and inputs the coordinates to the CPU 1.
  • CPU 1 Based on the game operation (scene) information, CPU 1 detects that green, which is an important element in the progress of the game, is included near the point of interest P (X, y) that the user is currently paying attention to.
  • the user's point of regard is determined to be a hole on the green.
  • the CPU 1 determines the coordinates Q (x, y) of the hole and inputs this to the image data editing unit 10B.
  • the image data editing unit 10 B generates the coordinates Q (x, y) based on the coordinates Q (X, y) of the hole from the CPU 1 and the display address (X, Y) from the display control unit 8. ) Is used as a reference to generate a predetermined function H 2 (x, y), whereby the background data PD 1 in the frame memory 51 is corrected (edited), and the corrected image data HD is output.
  • the image data synthesizing unit 6 synthesizes the image data HD output from the image data editing unit 10 B with the image data PD 2 in the frame memory 52, and outputs the synthesized data CD to the display unit 7.
  • the image near the hole (in the area R) that the user is paying attention to is clearly displayed, and the image outside (outside the area R) (the surrounding vanity force, the near side) is displayed. Is blurred and displayed.
  • the CPU 1 determines that the user is gazing at the golf ball based on the detection coordinates P (x, y) of the gaze point, and determines the coordinates Q of the golf ball. Output ( ⁇ , y).
  • the display screen 71 The image around the golf ball (in the area R) that the player is paying attention to is clearly displayed, and the image outside (around the hole, etc.) is displayed as blurred.
  • the situation described above is similar to the situation where the user actually plays at the golf course P.
  • the situation near the fixation point is clearly seen by the human eye, and the other images are blurred (feeling). ) Is represented more faithfully, and the realism of the game is greatly improved.
  • a light beam of a specific wavelength (such as infrared light) emitted toward a pupil in a goggle while wearing a dedicated goggle is used.
  • Various methods have already been known in which one or two or more light receiving elements capture reflected light in a corresponding direction according to the pupil's gaze direction, and thus can accurately detect the pupil's gaze direction. It goes without saying that these known methods (apparatuses) can also be used in the second embodiment.
  • the gaze detection method is used.
  • a simple method using a small stationary television (CCD) camera which is now in widespread use, is considered. A method for detecting a gazing point will be described.
  • FIG. 6 is a diagram for explaining the operation of the gazing point detection unit according to the second embodiment.
  • FIG. 6 (e) shows an image of both eyes when the user gazes at the center of the display screen 71.
  • the user's eyes can be easily directed to the center of the screen.
  • the left eye L of the user is shown on the right and the right eye R is shown on the left.
  • the upper and lower eyelids 21, 22, the pupil 23, and the pupil 24 are identified by a known basic image analysis of the image data of both eyes, and the user's gaze is determined from these.
  • a circle pattern having the same size as the pupil may be generated by overlapping the pupil portion, and the center of the circle may be obtained and regarded as the pupil:
  • the human pupil clearly describes the left and right white eyes, and the pupil moves well to the left and right, so that detection in the left and right direction is relatively easy.
  • the human eyes do not move very much up and down, and when looking up, the upper eyelids 21 tend to open upwards instead, and when looking down, the upper eyelids 21 tend to be closed mainly downwards . Therefore, the degree of opening of the upper and lower eyelids 21 and 22 can be used as a guide.
  • the upper and lower eyelids 21, 22 to generate a rectangular lateral windows W have W r, such as to surround the to the height H m of the opening of the eyelid condition reference window when looking at the center of the screen 71.
  • W r such as to surround the to the height H m of the opening of the eyelid condition reference window when looking at the center of the screen 71.
  • the opening degree is comparable both eyes, may be used as the these average height taking values H m, or the discovery of the gaze point based on analysis of only the left eye or right eye if different You may go.
  • the left and right window W t determine the coordinates of the pupil 24 (or the center of the pupil 23) in the W r, which reference coordinates L in the horizontal direction, and R.
  • the size of the eyes, the distance between the left and right eyes, the degree of opening of the eyelids, etc. vary depending on the person, but the above processing removed individual differences and provided a criterion.
  • FIG. 6 (f) shows an image when the user gazes at the right center of the screen.
  • the left eye image 334
  • Fig. 6 (d) shows an image when the user gazes at the left center of the screen, which is considered to be the reverse of Fig. 6 (f).
  • the pupil 24 of the right eye L in the image
  • the sensitivity is good. I can say.
  • Fig. 6 (b) shows an image when the user gazes at the upper center of the screen.
  • the degree of eyelid opening has a relationship of h m > H m
  • the abscissa of the pupil 24 has a relationship of 1 and / or r. Therefore, it can be determined that the user is gazing at the upper center of the screen 71.
  • gamma is a coefficient for enlarging micro-displacement of the opening degree of eyelids 21, 22 (h m _H m) to the position of the fixation point on the screen.
  • Fig. 6 (h) shows an image when the user gazes at the lower center, and is considered to be the reverse of Fig. 6 (b).
  • the user can use the upper left (a) and upper right (c)
  • the lower left (g) or the lower right (i) can be roughly determined for each gazing point area.
  • the coordinates P (x, y) of each gazing point can be obtained.
  • X-coordinate x x m ⁇ Z x of the gazing point
  • a Y coordinate y y m soil Ay.
  • FIG. 7 is a flowchart of the gazing point detection process in the second embodiment.
  • step S1 the image data of the area surrounded by the upper and lower eyelids 21 and 22 for the left and right eyes is extracted.
  • Upper and lower eyelids 21, 22, generates a minimum rectangular windows, including the upper and lower eyelids 21, 22 in c
  • Step S 2 performed by a known edge detection processing ⁇ beauty pattern recognition processing and the like for identifying the image data of the pupil 23, the pupil 24 I do.
  • step S 3 obtains the height h l T h r of the rectangular windows W !, W r.
  • step S4 the abscissa Xr xr of the pupil 24 (or the center of the pupil 23) in the rectangular window Wr is detected.
  • eyes 23 In addition, if 21 and 22 are in a half-open state, it is not possible to image the entirety.
  • a circle pattern having the same size as the pupil 23 is subjected to pattern matching by a well-known image matching process on the visible portion (semicircle, etc.) of the pupil 23, and the center of the circle pattern at that time is regarded as the pupil 24. It is possible.
  • step S5 processing branches depending on whether the game operation mode is the reference mode. For example, when the user is gazing at the center of the screen 71 at the start of a game or the like, the mode is the reference mode. In this case, the process proceeds to step S 6, the height h of the rectangular window W !, W r,, the h r and the opening length of the reference eyelids H m ( ⁇ ,, H r) .
  • step S 7 and the abscissa X ,, X r abscissa X have x r criteria pupil 24 (or center of the pupil 23).
  • step S10 the coordinates P (x, y) of the gazing point on the screen 71 are obtained. It should be noted that the screen 71 may be configured to obtain any one of nine areas.
  • FIG. 8 and 9 are diagrams (1) and (2) illustrating an image data editing unit according to the second embodiment, and FIG. 8 (A) is a block diagram of the image data editing unit.
  • 10B is an image data editing unit in the second embodiment
  • 31a to 31c are image data filter processing units
  • LB2 is an image data line buffer
  • 38 is a correction area R on the display screen 71.
  • 38a is the correction intensity data (selection signal) SL written at the position corresponding to the input address (X ', Y') in advance.
  • ROM The filter processing unit 31 generates corrected image data h g by taking a weighted average of nine pixels including the center pixel of interest, for example, in the input image data g ′.
  • the inset (a) shows the operation matrix (filter characteristics) of an example of the filter 31b. Shown: Assuming that the pixel of interest is the pixel in the second row and second column, the pixel data h gb of the pixel of interest is calculated by taking the weighted average of the eight surrounding pixels. In this example, the weight of the pixel of interest is 0.44, and the total weight of the eight surrounding pixels is 0.56. The luminance and color of the pixel of interest h gb are affected by the eight surrounding pixels due to the combination of the weights. I'll be spoiled The filter processing unit 31c has a stronger blurring characteristic.
  • the weight of the pixel of interest is smaller than 0.44, and the sum of the weights of the eight surrounding pixels is larger than 0.56.
  • the filtering section 31a has a weaker blurring characteristic. That is, the weight of the pixel of interest is greater than 0.44, and the sum of the weights of the eight surrounding pixels is less than 0.56.
  • the line buffer LB2 is provided to absorb the phase difference between the input and output.
  • FIG. 8 (B) shows a two-dimensional image of the function H 2 (x, y) generated by the correction function generator 38.
  • the address size of the ROM 38 a is (X m ′, Y m ′) and the coordinates of the target (fixation point) on the screen 71 are Q (X, y)
  • the upper access of the ROM 38 a starting address Y b y- (Y m ' 2)
  • lower access starting address X b X - (X m ' / 2)
  • the address size of the RO M3 8a may be X m ⁇ Y m .
  • the read area (X m ′, Y m ) of the ROM 38 a can be displayed at any position (even if it It can be easily applied to
  • Figure 9 (A) shows a three-dimensional image of the function H 2 (x, y), where the vertical axis represents the blur intensity.
  • the image data h gb after the filter correction is selected.
  • the input target pixel data g is selected as it is. Therefore, the image around the coordinates Q (x, y) has a clear contrast, and an image that gradually blurs outward can be easily generated in real time.
  • the function H 2 (x, y) of the arbitrary area shape and the function value can be stored in the ROM 38 a in advance, it is possible to easily perform various kinds of blur correction that is more natural.
  • the number of areas is not limited to one. For example, two or more areas can be generated at the same time by providing a wide RAM 38a. This is the same for the ROM 38a.
  • the generation function H 2 (x, y) and the filter processing 31 for performing blur correction of image data are linked, but the present invention is not limited to this.
  • FIG. 9 (B) shows a timing chart of the blur correction in the image data editing unit 10B.
  • FIG. 10 is a diagram showing a configuration of a game device according to the third embodiment, and shows a case of processing 3DCG image data.
  • reference numeral 13 denotes a known rendering processing unit
  • reference numeral 10C denotes an image data editing unit according to the third embodiment.
  • Other configurations are the same as those described in Fig. 5 above. Similar or good:
  • the CPU 1 sequentially reads out the 3D CG model data 3DMD from the external memory 4 as the game progresses, and inputs it to the rendering processing unit 13.
  • FIG. 11 is a diagram for explaining the operation of the rendering processing unit according to the third embodiment.
  • the rendering processing unit 13 uses the common coordinates for the fighters based on the reference coordinates A '(x, y, z) and B' (x, y, z) of the fighters A ', B' in the 3D space. Deploy 3D images of fighters A 'and B' in virtual space based on shape model data-Both fighters A 'and B' in 3D space have the same size, but further render processing
  • the unit 13 generates a 2D image to be displayed on the screen 71 by performing a perspective transformation of the 3D images of the fighters A ′ and B ′ with respect to the directions of the eyes L and R of the user.
  • the fighters A and B in this 2D image consist only of the pixel data of the part that can be seen from the user's side, and have a sense of perspective (that is, different sizes) according to the distance from the user.
  • the screen 71 shows a small image of the distant fighter C.
  • FIG. 12 is a diagram showing a configuration of an image data editing unit according to the third embodiment.
  • 10 C is an image data editing unit according to the third embodiment
  • 35 is a 3D space.
  • 37C is a parameter generation unit.
  • Other configurations may be the same as those in FIG. 8 (A).
  • the image data editing unit 10 includes pixel data g ′ that has been perspective-transformed into 2D from the rendering unit 13 in the previous stage, and depth data z ′ that represents the Z-axis coordinates of the pixel data g in the 3D space. Is entered.
  • pixel data g ' For the pixel data g ', a plurality of types of filter processing and a non-filter processing (delay processing by the line buffer LB2) are performed in parallel, as described in the second embodiment.
  • the input depth data z ' is delayed by the line buffer LB1 in order to match the processing phase with the pixel data g, and becomes the depth data z.
  • the fixation point detection unit 12 will detect the user based on the image data of both eyes of the CCD camera 11
  • the coordinates P (x, y) of the gazing point on the screen of are generated and input to the CPU 1.
  • the CPU 1 sends the coordinates P (x, y) to the rendering processing unit 13 and requests a search for an object (a main element constituting the game) that the user is paying attention to.
  • the rendering processing unit 13 examines the 2D image of the area near the coordinate P (X, y) and determines whether or not the area includes part or all of the image of the object. In this example, Detects that part of enemy aircraft B is included. Then, the reference coordinates B (x, y) on the screen of the enemy aircraft B are extracted, and the inverse of the above-described perspective transformation is performed based on the parentheses, and finally, the reference of the enemy aircraft B ′ in the 3D space is obtained. Extract the coordinates B '(x, y, z).
  • the CPU 1 returns the reference coordinates B (x, y) of the enemy aircraft B on the 2D screen and the Z-axis reference coordinates B '(z) of the enemy aircraft B' in the 3D space. .
  • the memory size (Xm ′, Ym ′) of the ROM 38 a and the predetermined depth parameter ⁇ z with respect to the Z axis are known in the parameter generation unit 37.
  • the depth parameter ⁇ ⁇ may be provided from the CPU 1.
  • ⁇ determination unit 35 the comparator CMP 2, 3 and compares the depth data z that correspond to the respective pixel data g, and a threshold value z ,, z 2, Z] ⁇ Z ⁇ Z.
  • an energizing signal E 1 for energizing the AND gate circuit A3 (comprising a plurality) described later is output.
  • FIG. 13 is an image diagram showing the operation of the image data editing unit 10C according to the third embodiment.
  • the reference coordinates B (x, y) of the enemy aircraft B on the screen based on the coordinates P (x, y) of the user's gazing point and the Z coordinate B 'of the enemy aircraft B' in the 3D space (z) was extracted respectively.
  • the correction function generation unit 38 generates a correction function H 2 (x, y) having a shape as shown by the plane region R based on the input 2D coordinates B (x, y).
  • This plane region R is related to the 3D space by a perspective transformation, and therefore has the property of a cone (constant viewing angle) such that the region R becomes wider as it goes further in the Z-axis direction. ing.
  • a part (noise part) of the enemy aircraft A is included inside the screen area R.
  • each pixel data (g, z) of this part does not satisfy the condition of z ⁇ z in the Z determination unit 35, even if it is included inside the 2D region R, , Are displayed in a default state.
  • the detection coordinates ⁇ (X, y) of the user's gazing point were used.
  • a sight such as a force sol
  • Machine B may be locked.
  • the coordinates C (x, y) of the sight (force, etc.) on the screen instead of using the detection coordinates P (X, y) of the fixation point.
  • the CCD camera 11 and the gazing point detector 12 can be omitted.
  • the present invention can also be applied to an image output device such as a printer or a facsimile.
  • the image data is not limited to computer graphic CG image data, but can be applied to image data read by a scanner, a TV camera, or the like.
  • the desired data can be synchronized with the XY read control of the image data.
  • image data of a desired region in the output image can be Can be processed.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Computing Systems (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Image Generation (AREA)

Description

明 細 書
画像出力装置 技術分野
本発明は画像出力装置に関し、 更に詳しくは通信回線又はメモリ, ビデオディ スク等の画像記憶媒体を介して提供される画像デ一タを表示画面や記録紙等の出 力媒体に出力する画像出力装置に関する。
この種の画像出力装置はパーソナルコンピュータ、 2 DZ3 DCG方式による ゲーム装置、 プリンタ、 ファクシミリ装置等に利用して好適である。 背景技術
第 14図は従来技術を説明する図で、 従来のゲーム装置の構成を示している。 図において、 1はゲーム装置の主制御, 処理を行う CPU、 2は CPU 1が使 用する RAM, ROM, HDD等からなる主メモリ (MM)、 3は各種制御キー や十字キ一, マウス, ジョイスティ ック等の位置入力手段を備える操作部、 4は ゲーム装置本体に対して着脱自在に設けられ、 かつゲームァログラム (処理手順 , 画像データ等) を記憶している ROM, CD— ROM等からなる外部メモリ、 5は複数プレーン分のフレームメモリを備えるフレームメモリ部、 51は主にュ —ザの操作対象ではない背景等の画像データを記憶するフレームメモリ、 52は 主にユーザの操作対象である主人公や物体 (レースカー, 戦闘機, その他のアイ テム等) の画像データを記憶するフレームメモリ、 53は主に表示画面にスーパ インポーズするための主人公の話し言葉や松明等の周囲の暗闇等からなる画面編 集目的の画像データを記憶するフレームメモリ、 6はフレームメモリ 5 1〜53 の各画像データ PD 1〜PD 3を合成する画像データ合成部、 7は CRTや LC D等からなる表示部 (D I S P)、 71はその表示画面、 8は表示画面 7 1の表 示制御 (V, H) に同期して画像データの読出ア ドレス (X, Y) や必要なタイ ミング信号 (画素クロック信号 GCK等) を生成する表示制御部、 そして、 9は C PU 1の共通バスである = なお、 画像データとしてはモノクロ画像又はカラー 画像のデータを极える。
第 1 4図は主人公が松明等を手に持って洞窟内を探検している 1シーンを表し ている。 なお、 背景 (洞窟) を画面に固定して主人公を移動させるか、 又は主人 公を画面に固定して背景を移動 (パン) させるかはゲームの作り方の範疇であり、 いずれでも良い 3 ここでは背景を画面に固定して主人公を移動させる場合を説明 する。
C PU 1は、 ゲームの進行に伴い、 外部メモリ 4から洞窟の画像データ (2D CG) を読み出し、 これをフレームメモリ 5 1に書き込む。 次に主人公の画像デ ータを読み出し、 これをフレームメモリ 5 2の座標 Q (x, y) の回りに展開す る。 座標 Q ( X , y) は、 操作部 3により移動制御される主人公の画面 7 1にお ける現在位置の座標である。 次に暗闇パターンの画像データを読み出し、 これを フレームメモリ 53の座標 m (x, y ) の回りに展開する。 座標 m (x, y) は 主人公と共に移動する松明 (炎) の中心の画面 7 1における現在位置の座標であ る。 なお、 このシーンの洞窟及び主人公の各画像データは幾分喑ぃ明るさで形成 されている。 また、 暗闇パターンの画像データは座標 m (x, y) を中心とする 半径 rの円 Rの内側が透明で、 かつ外側は喑闇 (黒) となっている。
画像データ合成部 6はフレームメモリ 5 1〜53の各画像データ PD:!〜 PD 3を画素毎に重ね合わせ処理することで合成データ CDを生成する。 具体的に言 うと、 画像データ合成部 6は、 表示ア ドレス (X, Y) の進行に伴い、 共通の X Yア ドレスより画素データ p 〜p d3を一斉に読み出す = そして、 画素デー タ p d2 ≠0 (主人公と重なる位置) の場合は背景の画素データ p dj を主人公 の画素データ p d2で置換し、 また画素データ p d3 ≠0 (暗闇と重なる位置) の場合は背景又は主人公の画素データ p d , d。を暗闇の画素データ p d. で置換する- 係る合成処理により、 全体としては、 松明の周囲は比較的明るく、 その部分の洞窟や主人公は見えるが、 その外側は暗闇となって何も見えない様な 合成画像データ C Dが得られ、 これが画面 7 1に表示される。
ところで、 この種のゲームプログラムでは、 ュ一ザはキー操作により主人公を どの方向にでも移動できる。 従って、 ゲーム装置は画面上の主人公及び暗闇バタ —ンをユーザのキー操作に従って移動させる必要がある。 今、 主人公が例えば画 面の右側に移動させられたとすると、 C P U 1はフレームメモリ 5 2の主人公を 該メモリの右側に移動 (又は再展開) し、 かつフレームメモリ 5 3の喑闇パター ンを該メモリの右側に移動 (再展開) する。 その結果、 次の画面では主人公及び 松明で照らされる部分の画像が画面の右側に移動している。
従って、 このシーンでは、 外部メモリ 4は、 1画面分の洞窟の画像データと、 松明を持った主人公の部分の画像データと、 喑闇パターンの画像データ (但し、 暗闇パターンは移動するので 1画面分より大きい) とを記憶していれば良く、 少 ない原画数で、 ユーザ操作により不規則に変化するような様々な画面を効率良く 、 高速に生成できる。 またゲームメーカの原画制作の負担も軽减される。
し力 し、 上記従来方式によると、 ゲーム装置はフレームメモリを 3画面分備え る必要があり、 装置のコス トアップとなる。 特に、 カラ一画像ではモノクロの 3 倍程度のメモリ容量が必要となり、 フレームメモリ 1画面分とは言えども、 無視 できない。
また、 ゲームメーカはシーンに応じて様々な編集ノ ターンの原画を用意する必 要があり、 これが負担となる。 また、 その分外部メモリ 4の記憶スペースも圧迫 される。
また、 C P U 1はュ一ザ操作に応じてその都度 2画面分の画像データ P D 2, P D 3を再処理する必要があり、 処理負担が大きい-
発明の開示 本発明は上記従来技術の問題点に鑑み成されたもので、 その目的とする所は、 簡単な構成で出力の画像データを所望に編集できる画像出力装置を提供すること にある。
上記の課題は例えば第 1図の構成により解決される。 即ち、 本発明 (1) の画 像出力装置は、 画像データを記憶するメモリ 20と、 前記画像データに対する出力 XY平面 60への読出制御に同期して前記 XYァドレス空間上の所望の位置に所 定の関数 H (x, y ) を生成する関数生成部 40と、 前記関数 H (x, y) の値 に基づき対応するァドレス空間の出力画像データ gに対して前記関数の値に対応 する画像処理を行う画像データ処理部 30とを備えるものである。
本発明 (1) によれば、 画像データの XY読出制御に同期して所望の位置に生 成される関数 H (x, y) の値に従って対応する出力画像データ gの画像処理を リアルタイムに行う簡単な構成により、 出力画像の內の所望の領域の画像データ gを所望に画像処理できる。 従って、 従来必要であったような画像編集目的のフ レームメモリを削除でき、 装置のコストダウンとなる。 また、 ゲーム装置等では 画像編集目的の原画を削除でき、 その分外部メモリ 4に余裕が生じると共に、 原 画の制作負担を軽減できる。 また、 予め C PU 1がフレームメモリ上で画像編集 目的の画像処理を行う必要もなく、 C PU 1の処理負担が軽減される。
好ましくは、 本発明 (2) においては、 上記本発明 (1) において、 画像デ一 タは 3次元空間における画像 (戦闘機) B 'を出力 XY平面 60に関して透視変 換して得た画像 (戦闘機) Bの画像データである。 従って、 3DCGによる画像 に対しても、 上記本発明 (1) による簡単な 2次元の制御及び処理により、 立体 感を損なわずに適正な画像編集処理を行える。
また好ましくは、 本発明 (3) においては、 上記本発明 (1) 又は (2) にお いて、 関数 H (x, y) は外部入力による出力 XY平面上の座標 Q (x, y) を 基準として生成される。
本発明 (3) によれば、 外部より出力 XY平面上の座標 Q (X, y) を指定す るだけの簡単な制御により、 その位置を基準として所定の関数 H (x, y) が生 成される構成により、 出力 XY平面上の所望の位置に関数 H (x, y) の領域 R をリアルタイムに生成して、 該領域 Rの内/外の画像処理を所望に行える。
また好ましくは本発明 (4) においては、 上記本発明 (3) において、 座標 Q ( X , y) は出力 XY平面 60に対する人の眼の注視点の検出座標 P (x, y) である。
本発明 (4) によれば、 第 1図において、 今、 ユーザが敵機 Bを追撃している 場合を考えると、 追撃中のユーザは主に標的 Bを眼で追うので、 ユーザの注視点 の検出座標 P (x, y) を基に領域 Rを生成し、 該領域 Rの内側の画像 (敵機 B) を鮮明に、 かつ外側の画像をぼかして表示することがリアルタイムに可能となる
。 また、 ユーザが他の状況 (他の戦闘機, 計器類等) に目を移すと、 注視点の移 動に伴い、 生成される領域 Rもリアルタイムに移動し、 その領域の画像が明瞭に 表示される。
また好ましくは本発明 (5) においては、 上記本発明 (3) において、 座標 Q (x, y) は外部の位置入力手段による指示点の座標 C (x, y) である。
本発明 (5) によれば、 上記同様にして、 今、 ユーザが敵機 Bを追撃している 場合を考えると、 ユーザは操作部のカーソルキ一 (十字キ一等) 又は操縦桿の操 作により、 敵機 Bが画面の照準器 (不図示) の中に捕捉される様に、 力一ソル ( 照準器) 又は操縦桿 (自機の向き, 姿勢) を制御する。 係る場合でも、 カーソル の操作に基づき制御される指示点 (照準器) の座標 C (x, y) を基に領域 Rを 自動生成し、 かつ該領域 Rの内側の画像 (敵機 B) を鮮明に、 かつ外側の画像を ぼかして表示することがリアルタイムに可能となる。
又は、 操縦桿の操作に基づき制御される指示点 {但し、 この場合は自機の向き , 姿勢が変化する結果、 敵機 Bは常に画面中央の指示点 (例えば照準器) に捕捉 される様に画面制御されることになる) の座標 C (x, y) を基に領域 Rを生成 することで、 該固定領域 Rの内側に入ってくる画像 (敵機 B) を鮮明に、 かつ外 側に出る画像をぼかして表示することがリアルタイムに可能となる。
また好ましくは本発明 (6) においては、 上記本発明 (3) において、 座標 Q (X, y) は、 上記本発明 (4) に記載の注視点の検出座標 P (x, y) 又は上 記本発明 (5) に記載の指示点の座標 C (x, y) の近傍領域に、 その一部又は 全部が含まれる特定の画像 Bを代表する基準点の座標 M (x, y) である。 本発明 (6) によれば、 上記同様にして、 今、 ユーザが敵機 Bを追撃している 場合を考えると、 係る状況 (シーン) では、 ゲームの運用上、 ユーザの注目対象 が敵機 Bであることは明らかである。 しかし、 一般に敵機 Bを追撃中のュ一ザは 主に標的 Bを眼で追うが、 同時に他の状況 (他の戦闘機, 照準器, 計器類等) に も頻繁に目を配るため、 ゲーム装置としては、 むしろ領域 Rを当面の敵機 Bに口 ックさせ、 常に中心の敵機 B及びその周辺の画像のみを明瞭に表示することが好 ましい場合がある。
しかるに、 特に視線検出による場合は、 実際上どの時点の視線 (注視点) を基 にして領域 Rをロックさせて良いかの分からない。 またユーザは追撃中も敵機 B の中心を凝視しているとは限らず、 その近傍を見ているかも知れない。
そこで、 本発明 (6) においては、 領域 Rを生成するための座標 Q (X , y) を、 上記注視点の検出座標 P (x, y) 又は上記指示点の座標 C (x, y ) の近 傍領域に、 その一部又は全部が含まれる特定の画像 (敵機) Bを代表する基準点 の座標 M (x, y) とした。
なお、 どの時点の視線 (注視点) 座標 P (x, y) 又は指示点座標 C (x, y ) を基にして領域 Rを口ックさせるかについてはゲーム運用等との関係で色々と 考えられる。 例えば、 ゲーム装置 (ゲームプログラム) 、 常時注視点 P又は指 示点 Cの所定の近傍領域にゲームの運用上重要となるような特定の画像 (この例 では敵機 B) の一部又は全部が含まれるか否かを監視すると共に、 もし含まれる ことを検出した場合 (即ち、 ゲームプログラムで通常用いられる様な当たり判定 が得られた場合) には、 この時点に、 領域 Rを生成するための座標 Q (x, y ) を敵機 Bの基準点の座標 M ( X , y ) にロックさせる。 ロック後は、 注視点 Pや 指示点 (照準器) Cが敵機 Bから外れても、 領域 Rは既に敵機 Bにロックされて おり、 よって明視領域 Rは敵機 Bと共にリアルタイムに移動する = 因みに、 この ロックは予めゲームプログラムで規定される特定のィベント (敵機 Bの撃墜等) の発生又はユーザのアン口ック操作等により解除される。
又は、 上記ユーザの注視点 Pや指示点 (照準器) Cの座標とは無関係に、 ゲ一 ムストーリの流れ従い、 予めゲームプログラムで定められた特定の主人公又は物 の基準座標 M ( x , y ) に次々と領域 Rの基準座標 Q ( x , y ) を自動的にロッ クさせる様に構成しても良い。 こうすれば、 ユーザの注目は例えば次々に明瞭に 表示される様な主人公や物へと自然と引きつけられ、 ゲームをよりダイナミック かつ印象的に展開 (誘導) できる。 なお、 後者の制御は、 上記本発明 (1 ) にお いて、 関数発生部 4 0が出力 X Yアドレス空間上の所望の位置 (例えばゲームプ ログラムから次々と与えられる位置) に所定の関数 H ( x , y ) を生成すること により容易に実現される。
また好ましくは本発明 (7 ) においては、 上記本発明 (2 ) において、 出力画 像データ gはその 3次元空間における Z軸上の深さを表す奥行データ zを伴うと 共に、 画像データ処理部 3 0は前記奥行データ zが Z軸上の所定範囲内に含まれ ることを条件に前記対応する出力画像データ gに対して関数の値に対応する画像 処理を行う。
本発明 (7 ) によれば、 ある出力画像 (画素) データ gが既に透視変換された 2次元の画像データであっても、 その元となる 3 D空間における Z軸上の座標 z が該 Z軸上の所定範囲 (Z l〜z 2 ) 内に含まれる場合は、 例えば明瞭に出力さ れ、 また含まれない場合はぼやかして出力される。
その結果、 図示しないが、 仮に図の手前側にある他の敵機 Aの出力画像データ ( 2次元画像データ) gが 2次元領域 Rの内側に含まれていても、 この出力画像 データ gはその元となる 3 D空間ではその座標 zが z < z , にあるため、 明瞭に は出力されない = また仮に図の奥側にある他の敵機 Cの出力画像データ (2次元 画像データ) gが 2次元領域 Rの内側に含まれていても、 この出力画像データ g はその元となる 3 D空間ではその座標 zが z〉 z 2にあるため、 明瞭には出力さ れない。 これは、 実際の 3 D空間における人の目の明視領域 (フォーカス/デフ オーカス状態) と良く一致しており、 これにより擬似立体画像 (3 D C G ) の臨 場感が大幅に改善される。 図面の簡単な説明
第 1図は本発明の原理を説明する図、
第 2図は第 1の実施の形態によるゲーム装置の構成を示す図、
第 3図は第 1の実施の形態における画像データ編集部を説明する図 ( 1 )、 第 4図は第 1の実施の形態における画像データ編集部を説明する図 (2 )、 第 5図は第 2の実施の形態によるゲーム装置の構成を示す図、
第 6図は第 2の実施の形態における注視点検出部の動作を説明する図、
第 7図は第 2の実施の形態における注視点検出処理のフロ一チヤ一ト、
第 8図は第 2の実施の形態における画像データ編集部を説明する図 ( 1 )、 第 9図は第 2の実施の形態における画像データ編集部を説明する図 ( 2 )、 第 1 0図は第 3の実施の形態によるゲーム装置の構成を示す図、
第 1 1図は第 3の実施の形態におけるレンダング処理部の動作を説明する図、 第 1 2図は第 3の実施の形態における画像デ一タ編集部の構成を示す図、 第 1 3図は第 3の実施の形態における画像データ編集部の動作を示すイメージ図- 第 1 4図は従来技術を説明する図である。 発明を実施するための最良の形態
以下、 添付図面に従って本発明に好適なる複数の実施の形態を詳細に説明する c なお、 全図を通して同一符号は同一又は相当部分を示すものとする。 第 2図は第 1の実施の形態によるゲーム装置の構成を示す図で、 上記第 14図 で述べたような喑闇パターンの生成及びその重合わせ処理を装置内部で自動的に 行う場合を示している。
図において、 1 OAは第 1の実施の形態における画像データ編集部 (第 1図の 画像データ処理部 30及び関数生成部 40に相当) である。 他の構成は第 14図 で述べたものと同様で良い。 但し、 フレームメモリ部 5からは喑闇パターン等の 画像編集目的の画像データ PD 3を記憶するためのフレームメモリ 53が削除さ れている。
ゲームの進行に伴い、 CPU 1は外部メモリ 4から読み出された洞窟の画像デ —タ (2DCG) をフレームメモリ 51に書き込む。 また CPU 1は外部メモリ 4から読み出された松明を持つ主人公の画像データをフレームメモリ 52の操作 部 3の指示により制御される主人公の基準座標 Q (x, y) の周囲に展開する。 なお、 この場合の主人公はユーザのカーソル操作によって所望の方向に移動させ られ、 これに応じて C PU 1はフレームメモリ 52における主人公 (松明を含む ) の画像データを対応する方向に移動させる。
この状態で、 画像データ合成部 6は、 洞窟の画像データ PD 1に主人公の画像 データ PD 2を画素毎に重ね合わせ、 合成データ CDを生成する。 そして、 画像 データ編集部 1 OAは、 CPU 1から提供される松明の座標 m (x, y) と、 表 示制御部 8からの表示アドレス (X, Y) とに基づき、 所定の関数 (x, y) を生成すると共に、 該関数 で定義される領域 Rの内 外の合成データ CDに 対応する輝度補正 (編集) を加え、 補正後の画像データ HDを生成する。 この画 像データ HDは表示部 7に入力され、 その結果表示画面 71には第 14図と同様 のシーンが表示される。
第 3図, 第 4図は第 1の実施の形態における画像データ編集部を説明する図 (1), (2) で、 第 3図 (A) は画像データ編集部のブロック図を示している。 図において、 10 Aは第 1の実施の形態における画像データ編集部、 34は制 御入力の選択信号 S L=0/1に従い、 データ入力の暗闇を表す黒画素データ B K又は前段の画像データ合成部 6からの合成画素デ一タ gを選択するデータセレ クタ (SEL)、 37 Aは C PU 1からの松明の座標 m (x, y ) と、 表示制御 部 8からの X, Y走查アドレスとに基づき、 各 Y軸上における X軸上の領域判定 に必要な閾値座標 Xい X2をリアルタイムに生成するパラメータ生成部、 36 は表示制御部 8からの走査ァドレス Xと前記閾値座標 X!, X2 との比較により X軸上の領域判定を行う X判定部、 CM Pはコンパレータ、 Aは ANDゲート回 路である。 なお、 ここではパラメ一タ生成部 37 Aと X判定部 36とからなる回 路が第 1図の関数生成部 40に相当する。
かかる構成により、 表示画面 71の走査 X, Yに同期して、 所望の座標 m (x , y) の回りには関数 hi, (x, y) に対応する領域 Rがリアルタイムに生成さ れ、 かつ該領域 Rの内/外の判定に基づき、 合成画素データ gの輝度補正 (編集 ) がリアルタイムに行われる。
第 3図 (B) は関数 (x, y) の 2次元生成イメージを示している。 画面 71に向かって左上を走查座標 (X, Y) の原点 (0, 0) とすると、 走 査線は X軸方向に向かって画素毎に高速で進み、 第 1行目 (Y=0) の表示が終 了すると、 第 2行目 (Y= l) の表示を行う。 以下、 同様のことを繰り返す。 パ ラメ一タ生成部 37 Αは、 CPU 1から松明の座標 m (x, y) が入力すると、 走査線 Yの進行に伴い、 各走査線 Y (例えば走査線 Yn ) と座標 m (x, y) を 中心とする半径 rの円 Rとが交差する X軸上の閾値座標 , X2 ) を以下の 如く求める。
今、 Δχ=Χ2— x, Ay=Yn— yとすると、 △ x 2 +△ y 2 = r 2の関係よ り、 I Δχ I { r2 — (Yn — y) 2 } となる。 但し、 { } 内の式は v「に含 まれることを表す。 ここで、 松明の座標 m (x, y), 半径 Y走査線の座標 Υηは夫々既知であるから、 交差点の X座標 , X2は次式の演算により求ま る。 Xj = x - ! Δχ ! = χ - { r 2 - (Yn - y ) 2 }
X2 = x + ' Δχ i '= x { r 2 - (Yn - y) 2 }
なお、 の中が負となる時は、 その値は 0 (即ち、 X,, X = x) とする。 こうしてバラメータ生成部 3 7 Aは、 Y走査線の進行に伴い、 走査線 Y毎に X 軸上の閾値座標 (X!, X2 ) を順次生成する。
X判定部 36では、 走査線の Xアドレスと、 上記生成された閾値座標 (X,, X2 ) とを比較しており、 CMP 5は X>X,の時に出力信号 X〉X = 1 (H I GHレベル) を出力し、 また CMP 4は X<X2の時に出力信号 X<X2 = 1 を出力する。 従って、 ANDゲート回路 A 2の出力信号 S Lは、 走査線 Yn上の Xアドレスが、 X, く Χ<Χ2を満足する時のみ S L二 1 となり、 それ以外は S L = 0となる。 セレクタ 34は、 S L= 1では入力の画素データ gを選択し、 S L = 0では黒データ BKを選択する。 また第 3図 (B) を見ると、 各走査線 にっき、 X, <X<X2を満足するのは円 Rの内側のみであるから、 結局、 円 R の内側は透明の如く扱われ、 入力の画素データ gはそのまま通過するが、 円 の 外側は暗闇となり、 入力の画素データ gは黒データ BKにより置換される。
第 4図 (A) は関数 (x, y) の 3次元イメージを示している。 この例で は関数 (x, y) の値 (縦軸) は輝度の正規化補正係数 0Z 1に相当する。 なお、 関数 l^ (x, y) の平面形状は上記の円 Rに限らない: 他に 3角形、 矩形 (正方形, 長方形)、 台形、 その他の多角形、 楕円形等がハードウェア演算 回路又は DS P等の演算によりリアルタイムに生成可能である。 また、 予め複 数の関数を生成可能としておき、 C PU 1からの指令で何れかの関数を選択使 用するように構成しても良い。
また、 ここでは関数 1^ (x, y) の値が OZlとなるような単純な例を示し たが、 後述の第 8図 (A), 第 9図 (A) の ROM38 aを使用することにより、 任意の複雑な形状及び関数値を有するような関数 H2 (x, y) をリアルタイム に容易に生成できる。 従って、 より自然に近い様な様々な態様の輝度補正が可 能となる。
また、 上記第 3図 (A) に示した如く、 入力の画素データ gを黒データ BKで 置換する方法に代えて、 入力の画素データ gに輝度補正データ hを乗算する方法 が考えられる。 この方法によると、 暗闇の部分では入力の画素データ g (x, y) に輝度補正データ ^ (X, y) =0が乗算され、 出力の画素データ g (x, y ) =0 (黒) になる。 また松明で照らされた部分については、 入力の画素データ g (x, y) に輝度補正データ (x, y) = a (但し、 この例では 1) が乗 算され、 出力の画素データ g (x, y) = α - g (x, y) となる。 この場合に 、 α〉 1の時は輝度が増し、 α < 1の時は輝度が減少する。
第 4図 (Β) は画像データ編集部 1 OAにおける輝度補正のタイミングチヤ一 トを示している。 ある走査線 Ynの補正後の画像データ HD (Υη ) にっき観察 すると、 の喑闇の区間では黒画素データ ΒΚが出力され、 続く <X <χ2の透明の区間では入力の画素データ gがそのまま出力され、 続く X x2 の喑闇の区間では再び黒画素データ BKが出力されている。
第 5図は第 2の実施の形態によるゲーム装置の構成を示す図で、 所望に生成し た領域 Rの内外の画像を明瞭に (フォーカス状態で) 表示し、 かつ外側の画像を ぼかして (デフォーカス状態で) 表示する場合を示している c
図において、 1 0 Bは第 2の実施の形態における画像データ編集部、 1 1はュ 一ザの目の周囲を撮像可能なテレビ (CCD) カメラ、 1 2はユーザの画面 71 に対する注視点の位置を検出する注視点検出部である。 他の構成は上記第 2図で 述べたものと同様でよい。
ここでは、 ゴルフプレイの 1シーンが表示されている。 フレームメモリ 51に はゴルフ場の背景画像データが記憶され、 該背景には目標地点のグリーン、 ダリ —ン中央のホール、 該ホールに立てられたフラッグ、 グリーン周囲の丘、 樹木、 バン力一及び周囲の芝生等の画像が含まれている。 一方、 フレームメモリ 52に はユーザによる打撃 (制御) 対象のゴルフボールの画像が記憶される。 なお、 こ 34
13 のシーンではユーザの注目対象は遠方のグリーン上にあり、 グリーンまでの距離 、 途中斜面の傾斜の度合い等を推し量つている。 また、 このシーンではゲーム操 作により、 グリーンまでの距離や傾斜を見積もるためのスケール画像が呼び出さ れており、 該スケール画像は一時的にフレームメモリ 52上に重ねて展開されて いる。
係る状況において、 画面手前のュ一ザの両眼の画像が CCDカメラ 1 1により 読み取られ、 注視点検出部 1 2に時々刻々と入力される。 注視点検出部 1 2は両 眼の画像解析により、 表示画面 71上におけるユーザの注視点の座標 P (x, y ) を生成し、 CPU 1に入力する。 CPU 1は、 ゲームの運用 (シーン) 情報に 基づき、 現在ユーザが注目している注視点 P ( X , y ) の近傍にゲームの進行上 の重要な要素であるグリーンが含まれることを検出し、 予めゲームで定められた 方法により、 ユーザの注視点はグリーン上のホールであると判定する。 これによ り、 CPU 1はホールの座標 Q (x, y) を割り出し、 これを画像データ編集部 10 Bに入力する。
画像データ編集部 1 0 Bは、 C PU 1からのホールの座標 Q ( X , y ) と、 表 示制御部 8からの表示ア ドレス (X, Y) とに基づき、 座標 Q (x, y) を基準 として所定の関数 H2 (x, y) を生成し、 これによりフレームメモリ 5 1の背 景データ PD 1に補正 (編集) を加え、 補正後の画像データ HDを出力する。 そ して、 画像データ合成部 6は画像データ編集部 10 Bの出力の画像データ HDに フレームメモリ 52の画像データ PD 2を合成し、 合成データ CDを表示部 7に 出力する。 その結果、 表示画面 71では、 ユーザが注目しているホール付近 (領 域 R内) の画像は鮮明に表示され、 かつその外側 (領域 R外) の画像 (周囲のバ ン力—, 手前側のゴルフボール等) はぼかされて表示される。
なお、 ユーザが表示画面 71の下側を注視すると、 C P U 1はその注視点の検 出座標 P (x, y) に基づきユーザがゴルフボールを注視していると判定し、 ゴ ルフボールの座標 Q (χ, y) を出力する。 これにより、 表示画面 71ではュ一 ザが注目しているゴルフボール付近 (領域 R内) の画像は鮮明に表示され、 その 外側 (ホール付近等) の画像はぼかされて表示される。
以上のことは、 ユーザが実際にゴルフ場でプレイしているのと同様の状況 P ち、 注視点付近の画像は人の眼に鮮明に写り、 それ以外の画像はぼやけて写る ( 感じる) 状況) をより忠実に表現しており、 よってゲームの臨場感が大幅に改善 される。
ところで、 人の眼の注視点方向を検出する方法としては、 例えば専用のゴ一グ ルを被り、 ゴーグル内で瞳に向けて射出された特定波長 (赤外線等) の 1又は 2 以上の光線が瞳の視線方向に応じて対応する方向に反射されるのを 1又は 2以上 の受光素子で捕らえ、 よって瞳の視線方向を正確に検出できる様々な方法が既に 知られている。 本第 2の実施の形態でもこれら公知の様な方法 (装置) を利用で きることは言うまでもない。
しかし、 本第 2の実施の形態では、 上記大まかな注視点の座標 P ( x, y ) か らゲーム運用上の特定の物体の座標 Q ( χ , y ) を決定できるため、 視線検出手 段に高精度が要求されないこと、 また専用のゴーグルやメガネを眼にかけること が一般には好まれないこと、 等を考慮し、 現在普及しつつある小型据え置き型の テレビ (C C D) カメラを利用した簡易な注視点検出方法を説明する。
第 6図は第 2の実施の形態における注視点検出部の動作を説明する図である。 第 6図 (e ) はユーザが表示画面 7 1の中央を注視した時の両眼の画像を示し ている。 なお、 ゲームの開始時点等において、 ユーザが注目する様なメッセージ 又は画像を表示画面 7 1の中央に表示することで、 ユーザの眼を容易に画面中央 に向けさせることが可能である。
図において、 〇0カメラ 1 1の撮像画像で見ると、 ュ一ザの左眼 Lは右側に 、 また右眼 Rは左側に映っている。 以下、 この関係で説明を続ける- まず両眼の 画像データに対する公知の基礎的な画像解析により、 上下まぶた 2 1, 2 2、 瞳 2 3、 及び瞳孔 2 4を識別し、 これらからユーザの視線方向に関する特徴情報を 抽出する- なお、 瞳孔は瞳 (青や茶褐色等) の中にあるが、 一段と濃い色 (黒等 ) をしているので、 識別可能である。 但し、 瞳孔を識別困難な場合には、 瞳と同 一サイズの円パターンを瞳の部分に重ねて生成し、 該円の中心を求めてこれを瞳 孔と見做しても良い:
一般に、 人の瞳は左右の白目を明瞭に画しており、 かつ瞳は左右には良く動く ので、 左右方向の検出は比較的容易に行える。 一方、 人の瞳は上下には余り動か ず、 上を見る時は、 代わりに上まぶた 21が上側に見開かれ、 また下を見る時は 主に上まぶた 21が下側に閉じられる傾向にある。 従って、 上下まぶた 21, 2 2の開き具合を一つの目安にできる。
そこで、 上下まぶた 21, 22を囲む様な矩形状の左右窓 Wい Wrを生成し 、 画面 71の中央を見ている時の窓の高さ Hmをまぶたの開き具合の基準とする 。 この場合に、 両眼の開き具合が同程度なら、 これらの平均値を取って高さ Hm としても良いし、 また異なるなら左眼又は右眼のみの解析に基づいて注視点の検 出を行っても良い。 更に、 左右窓 Wt, Wr内における瞳孔 24 (又は瞳 23の 中心) の座標を求め、 これを左右方向の基準座標 L, Rとする。 一般に眼の大き さ、 左右眼の間隔、 まぶたの開き具合等は人によって様々であるが、 上記処理に より個人差が取り除かれ、 一応の基準が得られた。
第 6図 (f ) はユーザが画面の右中央を注視した時の画像を示している。 この 時、 まぶたの開き具合 Hmは余り変わらず、 かつ瞳孔 24の位置 1, rが図の右 側に移動している。 従って、 hm =Hm、 かつ 1 >L及び又は r〉Rの判別によ りユーザが画面 71の右中央を注視していると判別できる。
又は、 画面 71における大まかな注視点の座標 P (x, y) を以下の如く求 められる。 即ち、 画面上の注視点の X座標 X = xm + /3 ( 1 -L) 又は x = xm + β (r— R)、 Y座標 y = ymであり、 ここで、 (xm, ym ) は画面 71の中 点の座標、 /3は瞳孔 24の微小変位 ( 1一 L) 又は (r— R) を画面上の注視 点の位置に拡大するための係数である。 なお、 ユーザが右を見る時は左眼 (画 334
16 像では R) の瞳孔 24が大きく右に動く傾向にあるので、 X座標 x = xm +j3 ( r -R) を採用すると、 感度が良いと言える。
第 6図 (d) はユーザが画面の左中央を注視した時の画像を示しており、 上記 図 6 ( f ) の逆と考えられる。 なお、 ユーザが左を見る時は右眼 (画像では L) の瞳孔 24が大きく左に動く傾向にあるので、 X座標 x = xm +3 ( 1 - L) を 採用すると、 感度が良いと言える。
第 6図 (b) はュ一ザが画面の上中央を注視した時の画像を示している。 この 時、 まぶたの開き具合は hm >Hmの関係にあり、 かつ瞳孔 24の横座標は 1 及び又は rの関係にある。 従って、 ユーザが画面 71の上中央を注視してい ると判別できる。 又は、 注視点の座標 P (x, y ) を、 X座標 x = xm、 Y座標 y = ym +7 (hm - Hm ) により求められる。 ここで、 γはまぶた 21, 22 の開き具合の微小変位 (hm _Hm ) を画面上の注視点の位置に拡大するための 係数である。 第 6図 (h) はュ一ザが下中央を注視した時の画像を示しており、 上記第 6図 (b) の逆と考えられる。
以下、 上記の組み合わせにより、 ユーザが画面 71の左上 (a), 右上 (c)
, 左下 (g) 又は右下 ( i ) を注視した時のおおまかな各注視点領域の判定が行 える。 又は各注視点の座標 P (x, y ) を求められる。 ここで、 注視点の X座標 x = xm ±Z x, Y座標 y = ym土 Ayである。
第 7図は第 2の実施の形態における注視点検出処理のフローチャートである。 ゲームの実行中は適宜にこの処理に入力する。 ステップ S 1では左右眼につき 上下まぶた 21, 22で囲まれる領域の画像データを抽出する。 上下まぶた 21 , 22、 瞳 23、 瞳孔 24の識別は画像データに対する公知のエッジ検出処理及 びパターン認識処理等により行える c ステップ S 2では上下まぶた 21, 22を 包含する最小の矩形窓 , を生成する。 ステップ S 3では矩形窓 W!, W rの高さ h l T hrを求める。 ステップ S 4では矩形窓 Wい Wrにおける瞳孔 24 (又は瞳 23の中心) の横座標 Xい xrを検出する。 なお、 瞳 23はまぶ た 21, 22が半開きの状態であると、 その全体を撮像できない。 この場合は 瞳 23の見えている部分 (半円等) に公知の画像マッチング処理により瞳 23 と同一サイズの円パターンをパターンマッチングさせ、 その時の円パターンの 中心を瞳孔 24と見做すことが可能である。
ステップ S 5ではゲームの運用モードが基準モードか否かにより処理分岐す る。 例えばゲームの開始時等に、 ユーザに画面 7 1の中央を注視させている時 は基準モードである。 この場合はステップ S 6に進み、 矩形窓 W!, Wrの高さ h , , hrをまぶたの基準の開口長 Hm (Η,, Hr ) とする。 ステップ S 7で は瞳孔 24 (又は瞳 23の中心) の横座標 Xい x rを基準の横座標 X ,, Xr とする。
又上記ステップ S 5の判別で基準モードでない場合はステップ S 8に進み、 まぶたの開口の変位量 Ah , = h ,— Hい Ahr = hr— Hrを求める。 ステツ プ S 9では瞳孔 24 (又は瞳 23の中心) の変位量 Δχ! = X , — X!, ΔχΓ =x r-Xrを求める。 ステップ S 1 0では画面 71上における注視点の座標 P (x, y ) を求める。 なお、 画面 71を 9分割した何れかの領域を求める様に 構成しても良い。
第 8図, 第 9図は第 2の実施の形態における画像データ編集部を説明する図 (1), (2) で、 第 8図 (A) は画像データ編集部のブロック図を示している。 図において、 10 Bは第 2の実施の形態における画像データ編集部、 3 1 a〜 31 cは画像データのフィルタ処理部、 LB 2は画像データのラインバッファ、 38は表示画面 71における補正領域 R及び補正の強度を生成する補正関数生 成部、 (+ ) は加算器、 38 aは予め入力のァドレス (X ', Y ' ) に対応する 位置に補正強度のデータ (選択信号) S Lが書き込まれている ROMである。 フィルタ処理部 3 1は入力の画像データ g 'にっき例えば中央の注目画素を 含む 9画素分の重み付け平均をとつて補正後の画像データ hgを生成する。 挿入図 (a) にフィルタ 3 1 bの一例の演算マ トリクス (フィルタ特性) を 示す: 注目画素を第 2行第 2列の画素とすると、 周囲 8つの画素との重み付け平 均をとつて注目画素の画素データ hgbとする。 一例の注目画素の重みつけは 0. 44、 かつ周囲 8画素の重み付けの合計は 0. 56であり、 係る重み付けの合成 によって注目画素 hgbの輝度や色は周囲 8画素の影響を受け、 ぼやかされる。 フィルタ処理部 3 1 cは更に強いぼかし特性を有する。 即ち、 注目画素の重み 付けは 0. 44よりも小さく、 かつ周囲 8画素の重み付けの合計は 0. 5 6より も大きい。 一方、 フィルタ処理部 3 1 aは更に弱いぼかし特性を有する。 即ち、 注目画素の重み付けは 0. 44よりも大きく、 かつ周囲 8画素の重み付けの合計 は 0. 56よりも小さレヽ。
なお、 上記フィルタ処理部 3 1が 9画素分の平均値をとる結果、 前段のフレー ムメモリ 5 1からは、 少なくとも 1ラインと 1画素分の画素データ g 'をフィル タ処理部 3 1に先読みする必要がある。 ラインバッファ LB 2はこの入出力間の 位相差を吸収するために設けられている。
第 8図 (B) は補正関数発生部 3 8で生成される関数 H2 (x, y) の 2次元 イメージを示している。 走査線のアドレスが Y行, X列の方向に順次走査される と、 これに同期して ROM3 8 aのア ドレスは Y '行, X '列の方向に順次走査 される。 今、 ROM 3 8 aのァ ドレスサイズを (Xm ', Ym ' )、 かつ画面 7 1 における目標物 (注視点) の座標を Q ( X , y ) とすると、 ROM3 8 aの上位 アクセス開始アドレス Yb = y— (Ym ' 2)、 下位アクセス開始ア ドレス X b = X - (Xm ' /2) ROM 3 8 aの上位走査ァドレス Y ' = Y— Yb 、 下 位走査ァドレス X ' = x— xb となる。
一例の動作を具体的数値例で説明する。 今、 走査線のア ドレスサイズ (xm
Ym ) = (200, 1 50)、 ROM 3 8 aのァ ドレスサイズ (Xm ', Ym ) = (50, 50)、 座標 Q (x, y ) = (1 00, 30) とすると、 ROM 3 8 aの上位アクセス開始ア ドレス Yb = 3 0— 25 = 5、 下位アクセス開始ア ド レス Xh = 1 00— 2 5 = 7 5となり、 かつ ROM 3 8 aの上位走査ァドレス Y ' = Y— 5、 下位走査ァドレス ' = ー 75の関係となる。
この状態で、 今、 あるフレームの走査アドレス (Χ, Υ) 力; (0, 0) からス タートしたとすると、 ROM3 8 aの Υ '軸については、 走査ア ドレス Y= 5と なった時に Υ ' = 0から ROM 3 8 aの上位アクセスが開始され、 また走査ァド レス Y = 54となった時には Υ ' =4 9から最終行の各補正データ S Lが読み出 される。 また X '軸については、 走查ア ドレス Χ= 75となった時に X ' =0力 ら ROM3 8 aの下位アクセスが開始され、 また走査ァドレス X= 1 24となつ た時には X ' =4 9から最終列の各補正データ S Lが読み出される。
なお、 この ROM3 8 aは 0 ' 4 9, かつ 0≤ Y ' ≤ 4 9で囲まれる領 域以外のアドレス入力では出力デ一タ S L = 0を出力するものとする。 また RO M3 8 aのァドレスサイズは一般に Xm ≠Ymで良い。
かくして、 外部より座標 Q (x, y) を任意に指定するだけで、 ROM3 8 a の読み出しエリア (Xm ', Ym ' ) を表示画面 7 1上のどの位置 (一部はみ出 しても良レ、) にでも容易に当てはめられる。
第 9図 (A) は関数 H2 (x, y) の 3次元イメージを示しており、 ここで、 縦軸はぼかし強度を表している。 ROM 3 8 aの読出データ S L = 0はセレクタ 34によって第 3段階目 (最大) のぼかし強度 3に対応付けられており、 この区 間ではフィルタ補正後の画像データ hgcが選択される。 なお、 ROM38 aが適 正にアクセスされない時 (即ち、 ROM38 aのアクセス領域以外の時) の読出 データ S L = 0であり、 この場合もフィルタ補正後の画像データ hgcが選択され る。 また ROM3 8 aの読出データ S L= 1はセレクタ 34によって第 2段階目 のぼかし強度 2に対応付けられており、 この区間ではブイルタ補正後の画像デ一 タ hgbが選択される。 また ROM3 8 aの読出データ S L= 2はセレクタ 34に よって第 1段階目 (一番弱い) のぼかし強度 1に対応付けられており、 この区間 ではフィルタ補正後の画像データ hgaが選択される。 また ROM3 8 aの読出デ —タ S L = 3はセレクタ 34によってぼかし強度 0 (ぼかしの無い状態) に対応 付けられており、 この区間では入力の注目画素データ gがそのまま選択される。 従って、 座標 Q (x, y) の周辺の画像は明瞭なコン トラス トを有し、 かつそ の外側に向かうにつれて徐々にぼやける様な画像を容易にリアルタイムに生成で きる。 また ROM38 aには予め任意領域形状及び関数値の関数 H2 (x, y) を記憶できるから、 より自然に近い様な様々な態様のぼかし補正が容易に可能と なる。
なお、 上記 ROM38 aに代えて、 R AM 38 aを使用しても良い = この場合 は、 ゲームの進行に応じて、 その都度 CPU 1より様々な領域形状及び関数値の 関数情報が RAM38 aに記憶され、 使用される。 この場合に、 領域は 1つに限 らず、 例えば広目の RAM38 aを設けることで同時に 2以上の領域を生成でき る。 この点は ROM38 aでも同様である。
また、 上記生成関数 H2 (x, y) と画像データのぼかし補正を行うフィルタ 処理 31とを連動させる場合を述べたが、 これに限らない。 例えば領域 R内の画 像をレンズ効果の如く拡大させ又は縮小させたり、 又は画像の明るさや色を変え たり、 又は画像を回転させ又は位置をずらしたり、 その他の様々な画像処理と連 動させることが可能である。
第 9図 (B) は画像データ編集部 1 0 Bにおけるぼかし補正のタイミングチヤ —トを示している。 ある走査線 Yn の補正後の画像データ HD (Υη ) にっき観 察すると、 X Xb の外部区間ではフィルタ処理後の画素データ hgcが出力され 、 続く Xb く X<Xe の注視区間ではぼかし具合が徐々に減少して最終的には入 力の画素データ gがそのまま出力され、 続く X xe の外部区間では再びフィル タ処理後の画素データ hecが出力されている。
第 10図は第 3の実施の形態によるゲーム装置の構成を示す図で、 3DCGの 画像デ一タを処理する場合を示している。
図において、 1 3は公知のレンダリング処理部、 1 0 Cは第 3の実施の形態に おける画像デ一タ編集部である。 他の構成については上記第 5図で述べたものと 同様で良い:
ここでは戦闘機によるバトルゲームの 1シーンが表示されている。 C P U 1は 、 ゲームの進行に伴い、 外部メモリ 4から 3 D C Gのモデルデータ 3 D M Dを順 次読み出し、 レンダング処理部 1 3に入力する。
第 1 1図は第 3の実施の形態におけるレンダング処理部の動作を説明する図で ある。 レンダング処理部 1 3は、 3 D空間における戦闘機 A ' , B ' の基準座標 A ' ( x , y , z ) , B ' ( x , y , z ) を基準として、 戦闘機についての共通 の形状モデルデータに基づき、 戦闘機 A ', B 'の 3 D画像を仮想空間に展開 する- 3 D空間における戦闘機 A ', B 'は共に同一サイズを有しているが、 更 にレンダング処理部 1 3は、 戦闘機 A ', B 'の 3 D画像をュ一ザの眼 L , Rの 方向に関して透視変換することにより、 画面 7 1に表示するための 2 D画像を生 成する。 この 2 D画像の戦闘機 A, Bはユーザの側から見える部分の画素データ のみからなり、 ュ一ザからの距離に応じて、 遠近感のある (即ち、 異なるサイズ の) 戦闘機 A, Bの画像となっている。 なお、 画面 7 1には遠方にある戦闘機 C の画像が小さく描かれている。
第 1 2図は第 3の実施の形態における画像データ編集部の構成を示す図で、 図 において、 1 0 Cは第 3の実施の形態における画像データ編集部、 3 5は 3 D空 間における Z軸方向の領域判定を行う Z判定部、 3 7 Cはパラメータ生成部であ る。 他の構成については上記第 8図 (A ) のものと同様で良い。
画像データ編集部 1 0には、 前段のレンダリング処理部 1 3より、 2 Dに透視 変換された画素データ g ' と、 該画素データ g の 3 D空間における Z軸座標を 表す奥行データ z ' とが入力される。 画素データ g 'については上記第 2の実施 の形態で述べたと同様に複数種のフィルタ処理と、 フィルタ処理しない処理 (ラ インバッファ L B 2による遅延処理) とが平行して行われる。 一方、 入力の奥行 データ z 'にっては、 画素データ gと処理位相を合わせるためにラインバッファ L B 1により遅延され、 奥行データ zとなる。 以下、 両データ g, zの位相を基 準として説明を続ける- 第 1 0図に戻り、 今、 ユーザが画面中央の敵機 Bを注視したとすると、 注視点 検出部 1 2は C C Dカメラ 1 1の両眼の撮像データを基にユーザの画面上におけ る注視点の座標 P ( x , y ) を生成し、 これを C P U 1に入力する。 C P U 1は この座標 P ( x , y ) をレンダリング処理部 1 3に送出し、 ュ一ザが注目してい る対象物 (ゲームを構成する主要要素) の検索を依頼する。
レンダリング処理部 1 3は、 座標 P ( X, y ) の近傍領域の 2 D画像を調べ、 該領域内に対象物の画像の一部又は全部が含まれるか否かを判別し、 この例では 敵機 Bの一部が含まれることを検出する。 そして、 敵機 Bの画面上における基準 座標 B ( x , y ) を抽出し、 かっこれを基にして上記透視変換の逆の処理を行い 、 最終的に 3 D空間における敵機 B 'の基準座標 B ' ( x , y, z ) を抽出する 。 そして、 C PU 1には 2 D画面上の敵機 Bの基準座標 B ( x, y ) と、 3 D空 間における敵機 B 'の Z軸の基準座標 B ' ( z ) とを返送する。 これを受けた C PU 1は、 これらの座標 B ( x , y), B ' ( z ) を画像データ編集部 1 0 Cに 入力する。
第 1 2図において、 パラメ一タ生成部 3 7は入力の 2 D座標 B ( x , y ) に基 づき必要なバラメ一タを生成する。 即ち、 ROM3 8 aの上位アクセス開始アド レス Yb = y— (Ym 'ノ 2)、 及び下位アクセス開始アドレス Xb = x - (Xm ' /2) を夫々求める。 また入力の 3 D座標 B ' ( z ) に基づき 3 D空間における Z軸領域判定のための Z軸上の下限閾値 z , = z —△ z、 及び上限閾値 z 2 == z + Δ ζを夫々求める。 ここで、 ROM 3 8 aのメモリサイス (Xm ' , Ym ' ) 及び Z軸についての所定の奥行パラメータ△ zはパラメータ生成部 3 7におい て既知である。 なお、 奥行パラメータ Δ ζについては C P U 1から提供するよう にしても良レ、。
Ζ判定部 3 5において、 コンパレータ CMP 2 , 3は各画素データ gに対応す る奥行データ zと、 閾値 z ,, z 2 とを比較しており、 Z】 < Z < Z。の時には ANDゲート回路 A 1が満足され、 この時、 後述の ANDゲート回路 A 3 (複数 から成る) を付勢するための付勢信号 E= 1を出力する。
一方、 補正関数生成部 38の出力の選択信号 S Lは、 ANDゲート回路 A 3に おいて上記付勢信号 Eによりゲートされており、 付勢信号 E= 1の時に有意な選 択信号 S Lがデータセレクタ 34に加えられる。 従って、 このセレクタ 34は、 通常は、 フィルタ処理部 3 1 cの出力である最もぼやけた画素データ h を選択 しているが、 X, Y走查アドレスが ROM38 aの読出領域に入っており、 かつ Z判定部 35が所定の Z領域内と判定した画素データについては、 ROM38 a の出力の選択信号 S Lに従い、 2番目にぼやけた画素データ hgb〜原画素データ gの内の何れか一つを選択して出力する。
第 1 3図は第 3の実施の形態における画像データ編集部 1 0Cの動作を示すィ メージ図である。 上記前段において、 ユーザの注視点の座標 P (x, y) に基づ き画面上の敵機 Bの基準座標 B (x, y ) 及び 3 D空間における敵機 B 'の Z座 標 B ' (z) が夫々抽出された。 画像データ編集部 1 0 Cでは、 補正関数生成部 38が入力の 2D座標 B (x, y) に基づき平面領域 Rで示す様な形状の補正関 数 H2 (x, y) を生成する。 この平面領域 Rは、 3 D空間とは透視変換により 関係づけられており、 このため Z軸方向の奥に行けば行く程領域 Rが広がる様な 円錐体 (一定の視野角) の性質を持っている。
一方、 Z判定部 35はこの 3 D空間上に広がる円錐体の領域を敵機 B 'の前後 の Z軸上の閾値 z i, z2 で切断することで、 図示のような空間領域 φを画成し ている。 その結果、 この空間領域 ø内の画像 (敵機 B) は明瞭に (フォーカスの 状態で) 表示され、 またこの空間領域 0外の画像 (敵機 A, C) はぼかして (デ フォーカスの状態で) 表示される。
ところで、 この例では敵機 Aの一部 (ノ一ズ部分) が画面領域 Rの内側に含ま れている。 し力 し、 この部分の各画素データ (g, z ) は、 Z判定部 35におけ る く z < z の条件を満足しないので、 2 D領域 Rの内側に含まれていても 、 デフォ一カスの状態で表示される。
以上のことは、 ュ一ザが実際に 3 D空間の一点 (敵機 Β ' ) を凝視した時の明 視 (フォーカス) 領域と良く一致している。 即ち、 ュ一ザの明視領域は、 一定の 視野角で 3 D空間に広がっており、 かつその奥行きに関しては、 通常 Z l ≤ ζ ≤ ζ 2の範囲の像は明瞭にフォーカスされるが、 ζ < ζ ,及び ζ〉 ζ 2 の範囲の像 については眼がデフォーカスの状態にあり、 ぼやけて見える (感じる) ものであ る。
なお、 上記はュ一ザの注視点の検出座標 Ρ ( X , y ) を利用したが、 ゲームに よっては、 ユーザが画面 7 1上で操作する照準器 (力一ソル等) を標的 (敵機 B ) にロックさせる場合が考えられる。 この場合は、 上記注視点の検出座標 P ( X , y ) を使用する代わりに、 画面上の照準器 (力一ソル等) の座標 C ( x , y ) を使用することが可能である。 この場合は C C Dカメラ 1 1及び注視点検出部 1 2を省略できる。
また、 上記各実施の形態では個人的に使用する通常のゲーム装置への適用例を 述べたが、 本発明はパーソナルコンピュータ等により実現されるゲーム装置ゃァ —ケード等に設置されるゲーム装置にも適用できる。 この場合に、 ゲームとして はカーレ一ス、 シュ一ティングゲーム、 ア ドベンチヤ一ゲーム、 ロールプレーン ゲーム、 その他の様々なゲームに適用できることは言うまでも無い。
また、 上記各実施の形態では表示装置 (T V等も含まれる) への適用例を述べ たが、 本発明はプリンタやファクシミリ等の画像出力装置にも適用できる。 また、 画像デ一タはコンピュータグラフィックによる C G画像データに限らず 、 スキャナや T Vカメラ等で読み取った画像データにも適用できる。
また、 上記本発明に好適なる複数の実施の形態を述べたが、 本発明思想を逸脱 しない範囲内で各部の構成、 制御、 及びこれらの組合せの様々な変更が行えるこ とは言うまでも無レ、:
以上述べた如く本発明によれば、 画像データの X Y読出制御に同期して所望の 位置に生成される関数 H (x, y) の値に従って対応する出力画像データ gの画 像処理をリアルタイムに行う簡単な構成により、 出力画像の内の所望の領域の画 像データを所望に画像処理できる。

Claims

請 求 の 範 囲
1. 画像データを記憶するメモリと、前記画像データに対する出力 XY平面への読出 制御に同期して前記 XYア ドレス空間上の所望の位置に所定の関数 H (X, y) を生 成する関数生成部と、 前記関数 H (x, y) の値に基づき対応するア ドレス空間の出 力画像データに対して前記関数の値に対応する画像処理を行う画像データ処理部と を備えることを特徴とする画像出力装置。
2.画像デ一タは 3次元空間における画像を出力 X Y平面に関して透視変換して得た 画像の画像データであることを特徴とする請求項 1に記載の画像出力装置。
3. 関数 H (x, y) は外部入力による出力 XY平面上の座標 Q (x, y ) を基準と して生成されることを特徴とする請求項 1又は 2に記載の画像出力装置。
4. 座標 Q (x, y) は出力 XY平面に対する人の眼の注視点の検出座標 P (x, y) であることを特徴とする請求項 3に記載の画像出力装置。
5. 座標 Q (x, y) は外部の位置入力手段による指示点の座標 C (x, y) である ことを特徴とする請求項 3に記載の画像出力装置。
6. 座標 Q (x, y) は、 請求項 4に記載の注視点の検出座標 P (x, y) 又は請求 項 5に記載の指示点の座標 C (x, y ) の近傍領域に、 その一部又は全部が含まれる 特定の画像を代表する基準点の座標 M (x, y) であることを特徴とする請求項 3に 記載の画像出力装置。
7.出力画像データはその 3次元空間における Z軸上の深さを表す奥行データを伴う と共に、画像データ処理部は前記奥行データが Z軸上の所定範囲内に含まれることを 条件に前記対応する出力画像データに対して関数の値に対応する画像処理を行うこ とを特徴とする請求項 2に記載の画像出力装置。
PCT/JP1998/005710 1997-12-25 1998-12-17 Dispositif de sortie d'image WO1999034334A1 (fr)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CA002315044A CA2315044A1 (en) 1997-12-25 1998-12-17 Image output apparatus
EP98961386A EP1049048A1 (en) 1997-12-25 1998-12-17 Image output device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP9/358201 1997-12-25
JP35820197A JP3554477B2 (ja) 1997-12-25 1997-12-25 画像編集装置

Publications (1)

Publication Number Publication Date
WO1999034334A1 true WO1999034334A1 (fr) 1999-07-08

Family

ID=18458056

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP1998/005710 WO1999034334A1 (fr) 1997-12-25 1998-12-17 Dispositif de sortie d'image

Country Status (7)

Country Link
EP (1) EP1049048A1 (ja)
JP (1) JP3554477B2 (ja)
KR (1) KR100387634B1 (ja)
CN (1) CN1283292A (ja)
CA (1) CA2315044A1 (ja)
TW (1) TW407237B (ja)
WO (1) WO1999034334A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001079264A (ja) * 1999-09-14 2001-03-27 Atlus Co Ltd ゲーム装置
JP2007258873A (ja) 2006-03-22 2007-10-04 Toshiba Corp 再生装置および再生方法
WO2007125873A1 (ja) 2006-04-24 2007-11-08 Asahi Kasei Emd Corporation 赤外線センサ
JP6007600B2 (ja) * 2012-06-07 2016-10-12 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
JP2014235657A (ja) * 2013-06-04 2014-12-15 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、および情報処理方法
JP2016218341A (ja) * 2015-05-25 2016-12-22 日本放送協会 画像信号生成装置、及び、表示装置
US11096263B2 (en) 2019-04-22 2021-08-17 Beatro Co., Ltd. Method and device for controlling a plurality of wireless lighting devices

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06301794A (ja) * 1993-04-15 1994-10-28 Matsushita Electric Ind Co Ltd 3次元画像生成表示装置
WO1995001609A1 (fr) * 1993-06-30 1995-01-12 Sega Enterprises, Ltd. Procede et dispositif de traitment d'images

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0683977A (ja) * 1992-08-31 1994-03-25 Fujitsu Ltd 描画方式
JP3010913B2 (ja) * 1992-06-18 2000-02-21 富士ゼロックス株式会社 画像編集装置
AU668043B2 (en) * 1993-05-21 1996-04-18 Sega Enterprises, Ltd. Image processing device and method
JPH09265549A (ja) * 1996-03-28 1997-10-07 Hitachi Ltd 画像合成システム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06301794A (ja) * 1993-04-15 1994-10-28 Matsushita Electric Ind Co Ltd 3次元画像生成表示装置
WO1995001609A1 (fr) * 1993-06-30 1995-01-12 Sega Enterprises, Ltd. Procede et dispositif de traitment d'images

Also Published As

Publication number Publication date
EP1049048A1 (en) 2000-11-02
JPH11191161A (ja) 1999-07-13
TW407237B (en) 2000-10-01
KR20010033382A (ko) 2001-04-25
CN1283292A (zh) 2001-02-07
JP3554477B2 (ja) 2004-08-18
KR100387634B1 (ko) 2003-06-18
CA2315044A1 (en) 1999-07-08

Similar Documents

Publication Publication Date Title
US7614954B2 (en) Game image display control program, game device, and recoding medium
US7806767B2 (en) Game system in which a field of view is displayed according to a specific view point position
JP5148660B2 (ja) プログラム、情報記憶媒体及び画像生成システム
EP2394710B1 (en) Image generation system, image generation method, and information storage medium
US20070013718A1 (en) Image processor, image processing method, recording medium, computer program and semiconductor device
JP2000113206A (ja) キャラクター表現方法、記録媒体、画像表示装置、及びビデオゲーム装置
JPH10334275A (ja) 仮想現実方法及び装置並びに記憶媒体
JP3442270B2 (ja) 画像生成装置及び情報記憶媒体
JP2014238731A (ja) 画像処理装置、画像処理システム、および画像処理方法
JP2011258160A (ja) プログラム、情報記憶媒体及び画像生成システム
JP3959354B2 (ja) 画像生成装置、画像生成方法、及び画像生成プログラム
JP2011258159A (ja) プログラム、情報記憶媒体及び画像生成システム
JP6126272B1 (ja) 仮想空間を提供する方法、プログラム及び記録媒体
WO1999034334A1 (fr) Dispositif de sortie d&#39;image
US20190392642A1 (en) Method and system for displaying a virtual object
JP3413129B2 (ja) 画像処理方法及び画像処理装置
JP2004329681A (ja) ゲームシステム及びゲームプログラム
JP2006061717A (ja) ゲーム画像の表示制御プログラム及びゲーム装置並びに記憶媒体
JP2021018575A (ja) 画像処理装置、画像配信システム、および画像処理方法
JPH10334274A (ja) 仮想現実方法及び装置並びに記憶媒体
EP1151771A2 (en) Game system, imaging method in the game system, and computer readable storage medium having game program stored therein
US6697082B1 (en) Program product storing image display program, image display program, image display method, and game system
JP5213913B2 (ja) プログラム及び画像生成システム
JPH0955959A (ja) 画像表示装置
WO2017199848A1 (ja) 仮想空間を提供する方法、プログラム及び記録媒体

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 98812532.3

Country of ref document: CN

AK Designated states

Kind code of ref document: A1

Designated state(s): CA CN DE GB KR MX US

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): AT BE CH CY DE DK ES FI FR GB GR IE IT LU MC NL PT SE

DFPE Request for preliminary examination filed prior to expiration of 19th month from priority date (pct application filed before 20040101)
121 Ep: the epo has been informed by wipo that ep was designated in this application
ENP Entry into the national phase

Ref document number: 2315044

Country of ref document: CA

Ref document number: 2315044

Country of ref document: CA

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 1020007006850

Country of ref document: KR

WWE Wipo information: entry into national phase

Ref document number: 1998961386

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: PA/a/2000/006341

Country of ref document: MX

Ref document number: 09582577

Country of ref document: US

REG Reference to national code

Ref country code: DE

Ref legal event code: 8642

WWP Wipo information: published in national office

Ref document number: 1998961386

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 1020007006850

Country of ref document: KR

WWG Wipo information: grant in national office

Ref document number: 1020007006850

Country of ref document: KR

WWW Wipo information: withdrawn in national office

Ref document number: 1998961386

Country of ref document: EP