WO2014020753A1 - ３次元画像処理装置、３次元画像処理方法及びその記憶媒体 - Google Patents

３次元画像処理装置、３次元画像処理方法及びその記憶媒体 Download PDF

Info

Publication number
WO2014020753A1
WO2014020753A1 PCT/JP2012/069801 JP2012069801W WO2014020753A1 WO 2014020753 A1 WO2014020753 A1 WO 2014020753A1 JP 2012069801 W JP2012069801 W JP 2012069801W WO 2014020753 A1 WO2014020753 A1 WO 2014020753A1
Authority
WO
WIPO (PCT)
Prior art keywords
viewpoint
depth
dimensional
parallax
image
Prior art date
Application number
PCT/JP2012/069801
Other languages
English (en)
French (fr)
Inventor
阪井拓郎
大江真徳
Original Assignee
株式会社セガ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社セガ filed Critical 株式会社セガ
Priority to PCT/JP2012/069801 priority Critical patent/WO2014020753A1/ja
Publication of WO2014020753A1 publication Critical patent/WO2014020753A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189—Recording image signals; Reproducing recorded image signals

Definitions

  • the present invention relates to a three-dimensional image processing apparatus, a three-dimensional image processing method, and a storage medium for generating an image that can be viewed stereoscopically by the parallax effect of the left and right eyes.
  • 3D (Three Dimension) image technology is effective for stereoscopic viewing of images on a 2D screen.
  • the autostereoscopic method using the parallax effect of the left and right eyes does not require special glasses.
  • Such 3D display can give a viewer a sense of reality.
  • a more realistic game can be provided by displaying game content in 3D display.
  • a 3D display of a game machine that displays symbols in a variable manner the symbols are superimposed and displayed on a stereoscopic image (foreground), the depth position of the symbols is changed, and the stereoscopic image is emphasized.
  • a method is proposed in which the object is displayed in 2D at the start, and the object is displayed in 3D in the reach state (see, for example, Patent Document 2). .
  • the first conventional method is a stereoscopic image display as a whole because specific identification information is variably displayed in the depth direction during the stereoscopic image display.
  • specific identification information is variably displayed in the depth direction during the stereoscopic image display.
  • the entire displayed image is switched from the two-dimensional display to the three-dimensional display (stereoscopic display), it is difficult to perform the notification display while utilizing the three-dimensional image.
  • the third prior art since the area of the 3D image and the 2D image is separated on the display screen, there is no sense of unity with the 3D image and the display range is limited.
  • An object of the present invention is to provide a three-dimensional image processing apparatus, a three-dimensional image processing method, and a storage medium that display a notice content superimposed on a three-dimensional image and give a sense of unity between the three-dimensional image and the notice content. is there.
  • Another object of the present invention is to provide a three-dimensional image processing apparatus, a three-dimensional image processing method, and a storage medium that make it easy to see the notice contents for an observer even if the notice contents are displayed superimposed on a three-dimensional image. It is in.
  • the three-dimensional image processing apparatus of the present invention generates a frame image of a display device that displays a stereoscopically visible image in which an object is viewed in front of and behind the reference plane by the parallax effect of the left and right eyes.
  • an image generation unit that creates a left-eye frame image and a right-eye frame image according to a parallax in a depth space according to a parallax adjustment parameter from image data of an object to be stereoscopically viewed, and the left-eye image
  • An image synthesis unit that synthesizes the frame image and the right-eye frame image and generates a stereoscopically viewable two-dimensional frame image by the parallax effect of the left and right eyes, and the image generation unit performs the stereoscopic viewing
  • the notification display is positioned on the reference plane of the depth space by the parallax adjustment parameter
  • the depth Generating a left-eye frame image and the right eye frame images to the by compression or the reference surface is located in front in the depth direction of the depth spatial depth of space.
  • the three-dimensional image processing apparatus of the present invention arranges a first object in a virtual space in which three-dimensional space coordinates are set, and the first viewpoint and the first viewpoint having different coordinate positions in the three-dimensional space coordinates. Two viewpoints are set, the first object is projected onto the first projection plane and the second projection plane from the first viewpoint and the second viewpoint, respectively, and the first and second 2 based on the projection are projected.
  • the image generation unit is located at a position close to at least one of the first and second viewpoints with respect to the first object.
  • the coordinate position of at least one of the viewpoints in the direction in which the interval between the first viewpoint and the second viewpoint becomes narrower Change and Or, changing at least one of the coordinate position in a direction with distance of at least one and one of the coordinate position and the coordinate position of the first object of the first viewpoint and a second viewpoint.
  • the three-dimensional image processing apparatus of the present invention arranges an object in a virtual space in which three-dimensional space coordinates are set, and a first viewpoint and a second viewpoint having different coordinate positions in the three-dimensional space coordinates. Is set, and the object is projected from the first viewpoint and the second viewpoint onto the first projection plane and the second projection plane, respectively, and first and second two-dimensional parallax images are generated by the projection.
  • the image generating unit adjusts the parallax effect between the left and right eyes when the notification image is superimposed on the first and second two-dimensional parallax images.
  • the three-dimensional image processing method of the present invention is a method for generating a frame image of a display device that displays a stereoscopically visible image for visually recognizing an object in front of and behind the reference plane by the parallax effect of the left and right eyes,
  • a notification display superimposed on the object to be stereoscopically viewed
  • the notification display is positioned on the reference plane of the depth space and the depth amount of the depth space is compressed or the reference plane is
  • the first object is arranged in a virtual space in which three-dimensional space coordinates are set, and the first viewpoint and the first viewpoint having different coordinate positions in the three-dimensional space coordinates are arranged. Two viewpoints are set, the first object is projected onto the first projection plane and the second projection plane from the first viewpoint and the second viewpoint, respectively, and the first and second 2 based on the projection are projected.
  • a three-dimensional image processing method for generating a three-dimensional parallax image wherein a second object is arranged at a position close to at least one of the first and second viewpoints with respect to the first object.
  • an interval between the first viewpoint and the second viewpoint is determined based on a parallax parameter that adjusts the parallax effect between the left and right eyes. Narrow Changing the coordinate position of at least one of the viewpoints in the direction, and / or the distance between the coordinate position of at least one of the first viewpoint and the second viewpoint and the coordinate position of the first object Changing at least one of the coordinate positions in the direction of leaving.
  • an object is placed in a virtual space in which three-dimensional space coordinates are set, and a first viewpoint and a second viewpoint that have different coordinate positions in the three-dimensional space coordinates. Is set, and the object is projected from the first viewpoint and the second viewpoint onto the first projection plane and the second projection plane, respectively, and first and second two-dimensional parallax images are generated by the projection.
  • the storage medium of the present invention stores a computer-readable storage medium storing a program for generating a frame image of a display device that displays a stereoscopically visible image for visually recognizing an object in front of and behind the reference plane by the parallax effect of the left and right eyes
  • a first step of creating a left-eye frame image and a right-eye frame image according to a parallax in a depth space according to a parallax adjustment parameter from image data of an object to be stereoscopically viewed, and the left-eye frame image And the right-eye frame image are combined to generate a two-dimensional frame image that can be stereoscopically viewed by the parallax effect of the left and right eyes, and a notification display is displayed superimposed on the object to be stereoscopically viewed
  • the parallax adjustment parameter causes the notification display to be positioned on the reference plane of the depth space and the depth of the depth space.
  • the parallax adjustment parameter for converting the depth amount of the three-dimensional display into the left-right parallax shift amount is changed only when the notification display is displayed, and the structure of the depth space is changed to maintain the three-dimensional display. While maintaining a sense of unity with the three-dimensional display, it is easy to see the notification display. Also, the distance between the viewpoint and the object to be stereoscopically viewed is increased only when a specific display such as notification is performed, or the distance between the viewpoint necessary for generating the image for the left eye and the viewpoint necessary for generating the image for the right eye is made closer. Thus, by performing a three-dimensional display with little parallax, it is possible to make a specific display such as a notice easier to see while maintaining the three-dimensional display.
  • 1 is a block diagram of an image display device to which a three-dimensional image processing device of an embodiment is applied. It is a block diagram of 1st Embodiment of the three-dimensional display monitor of FIG. It is a block diagram of 2nd Embodiment of the three-dimensional display monitor of FIG. It is explanatory drawing (the 1) of the stereoscopic vision by embodiment of this invention. It is explanatory drawing (the 2) of the stereoscopic vision by embodiment of this invention. It is explanatory drawing (the 3) of the stereoscopic vision by embodiment of this invention. It is a block diagram of embodiment of the three-dimensional image processing apparatus of FIG. It is explanatory drawing (the 1) of the shift amount conversion process by the parallax adjustment parameter by embodiment of this invention.
  • Embodiments An image display device to which a three-dimensional image processing device is applied, a three-dimensional image processing device, a first embodiment of notification display processing, a second embodiment of notification display processing, and a notification Although the third embodiment of display processing and other embodiments will be described in this order, the disclosed image display device, three-dimensional image processing device, and notification content are not limited to this embodiment.
  • FIG. 1 is a block diagram of an image display apparatus to which a three-dimensional image processing apparatus is applied.
  • the image display apparatus of FIG. 1 shows a game apparatus as an example.
  • the game apparatus 10 includes a CPU (Central Processing Unit) 100 (control unit, game execution unit), a main storage unit 110, an auxiliary storage unit 120, a BIOS memory 130, a backup memory 135, a peripheral I / F (InterFace ) 140 (peripheral device connection interface means), key chip 145, bus arbiter 150, graphic processor 160 (drawing unit), graphic memory 170, video BIOS memory 175, audio processor 180, and audio memory 190 And a communication I / F (InterFace) 200.
  • CPU Central Processing Unit
  • the game apparatus 10 includes a game medium reader (for example, a disk reader) 15 that can read a game medium (for example, a CD-ROM, a DVD, an external memory) 16 storing a game program via the peripheral I / F 140. Can be connected.
  • a game medium reader for example, a disk reader
  • a game medium for example, a CD-ROM, a DVD, an external memory
  • the CPU 100 includes a CPU (Central Processing Unit), a MPU (Micro Processing Unit), a DSP (Micro Processing Unit), a DSP (Micro Processing Unit), a DSP (Complex Instruction Set Computer), a RISC (Reduced Instruction Set Computer, reduced instruction set computer) system, a MPU (Micro Processing Unit), a DSP ), An ASIC (Application Specific Processor, a processor for a specific application) and the like. Further, the CPU 100 can be provided with functions such as a main storage unit 110, a graphic processor 160, and an audio processor 180, which will be described later.
  • a main storage unit 110 a graphic processor 160, and an audio processor 180, which will be described later.
  • the main memory unit 110 includes a high-speed memory circuit used for main memory such as a RAM (Random Access Memory).
  • the main storage unit 110 includes an OS for causing the game apparatus 10 to function as a computer. Further, the main storage unit 110 loads processes stored in the auxiliary storage unit 120 such as various programs and objects executed by the CPU 100 and stores them. It also stores data related to this process. Each process can access each function of the game apparatus 10 via an OS API (Application Programming Interface).
  • OS API Application Programming Interface
  • the auxiliary storage unit 120 is an auxiliary storage device such as a flash memory disk such as an SSD (Solid State Drive), an HDD (Hard Disk Drive), a magnetic tape device, or an optical disk device.
  • the auxiliary storage unit 120 stores applications and OS programs and data, as will be described later. These programs and data can be stored in the main storage unit 110 by the CPU 100, DMA (Direct Memory Access), or the like.
  • the auxiliary storage unit 120 stores a game program.
  • the BIOS memory 130 is a non-volatile storage medium such as a ROM (Read Only Memory) in which a BIOS (Basic Input Output System) is stored, a NOR flash memory, or an SRAM.
  • the BIOS memory 130 includes a firmware program, a program for realizing various functions of the game apparatus 10, and a memory such as an SRAM that stores settings of these programs.
  • the BIOS of the BIOS memory 130 sets the microcode of the CPU 100 and initializes each part when the game apparatus 10 is started up, and from the partition at the first address in the auxiliary storage unit 120, for example, The instruction is executed.
  • BIOS memory 130 may be stored in a NOR flash memory or the like, and a flash memory or the like for storing the settings of the BIOS memory 130 may be provided separately.
  • the backup memory 135 is a rewritable nonvolatile memory such as an SRAM (Static Random Access Memory) backed up by a battery or an EEPROM.
  • SRAM Static Random Access Memory
  • Peripheral I / F 140 is a unit that provides interfaces such as USB (Universal Serial Bus), IEEE 1394, serial, parallel, infrared, and wireless for connecting to various peripheral devices (peripherals).
  • the peripheral I / F 140 can be connected to peripheral devices necessary for executing a game such as lighting, an IC card reader / writer, a switch, and a coin insertion unit.
  • a force feedback device such as a stick-type controller, a simulated gun, an acceleration detector, a vibration device, a foot / hand-operated switch, a position detector for detecting the position on the screen of the display monitor, a touch pad
  • Various operation input devices such as a touch panel, a keyboard, a pointing device such as a mouse and a trackball, etc. can be connected to the peripheral I / F 140 and used.
  • operation information necessary for the progress of a program such as a game can be input from the operator to the game apparatus 10.
  • the CPU 100 can proceed with the game program using this operation information as a parameter, and can generate and output an image and sound corresponding to the operation information.
  • the key chip 145 described below can be accessed from the peripheral I / F 140 using a secure parallel interface or the like.
  • the key chip 145 is, for example, a detachable IC chip that includes a game ID and key data that can decrypt an image corresponding to the game ID.
  • the key chip 145 is prepared for each type of game and used when executing each application. When a game application executed on the game apparatus 10 is changed, that is, when software is exchanged, the key chip 145 needs to be changed to a key chip 145 corresponding to the game application.
  • the bus arbiter 150 is an integrated circuit that provides a bus interface for connecting each part, such as a so-called “chip set”.
  • the bus speed of each part connected by the bus arbiter 150 may be different, and may be asymmetric in up / down.
  • the CPU 100, the main storage unit 110, and the bus arbiter 150 are connected by a high-speed bus such as FSB (Front Side Bus), and the graphic processor 160 and the bus arbiter 150 are also connected by a broadband bus. Is preferred.
  • a bus interface such as DDR2 / 3 SDRAM or XDR DRAM may be built in the CPU 100 so that the main storage unit 110 can be directly read and written.
  • the bus arbiter 150 can be directly connected to the main storage unit 110 using a secure encrypted bus between the peripheral I / F 140, the key chip 145, and the game media reader 15. By configuring such that data read from and written to the main storage unit 110 using this secure bus can be accessed only by a special privilege mode or the like of the CPU 100, security can be further improved.
  • the graphic processor 160 is a graphic processor having a function of drawing a three-dimensional CG, as will be described later.
  • the graphic processor 160 includes a geometry unit 162 that calculates polygon geometry (coordinates) and a rendering unit 164 that rasterizes / renders (renders) the polygon for which the geometry calculation has been performed.
  • the graphic processor 160 includes a RAMDAC (RAM D / A converter), an HDMI interface, and the like in order to output a drawn image to a display device such as a display monitor or a projector.
  • RAMDAC RAM D / A converter
  • HDMI interface HDMI interface
  • the geometry unit 162 is a part for obtaining coordinates of the polygon in the two-dimensional space by performing affine transformation or the like by rotating or enlarging the matrix with respect to the coordinates (world coordinates) of the polygon in the three-dimensional space.
  • the geometry unit 162 can also include a “geometry shader” (or a vertex shader) that performs tessellation such as polygon division and spline interpolation.
  • the rendering unit 164 is a part that pastes image data called texture on the coordinate-calculated polygon and draws it in the graphic memory 170 with various effects. As these various effects, calculation of light spot / shadow (shading), expression of light and darkness, translucency, blur, fog, blur, HDR (high dynamic range composition), etc. are performed using a programmable shader or the like. it can.
  • the types of polygons rendered by the rendering unit 164 include point polygons (points), line polygons (line lists), surface polygons such as triangles and quadrangles, and surface polygon aggregates.
  • an object defined by a region such as a circle, an ellipse, a sphere, or a metaball can be rendered.
  • the geometry unit 162 can be configured to be processed by the CPU 100.
  • the coordinates of polygons created by the CPU 100 executing the program stored in the main storage unit 110 are transferred to the graphic memory 170.
  • the rendering unit 164 draws the polygon according to the polygon coordinates.
  • the graphic memory 170 is a storage medium that can be read and written at high speed for the graphic processor 160 to draw.
  • a broadband memory such as GDDR (Graphics Double Data Rate (graphics double data rate)
  • GDDR Graphics Double Data Rate (graphics double data rate)
  • a configuration in which a graphic memory is built in the graphic processor 160 as in the case of a system LSI is also possible.
  • the video BIOS memory 175 is a flash memory or the like in which a BIOS for the graphic processor 160 is stored.
  • the CPU 100 updates the video BIOS memory 175 with a patch, so that the function and display quality of the graphic processor 160 can be improved and inconvenience (bug) on display can be corrected.
  • the audio processor 180 is a DSP (digital signal processor) provided with a PCM (Wave) sound source for outputting music, voice, and sound effects.
  • the audio processor 180 can calculate physical sound sources, FM sound sources, and the like, and can also calculate various sound effects such as reverberation and reflection.
  • the output of the audio processor 180 is D / A (digital / analog) converted, connected to a digital amplifier or the like, and reproduced as music, voice, or sound effect through a speaker.
  • the audio processor 180 can also handle voice recognition of voice input from a microphone.
  • the audio memory 190 is a storage medium that stores digitally converted data for music, voice, and sound effects.
  • the audio processor 180 and the audio memory 190 may be integrally configured.
  • the communication I / F 200 is an interface (wired / wireless LAN, telephone line, mobile phone network, PHS network, power line network, IEEE 1394, etc.) for connecting to the network 5.
  • the game apparatus 10 can download an application, an OS, a patch, and the like from the communication I / F 200 via the network 5 from a master server (not shown).
  • applications, OSs, patches, and the like can be provided to other game devices.
  • the game device 10 and a game device client (not shown), or between the game device clients a battle game by a plurality of players (a game in which competition such as a battle is performed; the same applies hereinafter).
  • a joint game (a game in which problems are solved in cooperation. The same applies hereinafter).
  • a plurality of game apparatuses 10 and game apparatus clients are communicably connected to each other so that game scores (scores, scores, etc., hereinafter referred to as scores) can be tabulated and other play facilities can be connected via the main server. It is possible to play a battle game with the arranged game devices and to add up the rankings.
  • FIG. 2 is a configuration diagram of a first embodiment of a three-dimensional display monitor connected to the game apparatus 10 of FIG.
  • FIG. 2 is an explanatory diagram of the parallax barrier system according to the first embodiment of the naked-eye three-dimensional display system.
  • the display monitor 20 is composed of a color liquid crystal display panel.
  • an organic EL (Electro Luminescence) panel or a plasma display panel can be used.
  • a parallax barrier 22 is provided on the front surface (observer side) of the display monitor 20.
  • the parallax barrier 22 has a thin slit-shaped opening.
  • the left and right images are arranged in stripes with an appropriate gap on the back side of the opening.
  • a stereoscopic image can be observed with the naked eye by looking through the opening from a specific viewpoint EL or ER.
  • the parallax barrier 22 is provided with a parallax barrier (slit) corresponding to the subpixel 20-2. As shown in FIG. 2, as indicated by the line of sight from the left eye EL and right eye ER, one pixel of each image of the left eye EL and right eye ER is actually expressed across two pixels.
  • FIG. 3 is a configuration diagram of a second embodiment of a three-dimensional display monitor connected to the game apparatus 10 of FIG.
  • FIG. 3 is an explanatory diagram of the lenticular method according to the second embodiment of the naked-eye three-dimensional display method.
  • the display monitor 20 is composed of a color liquid crystal display panel.
  • an organic EL (Electro Luminescence) panel or a plasma display panel can be used.
  • a lenticular lens 24 having a semi-cylindrical shape is provided on the front surface (observer side) of the display monitor 20.
  • the left and right images are arranged in stripes on the display monitor 20 with an appropriate gap.
  • the lens 24 has directivity and functions as a prism that changes the position where the line of sight reaches. Thereby, the stripe image is separated and enters the left eye EL and the right eye ER, and can be stereoscopically viewed with the naked eye.
  • FIGS. 4A, 5A, and 6A are explanatory diagrams of stereoscopic viewing.
  • the vertical direction of one screen (display surface) 20A is the Y axis
  • the horizontal direction is the X axis
  • the depth direction is the Z axis.
  • FIGS. 5A and 5B when the left and right image points A are displayed at the same position on the display surface 20A, they appear on the display surface 20A.
  • FIG. 6 (B) the image point A on the display surface 20A is changed to the left image point AL and the right image point AR in the opposite direction to FIGS. 4 (A) and 4 (B).
  • an image is formed at a position A ⁇ '' as a stereoscopic view, and appears to protrude from the display surface (panel surface) 20A.
  • stereoscopic viewing is possible by creating a frame image in which the position of each pixel of the frame screen data displayed on one screen is shifted on the display surface. For this reason, as will be described later, a left-eye frame image and a right-eye frame image are created, and both are combined to create a stereoscopic frame image. By displaying this on the display, it is possible to observe stereoscopic vision using left and right parallax.
  • FIG. 7 is a block diagram of an embodiment of the three-dimensional image processing apparatus of the present invention. 8 to 10 are explanatory diagrams of the shift amount conversion process using the parallax adjustment parameter having the configuration shown in FIG.
  • FIG. 7 shows a main part of the image processing apparatus in the image display apparatus of FIG. That is, FIG. 7 shows the CPU 100 and the graphic processor 160 of the image display apparatus of FIG.
  • the CPU 100 executes a game process 300 and a left and right image synthesis process 302.
  • the game process 300 is a process for changing the game screen in accordance with the operation of the player. That is, the game processing 300 of the CPU 100 calculates polygon data of an image to be displayed in accordance with operation information input from the operation input device, and the polygon data of the image is converted into a geometry unit 162 of the graphic processor 160 (see FIG. 1). ).
  • the graphic processor 160 includes the geometry unit 162 (see FIG. 1) and the rendering unit 164.
  • the rendering unit 164 executes a rendering process 310 and a left / right image generation process 312.
  • the geometry unit 162 obtains the coordinates of the polygon in the two-dimensional space by performing affine transformation or the like by rotating or enlarging the matrix with respect to the coordinates (world coordinates) of the polygon in the three-dimensional space.
  • the rendering processing 310 of the rendering unit 164 pastes image data called texture on the coordinate-calculated polygon, and creates a frame image in units of pixels and the Z depth for each pixel (the Z axis (depth direction) in FIGS. 4 to 6). Position).
  • the left and right image generation process 312 of the rendering unit 164 receives a frame image in units of pixels and a Z depth for each pixel from the rendering process 310 and also receives a parallax adjustment parameter from the game process 300.
  • the left and right image generation processing 312 converts the Z depth for each pixel into a parallax amount according to the parallax adjustment parameter, as described with reference to FIGS. 8 to 10. Then, the left and right image generation processing 312 creates left and right images LF and RF from the frame image based on the converted parallax amount, and draws them in the graphic memory 170 of FIG.
  • the left and right image combining process 302 of the CPU 100 combines the left and right images LF and RF of the graphic memory 170 to create one frame image and writes it into the graphic memory 170.
  • the composite image data in the graphic memory 170 is output to the display monitor 20.
  • FIGS. 8A, 9A, and 10A show the positions of the points X, Y, and Z on the X axis and the Z axis in the three-dimensional space.
  • Points X, Y, and Z may be considered pixels.
  • the X-axis is the left-right direction of the display 20A
  • a 3D display image and a notification image are created using such parallax adjustment parameters.
  • FIGS. 11 to 14 show display examples in the three-dimensional display space according to the first embodiment of this invention.
  • the X axis is the left-right direction of the display 20A
  • the Z axis is the depth direction described with reference to FIGS. 4 to 6 and FIGS.
  • a is the origin (most recent position) in the depth direction
  • b is zero parallax (the position of Dfocus in FIGS. 8 to 10)
  • c is the farthest position in the depth direction. That is, the stereoscopic depth is from position a to position c.
  • FIG. 11 shows the positions of the objects A and B in the XZ virtual space when the left and right eyes EL and ER are stereoscopically viewed from the object A and the object B. That is, the left and right eyes EL and ER observe an image in which the front end of the object B protrudes, the front end of the object A protrudes, and the rear end retracts deeply.
  • This 3D image displays a notice display with characters. Since the notice display is a character or the like, it is not necessary to display three-dimensionally and is a two-dimensional image without parallax.
  • a three-dimensional image as shown in FIG. 12 can be observed. That is, the notice display C is observed so as to be at the position b of zero parallax in the virtual space. For this reason, the objects A and B with parallax appear to jump out of the notification display C, or the notification display C appears to be embedded in the objects A and B. Accordingly, it becomes difficult to see what the user wants to see like the notice display C.
  • the depth of stereoscopic vision is compressed as shown in FIG. That is, as shown in FIG. 14, the distance between the origin (nearest position) a in the depth direction and the farthest position c in the depth direction is controlled to be short.
  • the notification display C is arranged at the position b of zero parallax in the virtual space, the objects A and B with parallax are compressed in the depth direction. Accordingly, the pop-out amounts of the objects A and B are reduced, and the extent that the notification display C appears to be embedded in the objects A and B becomes inconspicuous. Therefore, it is easy to see what the user wants to see like the notice display C.
  • FIG. 13A shows an example in which the objects Z, Y, and X are located in the depth direction from the depth origin a in the three-dimensional XZ space.
  • the constant E of the parallax adjustment parameter expression (1) is set large, the converted shift amount w is also small as described with reference to FIGS. This means that the z depth described in FIGS. 8 to 10 is reduced.
  • FIG. 13B shows the amount of depth that appears behind the display surface 20A and the amount that appears to pop out toward the front are reduced. Therefore, even if the notification display C is arranged so as to be at the position b of zero parallax in the virtual space, the objects A and B (Z, Y, X) with parallax are compressed in the depth direction.
  • the constant E is set so as to display three-dimensionally in the state of FIG. 13A. However, only when the notification is displayed, the constant E is increased as shown in FIGS. 13B and 14. Compress the three-dimensional object with a relatively small shift amount.
  • the X axis is the horizontal direction of the display 20A
  • the Z axis is the depth direction described with reference to FIGS. 4 to 6 and FIGS.
  • a is the origin (most recent position) in the depth direction
  • b is zero parallax (the position of Dfocus in FIGS. 8 to 10)
  • c is the farthest position in the depth direction. That is, the stereoscopic depth is from position a to position c.
  • FIG. 16 also shows the positions of the objects A and B in the XZ virtual space when the object A and the object B are stereoscopically viewed by the left and right eyes EL and ER, as in FIG. That is, the left and right eyes EL and ER are observing an image in which the tip of the object B protrudes and the rear end retracts back, and the front end of the object A protrudes and the rear end retracts back.
  • the notification display C is arranged so as to be at the position b where the parallax is zero in the virtual space, the amount of popping out of the objects A and B with parallax is small, and the notification display C is changed to the objects A and B.
  • the amount of indentation can be reduced, making it less noticeable. Therefore, it is easy to see what the user wants to see like the notice display C.
  • the depth adjustment processing by the left and right image creation processing 312 will be described with reference to FIG.
  • the zero-parallax position b in FIG. 13A is shifted to the zero-parallax position b (Dfocus) shown in FIG.
  • FIG. 15A also shows an example in which the objects Z, Y, and X are located in the depth direction from the depth origin a in the three-dimensional XZ space, as in FIG. 13A.
  • the focus position Dfocus of zero parallax in the parallax adjustment parameter equation (1) is set small, the z depth apparently increases. For this reason, as shown in FIG. 15B, the amount that appears to pop out from the display surface 20A is reduced. Therefore, even if the notification display C is arranged so that it is at the position b of zero parallax in the virtual space, the objects Y and X with parallax can be seen in the back.
  • the focus position Dfocus is set so as to display three-dimensionally in the state of FIG. 13A, but this focus position Dfocus is reduced only when notification is displayed, and FIGS. As described above, the pop-out amount is relatively reduced to make the notice display C easy to see.
  • FIG. 17 is a game processing flowchart including the parallax adjustment processing according to the third embodiment of this invention.
  • 18 to 22 are explanatory diagrams of the parallax adjustment processing in the game processing according to the third embodiment of this invention.
  • 18A and 18B show the display state of the three-dimensional image before the notification display
  • FIGS. 19A and 19B show the three-dimensional image that is displayed without parallax adjustment.
  • FIG. 20A and FIG. 20B show the display state of a three-dimensional image in which notification display is performed by parallax adjustment.
  • FIG. 21 is a front view of a three-dimensional image on which notification display is performed by parallax adjustment
  • FIG. 22 is an explanatory diagram of a display screen on the actual game screen in FIG.
  • the X axis is the horizontal direction of the display 20A.
  • the Y axis is the horizontal direction of the display 20A
  • the Z axis is the depth direction described with reference to FIGS. 4 to 6 and FIGS. B indicates zero parallax (the position of Dfocus in FIGS. 8 to 10).
  • FIG. 22 The game process of FIG. 18 will be described with reference to FIGS. Note that, as shown in FIG. 22, for example, a game by this game processing is performed with a simulated gun when the enemy (Fuka) A1, B1 attacks on the display (screen) 20 from the start to the goal. It is a game to defeat the enemy.
  • the notification display is “Continue” after the end of one game. (Whether or not to continue the game) and the arrival position display C2 from the start to the goal.
  • the text “CONTINUE” is attached to the texture of the horizontally long plate.
  • the CPU 100 starts the game process 300 in response to pressing of the start button.
  • the game processing as shown in the three-dimensional space of FIG. 18A, an image that can be viewed stereoscopically so that the object (sphere) A1 can be seen across the front and back of the display 20A and the object (cube) B1 can be seen in the back. Is displayed.
  • the object (sphere) A1 is located across the front and back of the display 20A, and the object (cube) B1 is in a position at which the object (cube) B1 can be seen.
  • the CPU 100 sends polygon data to the rendering unit 164, and sends parallax adjustment parameters of default values (values for performing normal three-dimensional display) to the left and right image generation processing unit 312.
  • the CPU 100 determines that one game has been completed, it performs notification display processing. That is, the CPU 100 sends the notification display image data and the changed parallax adjustment parameter to the rendering unit 164.
  • the object (sphere) A1 can be stereoscopically viewed in front of the display 20A of FIG. 18A and the object (cube) B1 can be seen in the back.
  • the notice sentence (here, the characters “CONTINUE”) C1 is two-dimensionally displayed on the surface of the display 20A. That is, as shown in FIG. 19B, a notice sentence (here, CONTINUE) C1 is embedded in the object (sphere) A1 across the front and back of the display 20A and is displayed two-dimensionally on the display 20A surface. Can see the object (cube) B1.
  • the focus position Dfocus is small, for example, zero.
  • the notification sentence (here, CONTINUE) C1 is two-dimensionally displayed on the surface of the display 20A positioned in front of the object A1, as shown in the three-dimensional space of FIG. That is, as shown in FIG. 20B, the notice sentence C1 is visible on the display 20A, the object (sphere) A1 is visible behind it, and the object (cube) B1 is visible behind it.
  • the observer can stereoscopically view the objects A1 and B1 in the back of the announcement (CONTINUE). For example, on the actual game screen, as shown in FIG. 22, the observer (player) is Continue? In the back of the notification display such as the arrival position display C2 from the start to the goal (whether the game is continued), the image of the enemy (Fuka) A1, B1 attacking in the sea from the start to the goal can be viewed stereoscopically.
  • step S18 On the other hand, if the CPU 100 determines that the player has pressed the Continue button of the game apparatus of FIG. 1, the parallax adjustment parameter is returned to the default value, and the game process of step S12 is resumed.
  • the parallax adjustment parameter for converting the z depth into the shift amount is changed only when the notice is displayed, and the structure of the depth space is changed to maintain the three-dimensional display, It is easy to see the notice display while maintaining a sense of unity. For this reason, the fatigue of the eyes of the three-dimensional display observer can be reduced and the notification display desired to be displayed can be easily seen. For example, in a game device, even in a three-dimensional display game, it is possible to prevent the player from having a poor physical condition and prompt the player to try again.
  • left and right frame images are generated by converting depth data into a parallax amount as stereoscopic image generation.
  • a stereoscopic camera method that changes the viewpoint position and generates left and right frame images can also be applied. That is, the viewpoint position is set to two for the left eye and the right eye for the polygon data constituting the object, and the left eye frame image and the left eye frame image viewed from the two viewpoint positions are generated.
  • the parallax adjustment parameters are two viewpoint positions. By changing the two viewpoint positions with respect to the object, or by changing the distance (interval) between the left and right viewpoints, an image with a large difference between the left and right parallaxes or a small image can be displayed. Can be generated. For this reason, the change operation
  • the parallax adjustment parameter is the distance between the viewpoint and the object.
  • the notification display at this time may be a first method in which a two-dimensional image for notification display is displayed on the left and right frame images generated according to the left and right viewpoint positions.
  • the sense of depth for other objects is determined by how much the two-dimensional image for notification display having the parallax on the left and right is superimposed on the left and right frame images.
  • the CPU 100 determines that the notification display is performed as the program progresses, the distance between the left and right viewpoints described above is set short or the distance between the viewpoint and the object is increased. As a result, the object can be seen in the depth direction with respect to the screen than before the notification display is performed, so that the notification display is easy to see while maintaining the stereoscopic view.
  • a method of arranging an object for notification display in a virtual space in which the same three-dimensional space coordinates as the object for stereoscopic display are set can be considered. In this case, it is necessary to calculate the coordinate position closer to the viewpoint than the stereoscopic display object and place the notification display object there so that the notification display object is not hidden by the stereoscopic display object. There is.
  • the parallax of the notification display object may be too large to be recognized as a three-dimensional object.
  • the calculated coordinate position and the viewpoint where the notification display object is arranged are rearranged at a position in the depth direction far from the viewpoint by the difference between the distance and a certain (predetermined) distance or a distance greater than the difference.
  • the notification display object can be arranged at an easily viewable position.
  • step S14 parallax adjustment
  • step S12 game processing
  • the block diagram of the hardware in these embodiments is the same as that of the image display device of FIG. 1, but the CPU 100 of FIG. 7 converts the polygon data viewed from the left and right viewpoints into the respective viewpoint coordinate systems and converts them into graphic processors 160. Therefore, the graphic processor 160 does not need the parallax adjustment parameter, and only performs the rendering process based on the polygon data transferred from the CPU 100.
  • the function of geometry conversion may be in the graphic processor 160 as shown in FIG.
  • the parallax adjustment parameters are output from the CPU 100 to the graphic processor 160, and the left and right viewpoint positions and object positions are determined based on the parallax adjustment parameters in the graphic processor 160. And make adjustments.
  • the game process has been described as an example, but the present invention can also be applied to an apparatus that converts a two-dimensional image into a three-dimensional image in normal image display.
  • the notice display can use a telop or the like.
  • the notification display is “Insert Coin”, “Game Over”, “Push * (* is a predetermined button name) Button”, etc.
  • a cursor display, lock-on, a marker indicating the target, or the like may be used.
  • the three-dimensional display monitor of FIG. 1 is not limited to the autostereoscopic system such as the parallax barrier 22 of FIG. 2 or the lenticular lens 24 of FIG. 3, but a display using 3D glasses such as a shutter system or a deflection filter system.
  • a display using 3D glasses such as a shutter system or a deflection filter system.
  • the left and right image composition when using shutter-type 3D glasses is not the composition of the left and right images in one frame in the left and right image composition processing 302 of FIG. 7, but the left and right images are alternately output in units of frames. In synchronization with this output, the left and right shutters on the glasses side are controlled to open and close.
  • the left shutter of the 3D glasses is closed and the right shutter is opened so that only the right eye sees the right-eye image, and when the left-eye image is output
  • the image can be recognized three-dimensionally.
  • the left and right image synthesis processing 302 does not synthesize the images but outputs the right eye side image and the left eye side image respectively, and the display monitor, for example, the right eye side image and the left eye side image is output. Images are output from separate projectors and combined on the screen.
  • a horizontal deflection (or 45 degree deflection) filter is provided on the optical path of the image output from the right-eye projector (near the projector lens), and the optical path of the image output from the left-eye projector (projector lens).
  • a vertical deflection (or 135 degree deflection) filter is provided, and a deflection filter in a different direction is provided.
  • the right-eye image and the left-eye image can be seen only by the right-eye and the left-eye by providing the same deflection filters as the right-eye and left-eye projectors on the right-eye side and the left-eye side, respectively.
  • the image can be recognized three-dimensionally.
  • the structure of the depth space is changed by changing the parallax adjustment parameter for converting the depth amount of the three-dimensional display into the left-right parallax shift amount or the distance between the viewpoint and the three-dimensional display object only when the notification display is displayed.
  • the parallax adjustment parameter for converting the depth amount of the three-dimensional display into the left-right parallax shift amount or the distance between the viewpoint and the three-dimensional display object only when the notification display is displayed.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

　左右眼の視差作用によって基準面の手前及び奥に物体を視認する立体視可能な画像を表示する表示装置（２０）のフレーム画像を生成する３次元画像処理装置は、立体視すべきオブジェクトの画像データから、視差パラメータに応じた奥行き空間の視差に応じた左目用フレーム画像と右目用フレーム画像を作成する画像生成部（３１２）と、左目用フレーム画像と右目用フレーム画像とを合成して、立体視可能な２次元フレーム画像を生成する画像合成部（３０２）とを有する。画像生成部（３１２）は、立体視すべき物体に重畳して告知表示する際に、視差パラメータにより、基準面に前記告知表示が位置し、且つ奥行き空間の奥行き量を圧縮又は基準面を奥行き空間の奥行き方向の手前に位置する左目用フレーム画像と右目用フレーム画像を作成する。裸眼立体視画像の生成において、告知表示が見易くなる。

Description

３次元画像処理装置、３次元画像処理方法及びその記憶媒体
　本発明は、左右の目の視差作用により立体視できる画像を生成するための３次元画像処理装置、３次元画像処理方法及び記憶媒体に関する。
　３次元（３Ｄ：Three　Dimension）画像技術は、２次元画面で画像を立体視できることに有効である。特に、左右の目の視差作用を利用する裸眼立体視方法は、特殊なメガネを必要としない。このような３Ｄ表示は、見る人により現実感を与えることができる。例えば、ゲーム装置においては、３Ｄ表示でゲーム内容を表示することにより、より現実感のあるゲームを提供できる。
　この３Ｄ表示において、立体像の他に何らかの文字、画像を表示することは、種々の用途に有効である。例えば、従来の第１の方法では、図柄を変動表示する遊戯機の３Ｄ表示において、立体像（前景）に図柄を重畳して表示し、図柄の奥行き位置を変更し、立体像を強調する方法が提案されている（例えば、特許文献１参照）。又、従来の第２の方法では、変動表示ゲーム機において、開始時には、対象物を２Ｄ表示し、リーチ状態では、対象物を３Ｄ表示する方法が提案されている（例えば、特許文献２参照）。更に、従来の第３の方法では、立体像（３Ｄ）画面と別に２Ｄ（二次元）画面を設け、２次元画面に３次元画面の立体像と関連する情報を表示する方法が提案されている（例えば、特許文献３参照）。
日本特許公開２００４－２８７０５７号公報 日本特許公開２００６－３０５３８５号公報 日本特許公開２０１０－１６２２８７号公報
　一方、立体像の表示とともに、注目させる告知表示を表示させる場合が生じる。しかしながら、従来の第１の方法は、立体像表示中に特定の識別情報を奥行き方向に変動表示するため、全体として立体像表示である。観察者が立体像を長時間視認していると、人間の目が疲れ、場合によっては、体調不良が生じる。第１の従来技術では、視認性が悪く、観察しにくい。
　又、第２の従来技術では、表示している画像全体を２次元表示から３次元表示（立体視表示）に切り替えるため、３次元画像を活かしたまま、告知表示を行うことが難しい。更に、第３の従来技術では、表示画面上で３次元画像と２次元画像の領域を別けるため、３次元画像との一体感がなく、且つ表示範囲も制限される。
　本発明の目的は、告知内容を３次元画像に重畳して表示し、３次元画像と告知内容との一体感を与える３次元画像処理装置、３次元画像処理方法及び記憶媒体を提供することにある。
　本発明の他の目的は、３次元画像に告知内容を重畳して表示しても、観察者に告知内容を見易く表示する３次元画像処理装置、３次元画像処理方法及び記憶媒体を提供することにある。
　この目的の達成のため、本発明の３次元画像処理装置は、左右眼の視差作用によって基準面の手前及び奥に物体を視認する立体視可能な画像を表示する表示装置のフレーム画像を生成する３次元画像処理装置において、立体視すべきオブジェクトの画像データから、視差調整パラメータに応じた奥行き空間の視差に応じた左目用フレーム画像と右目用フレーム画像を作成する画像生成部と、前記左目用フレーム画像と前記右目用フレーム画像とを合成して、前記左右眼の視差作用によって立体視可能な２次元フレーム画像を生成する画像合成部とを有し、前記画像生成部は、前記立体視すべき物体に重畳して告知表示を表示する際に、前記視差調整パラメータにより、前記奥行き空間の前記基準面に前記告知表示を位置させ、且つ前記奥行き空間の奥行き量を圧縮させ又は前記基準面を前記奥行き空間の奥行き方向の手前に位置させる左目用フレーム画像と右目用フレーム画像を生成する。
　又、本発明の３次元画像処理装置は、３次元空間座標が設定された仮想空間内に第１のオブジェクトを配置し、前記３次元空間座標での座標位置が互いに異なる第１の視点と第２の視点を設定し、該第１の視点と第２の視点からそれぞれ第１の投影面と第２の投影面に前記第１のオブジェクトを投影し、該投影による第１および第２の２次元の視差画像を生成する画像生成部を有する３次元画像処理装置において、前記画像生成部は、前記第１のオブジェクトに対して前記第１または第２の視点の少なくとも何れか一方に近い位置に第２のオブジェクトを配置する際に、左右眼の視差作用を調整する視差パラメータに基づいて、前記第１の視点と第２の視点の間隔が狭くなる方向に少なくとも何れか一方の視点の座標位置を変更する、及び／又は、前記第１の視点と第２の視点の少なくとも何れか一方の座標位置と前記第１のオブジェクトの座標位置との距離が離れる方向に少なくとも何れか一方の前記座標位置を変更する。
　更に、本発明の３次元画像処理装置は、３次元空間座標が設定された仮想空間内にオブジェクトを配置し、前記３次元空間座標での座標位置が互いに異なる第１の視点と第２の視点を設定し、該第１の視点と第２の視点からそれぞれ第１の投影面と第２の投影面に前記オブジェクトを投影し、該投影による第１および第２の２次元の視差画像を生成する画像生成部を有する３次元画像処理装置において、前記画像生成部は、前記第１および第２の二次元の視差画像に告知画像を重畳する際に、左右眼の視差作用を調整する視差パラメータに基づいて、前記第１の視点と第２の視点の間隔が狭くなる方向に少なくとも何れか一方の視点の座標位置を変更する、及び／又は、前記第１の視点と第２の視点の少なくとも何れか一方の座標位置と前記オブジェクトの座標位置との距離が離れる方向に少なくとも何れか一方の前記座標位置を変更する。
　又、本発明の３次元画像処理方法は、左右眼の視差作用によって基準面の手前及び奥に物体を視認する立体視可能な画像を表示する表示装置のフレーム画像を生成する方法であって、立体視すべきオブジェクトの画像データから、視差調整パラメータに応じた奥行き空間の視差に応じた左目用フレーム画像と右目用フレーム画像を作成する第１のステップと、前記左目用フレーム画像と前記右目用フレーム画像とを合成して、前記左右眼の視差作用によって立体視可能な２次元フレーム画像を生成する第２のステップと、前記立体視すべき物体に重畳して告知表示を標示する際に、前記視差調整パラメータにより、前記奥行き空間の前記基準面に前記告知表示を位置させ、且つ前記奥行き空間の奥行き量を圧縮させ又は前記基準面を前記奥行き空間の奥行き方向の手前に位置させる左目用フレーム画像と右目用フレーム画像を生成する第３のステップとを有する。
　更に、本発明の３次元画像処理方法は、３次元空間座標が設定された仮想空間内に第１のオブジェクトを配置し、前記３次元空間座標での座標位置が互いに異なる第１の視点と第２の視点を設定し、該第１の視点と第２の視点からそれぞれ第１の投影面と第２の投影面に前記第１のオブジェクトを投影し、該投影による第１および第２の２次元の視差画像を生成する３次元画像処理方法であって、前記第１のオブジェクトに対して前記第１または第２の視点の少なくとも何れか一方に近い位置に第２のオブジェクトを配置するか否か判断するステップと、前記判断するステップにより前記第２のオブジェクトを配置すると判断した場合、左右眼の視差作用を調整する視差パラメータに基づいて、前記第１の視点と第２の視点の間隔が狭くなる方向に少なくとも何れか一方の視点の座標位置を変更する、及び／又は、前記第１の視点と第２の視点の少なくとも何れか一方の座標位置と前記第１のオブジェクトの座標位置との距離が離れる方向に少なくとも何れか一方の前記座標位置を変更するステップとを有する。
　更に、本発明の３次元画像処理方法は、３次元空間座標が設定された仮想空間内にオブジェクトを配置し、前記３次元空間座標での座標位置が互いに異なる第１の視点と第２の視点を設定し、該第１の視点と第２の視点からそれぞれ第１の投影面と第２の投影面に前記オブジェクトを投影し、該投影による第１および第２の２次元の視差画像を生成する３次元画像処理方法であって、前記第１および第２の二次元の視差画像に告知画像を重畳するか否か判断するステップと、前記判断するステップにより前記告知画像を重畳すると判断した場合、左右眼の視差作用を調整する視差パラメータに基づいて、前記第１の視点と第２の視点の間隔が狭くなる方向に少なくとも何れか一方の視点の座標位置を変更する、及び／又は、前記第１の視点と第２の視点の少なくとも何れか一方の座標位置と前記オブジェクトの座標位置との距離が離れる方向に少なくとも何れか一方の前記座標位置を変更するステップとを有する。
　本発明の記憶媒体は、左右眼の視差作用によって基準面の手前及び奥に物体を視認する立体視可能な画像を表示する表示装置のフレーム画像を生成するプログラムを格納したコンピュータ読み取り可能な記憶媒体であって、立体視すべきオブジェクトの画像データから、視差調整パラメータに応じた奥行き空間の視差に応じた左目用フレーム画像と右目用フレーム画像を作成する第１のステップと、前記左目用フレーム画像と前記右目用フレーム画像とを合成して、前記左右眼の視差作用によって立体視可能な２次元フレーム画像を生成する第２のステップと、前記立体視すべき物体に重畳して告知表示を表示する際に、前記視差調整パラメータにより、前記奥行き空間の前記基準面に前記告知表示を位置させ、且つ前記奥行き空間の奥行き量を圧縮し又は前記基準面を前記奥行き空間の奥行き方向の手前に位置させる左目用フレーム画像と右目用フレーム画像を生成する第３のステップとをコンピュータに実行させるプログラムを格納した。
　３次元表示の奥行き量を左右視差ずらし量に変換するための視差調整パラメータを、告知表示を表示する時だけ変更して、奥行き空間の構造を変更することにより、３次元表示を維持し、３次元表示との一体感を保ちつつ、告知表示を見やすくできる。又、告知等の特定の表示をする時のみ、視点と立体視すべきオブジェクトの距離を離す又は左目用の画像生成に必要な視点と右目用の画像生成に必要な視点との距離を近づける等して、視差の少ない３次元表示を行うことで、３次元表示を維持したまま告知等の特定の表示を見やすくすることができる。
実施の形態の３次元画像処理装置を適用した画像表示装置のブロック図である。 図１の３次元ディスプレイモニターの第１の実施の形態の構成図である。 図１の３次元ディスプレイモニターの第２の実施の形態の構成図である。 本発明の実施の形態による立体視の説明図（その１）である。 本発明の実施の形態による立体視の説明図（その２）である。 本発明の実施の形態による立体視の説明図（その３）である。 図１の３次元画像処理装置の実施の形態のブロック図である。 本発明の実施の形態による視差調整パラメータによるずらし量変換処理の説明図（その１）である。 本発明の実施の形態による視差調整パラメータによるずらし量変換処理の説明図（その２）である。 本発明の実施の形態による視差調整パラメータによるずらし量変換処理の説明図（その３）である。 本発明の告知表示処理の説明のための３次元画像空間の説明図である。 本発明の告知表示処理の説明のための３次元画像空間での告知表示の説明図である。 本発明の第１の実施の形態の３次元空間における告知表示処理の説明図である。 図１３の第１の実施の形態による３次元空間における告知表示例の説明図である。 本発明の第２の実施の形態の３次元空間における告知表示処理の説明図である。 図１５の第２の実施の形態による３次元空間における告知表示例の説明図である。 本発明の第３の実施の形態の３次元空間における告知表示処理を伴うゲーム処理フロー図である。 図１７の第３の実施の形態による３次元空間におけるオブジェクト表示例の説明図である。 本発明の第３の実施の形態の説明のための３次元空間における告知表示処理の説明図である。 本発明の第３の実施の形態の３次元空間における告知表示処理の説明図である。 図２０のディスプレイの正面図である。 図２１のゲーム処理におけるディスプレイの正面画像例の説明図である。
　以下、実施の形態の例を、３次元画像処理装置を適用した画像表示装置、３次元画像処理装置、告知表示処理の第１の実施の形態、告知表示処理の第２の実施の形態、告知表示処理の第３の実施の形態、他の実施の形態の順で説明するが、開示の画像表示装置、３次元画像処理装置、告知内容は、この実施の形態に限られない。
　（３次元画像処理装置を適用した画像表示装置）
　図１は、３次元画像処理装置を適用した画像表示装置のブロック図である。図１の画像表示装置は、ゲーム装置を例に示す。
　ゲーム装置１０は、ＣＰＵ（Central　Processing　Unit）１００（制御部、ゲーム実行部）と、主記憶部１１０と、補助記憶部１２０と、ＢＩＯＳメモリ１３０と、バックアップメモリ１３５と、ペリフェラルＩ／Ｆ（InterFace）１４０（周辺機器接続インタフェイス手段）と、キーチップ１４５と、バスアービタ１５０と、グラフィックプロセッサ１６０（描画部）と、グラフィックメモリ１７０と、ビデオＢＩＯＳメモリ１７５と、オーディオプロセッサ１８０と、オーディオメモリ１９０と、通信Ｉ／Ｆ（InterFace）２００とを含んで構成される。
　ゲーム装置１０は、ペリフェラルＩ／Ｆ１４０を介して、ゲームプログラムを格納したゲーム媒体（例えば、ＣＤ－ＲＯＭ、ＤＶＤ，外部メモリ）１６を読み込み可能なゲーム媒体リーダ（例えば、ディスク読み取り装置等）１５を接続することができる。
　ＣＰＵ１００は、ＣＩＳＣ（Ｃｏｍｐｌｅｘ　Ｉｎｓｔｒｕｃｔｉｏｎ　Ｓｅｔ　Ｃｏｍｐｕｔｅｒ、複合命令セットコンピュータ）方式やＲＩＳＣ（Ｒｅｄｕｃｅｄ　Ｉｎｓｔｒｕｃｔｉｏｎ　Ｓｅｔ　Ｃｏｍｐｕｔｅｒ、縮小命令セットコンピュータ）方式のＣＰＵ（中央処理装置）、ＭＰＵ（Ｍｉｃｒｏ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｐｒｏｃｅｓｓｏｒ、特定用途向けプロセッサー）等である演算・制御能力を備えた制御回路である。また、ＣＰＵ１００に、後述する主記憶部１１０やグラフィックプロセッサ１６０やオーディオプロセッサ１８０等の機能を備えることも可能である。
　主記憶部１１０は、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）等の主記憶用に使われる高速な記憶回路を含んで構成される。主記憶部１１０は、ゲーム装置１０をコンピュータとして機能させるためのＯＳを備える。また、主記憶部１１０は、ＣＰＵ１００が実行する、各種プログラムやオブジェクト等であるプロセスを補助記憶部１２０からロードされて、記憶する。また、このプロセスに関わるデータについても記憶している。各プロセスはＯＳのＡＰＩ（Ａｐｐｌｉｃａｔｉｏｎ　Ｐｒｏｇｒａｍｍｉｎｇ　Ｉｎｔｅｒｆａｃｅ）を介して、ゲーム装置１０の各機能にアクセス可能である。
　補助記憶部１２０は、ＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）等のフラッシュメモリディスク、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）、磁気テープ装置、光ディスク装置等の補助記憶装置である。補助記憶部１２０は、後述するように、アプリやＯＳのプログラムやデータを記憶する。これらのプログラムやデータは、ＣＰＵ１００や、ＤＭＡ（Ｄｉｒｅｃｔ　Ｍｅｍｏｒｙ　Ａｃｃｅｓｓ）等により、主記憶部１１０に記憶可能である。この例では、補助記憶部１２０が、ゲームプログラムを格納する。
　ＢＩＯＳメモリ１３０は、ＢＩＯＳ（Ｂａｓｉｃ　Ｉｎｐｕｔ　Ｏｕｔｐｕｔ　Ｓｙｓｔｅｍ）が記憶されたＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）やＮＯＲ型フラッシュメモリやＳＲＡＭ等の不揮発性記憶媒体である。このＢＩＯＳメモリ１３０は、ファームウェア用のプログラムと、ゲーム装置１０の各種機能を実現するためのプログラムと、これらのプログラムの設定を記憶するＳＲＡＭ等のメモリから構成されている。例えば、ＢＩＯＳメモリ１３０のＢＩＯＳは、ゲーム装置１０が起動する際に、ＣＰＵ１００のマイクロコードの設定を行ったり、各部の初期化を行ったり、補助記憶部１２０の例えば最初のアドレスのパーティションから、ＯＳが実行されるような指示を行う。
　なお、ＢＩＯＳメモリ１３０のプログラムをＮＯＲ型フラッシュメモリ等に記憶し、ＢＩＯＳメモリ１３０の設定を記憶するフラッシュメモリ等を別に備えていてもよい。
　バックアップメモリ１３５は、バッテリバックアップされたＳＲＡＭ（Ｓｔａｔｉｃ　Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）や、ＥＥＰＲＯＭ等の書き換え可能な不揮発性のメモリである。
　ペリフェラルＩ／Ｆ１４０は、各種周辺機器（ペリフェラル）に接続するための、ＵＳＢ（Universal　Serial　Bus）、ＩＥＥＥ１３９４、シリアル、パラレル、赤外線、無線等のインタフェイスを提供するユニットである。ペリフェラルＩ／Ｆ１４０は、照明、ＩＣカードリーダ／ライタ、スイッチ、コイン投入部等のようなゲームの実行に必要な周辺機器と接続することができる。
　他にも、図示しないが、スティック型コントローラー、模擬銃、加速度検出器、振動装置等のフォースフィードバック装置、足踏み／手押し式のスイッチ、ディスプレイモニターの画面上の位置を検出する位置検出器、タッチパッド、タッチパネル、キーボード、マウスやトラックボール等のポインティングデバイス等、各種の操作入力装置を、ペリフェラルＩ／Ｆ１４０に接続して用いることができる。これによって、操作者からゲーム等のプログラムの進行に必要な操作情報をゲーム装置１０に入力することが出来るようになる。更に、この操作情報をパラメータとしてＣＰＵ１００がゲームプログラムを進行し、操作情報に応じた画像や音声を生成して出力することが出来るようになる。
　さらに、ペリフェラルＩ／Ｆ１４０からセキュアなパラレルのインタフェイス等を用いて、以下で説明するキーチップ１４５にアクセスすることができる。
　キーチップ１４５は、ゲームＩＤと、当該ゲームＩＤに対応したイメージの復号化ができる鍵データとを備えた、例えば着脱可能なＩＣチップ等である。キーチップ１４５は、例えば、ゲームの種類毎に用意して、各アプリを実行する際に使用する。ゲーム装置１０で実行するゲームのアプリを変更する、すなわちソフトウェアを交換する場合には、このキーチップ１４５も、そのゲームのアプリに対応したキーチップ１４５に変更する必要がある。
　バスアービタ１５０は、いわゆる「チップセット」等の、各部を接続するためのバスインタフェイスを提供する集積回路である。このバスアービタ１５０で接続される各部のバスのスピードは異なっていてもよく、上り／下りで非対称であってもよい。また、例えば、ＣＰＵ１００と、主記憶部１１０と、バスアービタ１５０との間はＦＳＢ（Front　Side　Bus）等の高速なバスで接続され、グラフィックプロセッサ１６０とバスアービタ１５０の間も広帯域なバスで接続されるのが好適である。さらに、ＣＰＵ１００にＤＤＲ２／３　ＳＤＲＡＭやＸＤＲ　ＤＲＡＭ等のバスインタフェイスが内蔵されて、主記憶部１１０を直接読み書きするように構成されていてもよい。
　また、バスアービタ１５０は、ペリフェラルＩ／Ｆ１４０と、キーチップ１４５、ゲーム媒体リーダ１５との間で、暗号化等されたセキュアなバスを用いて主記憶部１１０に直接接続することも可能である。このセキュアなバスを用いて主記憶部１１０と読み書きするデータは、ＣＰＵ１００の特殊な特権モード等でなければアクセスできないように構成することで、よりセキュリティを高めることができる。
　グラフィックプロセッサ１６０は、後述するように、３次元ＣＧを描画する機能をもつグラフィックプロセッサである。グラフィックプロセッサ１６０は、ポリゴンのジオメトリ（座標）の計算を行うジオメトリ部１６２と、ジオメトリ計算が行われたポリゴンをラスタライズ／レンダリング（描画）するレンダリング部１６４とを含んで構成される。
　また、グラフィックプロセッサ１６０は、描画された画像をディスプレイモニターやプロジェクター等の表示装置に出力するため、ＲＡＭＤＡＣ（ＲＡＭ　Ｄ／Ａコンバーター）やＨＤＭＩインタフェイス等を備えている。
　ジオメトリ部１６２は、ポリゴンの３次元空間での座標（ワールド座標）について、行列の回転や拡大等を行って、アフィン変換等を行い、ポリゴンの２次元空間での座標を求める部位である。また、ジオメトリ部１６２は、ポリゴンの分割やスプライン補完等のテッセレーションを行う、「ジオメトリシェーダ」（又はバーテックスシェーダ）を備えることもできる。
　レンダリング部１６４は、座標計算されたポリゴンについて、テクスチャと呼ばれる画像データを貼り付け、各種効果を加えてグラフィックメモリ１７０に描画する部位である。この各種効果としては、プログラマブル・シェーダ等を用いて、光点・影（シェーディング）計算、明暗の表現、半透明、ぶれ、霧、ぼかし、ＨＤＲ（ハイダイナミックレンジ合成）等の計算を行うことができる。また、レンダリング部１６４が描画するポリゴンの種類としては、点ポリゴン（ポイント）、線ポリゴン（ラインリスト）、三角形や四角形といった面ポリゴン、面ポリゴンの集合体等がある。加えて、レンダリング部１６４がレイ・トレーシング等を用いて描画を行う際には、円、楕円、球、メタボール等の領域で定義される物体を描画することも可能である。
　なお、ジオメトリ部１６２を、ＣＰＵ１００にて処理するように構成することも可能である。この場合は、主記憶部１１０に記憶するプログラムをＣＰＵ１００が実行して作成したポリゴンの座標を、グラフィックメモリ１７０に転送等を行う。レンダリング部１６４は、このポリゴンの座標に従って、ポリゴンを描画する。
　グラフィックメモリ１７０は、グラフィックプロセッサ１６０が描画するために高速に読み書きができる記憶媒体である。たとえば、このグラフィックメモリとして、ＧＤＤＲ（Ｇｒａｐｈｉｃｓ　Ｄｏｕｂｌｅ　Ｄａｔａ　Ｒａｔｅ（グラフィックス・ダブル・データレート））等の広帯域なメモリを高レベルのメモリインターリーブ等を用いて接続することができる。また、システムＬＳＩのようにグラフィックメモリをグラフィックプロセッサ１６０に内蔵する構成も可能である。更に、グラフィックプロセッサ１６０が描画している間に、ディスプレイモニターに表示するためのデュアルポート構成をとることも可能である。
　ビデオＢＩＯＳメモリ１７５は、グラフィックプロセッサ１６０用のＢＩＯＳが記憶されたフラッシュメモリ等である。ＣＰＵ１００が、パッチによりこのビデオＢＩＯＳメモリ１７５を更新することで、グラフィックプロセッサ１６０の機能や表示品質を向上させたり、表示上の不都合（バグ）を直したりすることができる。
　オーディオプロセッサ１８０は、音楽や音声や効果音を出力するためのＰＣＭ（Ｗａｖｅ）音源等を備えたＤＳＰ（デジタル・シグナル・プロセッサ）等である。オーディオプロセッサ１８０は、物理演算音源、ＦＭ音源等の計算を行い、残響や反射等の各種音声効果を計算することもできる。
　オーディオプロセッサ１８０の出力は、Ｄ／Ａ（デジタル・アナログ）変換され、デジタルアンプ等に接続されて、スピーカーで音楽や音声や効果音として再生される。また、オーディオプロセッサ１８０は、マイクから入力した音声の音声認識等にも対応することができる。
　オーディオメモリ１９０は、音楽や音声や効果音のためのデジタル変換されたデータを記憶している記憶媒体である。オーディオプロセッサ１８０とオーディオメモリ１９０とを一体的に構成することも当然可能である。
　通信Ｉ／Ｆ２００は、ネットワーク５に接続するための（有線／無線ＬＡＮ、電話線、携帯電話網、ＰＨＳ網、電灯線ネットワーク、ＩＥＥＥ１３９４等）インタフェイスである。通信Ｉ／Ｆ２００からネットワーク５を介して、ゲーム装置１０は、アプリやＯＳやパッチ等を図示しないマスターサーバからダウンロードすることができる。また、逆に、他のゲーム装置へ、アプリやＯＳやパッチ等を提供することもできる。さらに、通信Ｉ／Ｆ２００を用いて、ゲーム装置１０と図示しないゲーム装置クライアントとで、または、ゲーム装置クライアント同士で、複数のプレイヤーによる対戦ゲーム(対戦などの競争を行うゲーム。以下、同じ。）又は共同ゲーム（協力して課題を解決するゲーム。以下、同じ。）をすることができる。また、複数のゲーム装置１０や、ゲーム装置クライアントが通信可能に接続されることにより、メインサーバを介して、ゲームスコア（点数、得点等、以下スコアという。）の集計や、他の遊戯施設に配置されたゲーム装置との間で対戦ゲームを行ったり、ランキングを集計したりすることが可能である。
　図２は、図１のゲーム装置１０に接続される３次元ディスプレイモニターの第１の実施の形態の構成図である。図２は、裸眼３次元表示方式の第１の実施の形態のパララックスバリア方式の説明図である。図２に示すように、ディスプレイモニター２０は、カラー液晶ディスプレイパネルで構成される。このディスプレイパネルに、有機ＥＬ（Electro　Luminescence）パネルやプラズマディスプレイパネルを使用できる。ディスプレイモニター２０の前面（観察者側）に、パララックスバリア（Parallax　Barrier）２２が設けられる。パララックスバリア２２は、細いスリット状の開口部を有する。この開口部の裏側に適当な隙間を置いて左右画像をストライプ状に配置する。特定の視点ＥＬ，ＥＲからこの開口部を介して見ることにより、立体画像を裸眼で観察できる。
　ディスプレイモニター２０の１つのピクセル（画素）２０－１は、３原色（Ｒ＝赤、Ｇ＝緑、Ｂ＝青）の発光体の組み合わせで構成されている。この発光体をサブピクセル２０－２と呼ぶ。パララックスバリア２２は、サブピクセル２０－２に対応した視差バリア（スリット）が設けられる。図２に示すように、左目ＥＬ、右目ＥＲからの視線に示すように、左目ＥＬ，右目ＥＲのそれぞれの画像の１ピクセルは、実際には、２ピクセルにまたがって表現される。
　図３は、図１のゲーム装置１０に接続される３次元ディスプレイモニターの第２の実施の形態の構成図である。図３は、裸眼３次元表示方式の第２の実施の形態のレンティキュラー方式の説明図である。図３に示すように、ディスプレイモニター２０は、カラー液晶ディスプレイパネルで構成される。このディスプレイパネルに、有機ＥＬ（Electro　Luminescence）パネルやプラズマディスプレイパネルを使用できる。ディスプレイモニター２０の前面（観察者側）に、半円筒状の形状をしたレンティキュラーレンズ２４が設けられる。ディスプレイモニター２０に、適当な隙間を置いて左右画像をストライプ状に配置する。レンズ２４は指向性を持っており、視線の届く位置を変化するプリズムとして働く。これにより、ストライプ像は、分離されて左目ＥＬ，右目ＥＲに入り、裸眼で立体視できる。
　図４乃至図６は、立体視の説明図である。図４（Ａ）、図５（Ａ）、図６（Ａ）に示すように、１つの画面（ディスプレイ面）２０Ａの上下方向をＹ軸、左右方向をＸ軸とし、奥行き方向をＺ軸とする。ここでは、図２及び図３で説明したパララックスバリア２２、レンティキュラーレンズ２４によって、左の画像は、左目ＥＬだけに見え、右の画像は、右目ＥＲだけに見えると仮定する。
　図４（Ｂ）に示すように、ディスプレイ面２０Ａである画像点Ａを、左画像用点ＡＬと右画像用点ＡＲにずらした場合に、立体視として、Ａ`の位置に像が結像し、ディスプレイ面（パネル面）２０Ａの奥に画像があるように見える。
　又、図５（Ａ）、図５（Ｂ）に示すように、ディスプレイ面２０Ａに左右の画像点Ａを同じ位置に表示すると、飛び出して見えない位置Ａ``、つまりディスプレイ面２０Ａ上に見える。更に、図６（Ｂ）に示すように、ディスプレイ面２０Ａである画像点Ａを、図４（Ａ）、図４（Ｂ）と逆の方向に左画像用点ＡＬと右画像用点ＡＲにずらした場合に、立体視として、Ａ```の位置に像が結像し、ディスプレイ面（パネル面）２０Ａから飛び出したように見える。
　このように、１つの画面に表示するフレーム画面データの各画素の位置を、ディスプレイ面でずらしたフレーム画像を作成することにより、立体視が可能となる。このため、後述するように、左目用フレーム画像と右目用フレーム画像とを作成し、両者を合成して、立体視用フレーム画像を作成する。これをディスプレイに表示することにより、左右の視差を利用した立体視の観察が可能となる。
　（３次元画像処理装置）
　図７は、本発明の３次元画像処理装置の一実施の形態のブロック図である。図８乃至図１０は、図７の構成の視差調整パラメータによるずらし量変換処理の説明図である。図７は、図１の画像表示装置における画像処理装置の主要部を示す。即ち、図７は、図１の画像表示装置のＣＰＵ１００とグラフィックプロセッサ１６０とを示す。
　図７に示すように、ＣＰＵ１００は、ゲーム処理３００と左右画像合成処理３０２とを実行する。ゲーム処理３００は、プレーヤーの操作に伴いゲーム画面を変更する処理である。即ち、ＣＰＵ１００のゲーム処理３００は、操作入力装置から入力された操作情報等に応じて、表示すべき画像のポリゴンデータを計算し、画像のポリゴンデータをグラフィックプロセッサ１６０のジオメトリ部１６２（図１参照）に送信する。
　前述したように、グラフィックプロセッサ１６０は、ジオメトリ部１６２（図１参照）とレンダリング部１６４とを有する。レンダリング部１６４は、レンダリング処理３１０と左右画像生成処理３１２とを実行する。
　前述したように、ジオメトリ部１６２は、ポリゴンの３次元空間での座標（ワールド座標）について、行列の回転や拡大等を行って、アフィン変換等を行い、ポリゴンの２次元空間での座標を求める。レンダリング部１６４のレンダリング処理３１０は、座標計算されたポリゴンについて、テクスチャと呼ばれる画像データを貼り付け、ピクセル単位のフレーム画像とピクセル毎のＺ深度（図４～図６のＺ軸（奥行き方向）の位置）を作成する。
　レンダリング部１６４の左右画像生成処理３１２は、レンダリング処理３１０からピクセル単位のフレーム画像とピクセル毎のＺ深度を受けるとともに、ゲーム処理３００から視差調整パラメータを受ける。左右画像生成処理３１２は、図８乃至図１０で説明するように、視差調整パラメータに従い、ピクセル毎のＺ深度を視差量に変換する。そして、左右画像生成処理３１２は、変換した視差量によりフレーム画像から左右画像ＬＦ，ＲＦを作成し、図１のグラフィックメモリ１７０に描画する。
　ＣＰＵ１００の左右画像合成処理３０２は、グラフィックメモリ１７０の左右画像ＬＦ，ＲＦを合成し、１つのフレーム画像を作成し、グラフィックメモリ１７０に書き込む。グラフィックメモリ１７０の合成画像データは、ディスプレイモニター２０に出力される。
　前述の視差パラメータによる左右画像作成処理３１２を、図８～図１０で説明する。図８（Ａ）、図９（Ａ）、図１０（Ａ）は、３次元空間におけるＸ軸とＺ軸における点Ｘ，Ｙ，Ｚの位置を示す。点Ｘ，Ｙ，Ｚは、ピクセルと見なしてよい。ここで、Ｘ軸は、ディスプレイ２０Ａの左右方向であり、Ｚ軸は、図４～図６で説明した奥行き方向である。又、Ｚ＝０は、立体視する３次元空間の奥行き方向の原点を示し、立体視の最飛び出し位置に相当する。ｄ１、ｄ２、ｄ３は、ｚ深度（原点Ｚ＝０から奥行き方向の距離）を示す。更に、Ｄｆｏｃｕｓは、左右の視差がゼロであるフォーカス位置（原点Ｚ＝０から奥行き方向の距離）を示す。
　ここで、左右の画像で点をずらす量をｗとすると、ｚ深度ｄ、Ｄｆｏｃｕｓを用いて、例えば、下記式（１）で計算する。尚、Ｅは定数である。
　ｗ＝（ｄ－Ｄｆｏｃｕｓ）／Ｅ　　　　　　　　　　　　　（１）
　例えば、図８（Ａ）に示すように、点Ｘのｚ深度ｄ１がＤｆｏｃｕｓより大きい場合には、式（１）の計算により得られたずらし量ｗでずらした左右画像の点ＸＬ、ＸＲを作成する。これにより、図８（Ｂ）に示すように、左目ＥＬと右目ＥＲとによる立体視では、点Ｘはディスプレイ面２２Ａより奥に観察される。
　同様に、図９（Ａ）に示すように、点Ｙのｚ深度ｄ２がＤｆｏｃｕｓと同じ場合には、式（１）の計算によりずらし量ｗがゼロとなり、ずれのない左右画像の点ＹＬ、ＹＲを作成する。これにより、図９（Ｂ）に示すように、左目ＥＬと右目ＥＲとによる立体視では、点Ｙはディイスプレイ面２２Ａ上に観察される。
　更に、図１０（Ａ）に示すように、点Ｚのｚ深度ｄ３がＤｆｏｃｕｓより小さい場合には、式（１）の計算により得られたずらし量ｗでずらした左右画像の点ＺＬ、ＺＲを作成する。これにより、図１０（Ｂ）に示すように、左目ＥＬと右目ＥＲとによる立体視では、点Ｚはディイスプレイ面２２Ａより手前に飛び出して観察される。
　本発明の一実施の形態では、このような視差調整パラメータを用いて、３次元表示画像及び告知画像を作成する。
　（告知表示処理の第１の実施の形態）
　図１１乃至図１４は、本発明の第１の実施の形態の３次元表示空間での表示例を示す。図１１乃至図１４において、Ｘ軸は、ディスプレイ２０Ａの左右方向であり、Ｚ軸は、図４～図６、図８～図１０で説明した奥行き方向である。又、ａは奥行き方向の原点（最近位置）、ｂは、視差ゼロ（図８乃至図１０のＤｆｏｃｕｓの位置）、ｃは奥行き方向の最遠位置を示す。即ち、立体視の奥行きは、位置ａから位置ｃまでである。
　図１１は、左右眼ＥＬ，ＥＲがオブジェクトＡとオブジェクトＢとが立体視している場合のＸ－Ｚ仮想空間でのオブジェクトＡ、Ｂの位置を示す。即ち、左右眼ＥＬ，ＥＲが、オブジェクトＢの先端が飛び出し、オブジェクトＡの先端が飛び出し、後端が奥に引っ込んだ画像を観察している。
　この３次元画像で文字等による告知表示を表示する。告知表示は、文字等であるため、３次元表示する必要はなく、視差のない２次元画像である。この告知表示を表示する時、図１１に示すＸ－Ｚ空間において、視差ゼロの位置ｂに告知表示Ｃを表示した場合には、図１２に示すような３次元画像を観察できる。即ち、告知表示Ｃは仮想空間上の視差ゼロの位置ｂにあるように観察される。このため、視差の付いたオブジェクトＡ，Ｂが、告知表示Ｃより飛び出して見えたり、告知表示ＣがオブジェクトＡ，Ｂにめりこんだように見える。従って、告知表示Ｃのように見せたいものが見辛くなる。
　この告知表示を見やすくするため、図１４に示すように、立体視の奥行きを圧縮する。即ち、図１４に示すように、奥行き方向の原点（最近位置）ａと奥行き方向の最遠位置ｃとの距離を短く制御する。これにより、告知表示Ｃを仮想空間上の視差ゼロの位置ｂにあるように配置しても、視差の付いたオブジェクトＡ，Ｂが、奥行き方向に圧縮される。従って、オブジェクトＡ，Ｂの飛び出し量が小さくなり、告知表示ＣがオブジェクトＡ，Ｂにめりこんだように見える程度が目立たなくなる。従って、告知表示Ｃのように見せたいものが見易くなる。
　図１３により、左右画像作成処理３１２による奥行きの調整処理を説明する。図１３（Ａ）は、３次元空間のＸ－Ｚ空間で、奥行き原点ａから奥行き方向にオブジェクトＺ，Ｙ、Ｘが位置している例を示す。この状態で、視差調整パラメータの式（１）の定数Ｅを大きく設定すると、図８乃至図１０で説明したように、換算されるずらし量ｗも小さくなる。このことは、図８乃至図１０で説明したｚ深度が小さくなることを意味する。このため、図１３（Ｂ）に示すように、ディスプレイ面２０Ａより奥に見える奥行き量と手前に飛び出して見える量とが少なくなる。従って、告知表示Ｃを仮想空間上の視差ゼロの位置ｂにあるように配置しても、視差の付いたオブジェクトＡ，Ｂ（Ｚ，Ｙ，Ｘ）が、奥行き方向に圧縮される。
　即ち、通常、図１３（Ａ）の状態で３次元表示するように、定数Ｅを設定するが、告知表示する時だけ、定数Ｅを大きくして、図１３（Ｂ），図１４のように、相対的にずらし量を小さくして、立体物を圧縮する。
　（告知表示処理の第２の実施の形態）
　図１５乃至図１６は、本発明の第２の実施の形態の３次元表示空間での表示例を示す。図１５乃至図１６において、Ｘ軸は、ディスプレイ２０Ａの左右方向であり、Ｚ軸は、図４～図６、図８～図１０で説明した奥行き方向である。又、ａは奥行き方向の原点（最近位置）、ｂは、視差ゼロ（図８乃至図１０のＤｆｏｃｕｓの位置）、ｃは奥行き方向の最遠位置を示す。即ち、立体視の奥行きは、位置ａから位置ｃまでである。
　図１６でも、図１１と同様に、左右眼ＥＬ，ＥＲがオブジェクトＡとオブジェクトＢとが立体視している場合のＸ－Ｚ仮想空間でのオブジェクトＡ、Ｂの位置を示す。即ち、左右眼ＥＬ，ＥＲが、オブジェクトＢの先端が飛び出し、後端が奥に引っ込んだ、又オブジェクトＡの先端が飛び出し、後端が奥に引っ込んだ画像を観察している。図１１の３次元表示状態で、文字等による告知表示をする場合に、図１６に示すように、図１１におけるＸ－Ｚ空間における視差ゼロの位置ｂを手前にずらし、位置ｂに告知表示Ｃの表示を行う。
　このため、告知表示Ｃを仮想空間上の視差ゼロの位置ｂにあるように配置しても、視差の付いたオブジェクトＡ，Ｂが、飛び出し量が小さくなり、告知表示ＣがオブジェクトＡ，Ｂにめりこんだように見える程度を少なくでき、めり込んでいることが目立たなくなる。従って、告知表示Ｃのように見せたいものが見易くなる。
　図１５により、左右画像作成処理３１２による奥行きの調整処理を説明する。図１３（Ａ）の視差ゼロの位置ｂを、図１５（Ａ）に示す視差ゼロの位置ｂ（Ｄｆｏｃｕｓ）にシフトする。尚、図１５（Ａ）も、図１３（Ａ）と同様に、３次元空間のＸ－Ｚ空間で、奥行き原点ａから奥行き方向にオブジェクトＺ，Ｙ、Ｘが位置している例を示す。このシフトを行うため、視差調整パラメータの式（１）の視差ゼロのフォーカス位置Ｄｆｏｃｕｓを小さく設定すると、見かけ上ｚ深度が大きくなる。このため、図１５（Ｂ）に示すように、ディスプレイ面２０Ａより手前に飛び出して見える量が少なくなる。従って、告知表示Ｃを仮想空間上の視差ゼロの位置ｂにあるように配置しても、視差の付いたオブジェクトＹ，Ｘが、奥に見える。
　即ち、通常、図１３（Ａ）の状態で３次元表示するように、フォーカス位置Ｄｆｏｃｕｓを設定するが、告知表示する時だけ、このフォーカス位置Ｄｆｏｃｕｓを小さくして、図１５（Ｂ），図１６のように、相対的に飛び出し量を小さくして、告知表示Ｃを見易くする。
　（告知表示処理の第３の実施の形態）
　図１７は、本発明の第３の実施の形態の視差調整処理を含むゲーム処理フロー図である。図１８乃至図２２は、本発明の第３の実施の形態のゲーム処理における視差調整処理の説明図である。図１８（Ａ）、図１８（Ｂ）は、告知表示前の３次元画像の表示状態を示し、図１９（Ａ），１９（Ｂ）は、視差調整なしに告知表示を行った３次元画像の表示状態を示し、図２０（Ａ），図２０（Ｂ）は、視差調整により告知表示を行った３次元画像の表示状態を示す。図２１は、視差調整により告知表示を行った３次元画像の正面図であり、図２２は、図２１における実際のゲーム画面上での表示画面の説明図である。
　又、図１８（Ａ），図１８（Ｂ），図１９（Ａ）、図１９（Ｂ），図２０（Ａ）、図２０（Ｂ）において、Ｘ軸は、ディスプレイ２０Ａの左右方向であり、Ｙ軸は、ディスプレイ２０Ａの左右方向、Ｚ軸は、図４～図６、図８～図１０で説明した奥行き方向である。又、ｂは、視差ゼロ（図８乃至図１０のＤｆｏｃｕｓの位置）を示す。
　図１８乃至図２２を参照して、図１８のゲーム処理を説明する。尚、このゲーム処理によるゲームは、例えば、図２２に示すように、ディスプレイ（画面）２０において、スタートからゴールへ到る海上で敵（ふか）Ａ１，Ｂ１が襲ってくる際に、模擬銃で敵を倒すゲームである。そして、告知表示は、１回のゲーム終了後、Ｃｏｎｔｉｎｕｅ？（ゲームを継続するか）とスタートからゴールまでの到達位置表示Ｃ２等である。尚、告知表示は、横長板状のテクスチャーに「ＣＯＮＴＩＮＵＥ」の文字が付されている。
　（Ｓ１０）プレーヤーが図１のゲーム装置の図示しない開始ボタンを押す。
　（Ｓ１２）開始ボタンの押下に応じて、ＣＰＵ１００がゲーム処理３００を開始する。ゲーム処理では、図１８（Ａ）の３次元空間で示すように、ディスプレイ２０Ａの手前と奥にまたがってオブジェクト（球）Ａ１が、奥にオブジェクト（立方体）Ｂ１が見えるように立体視可能な画像を表示する。ここでは、図１８（Ｂ）に示すように、ディスプレイ２０Ａの手前と奥にまたがってオブジェクト（球）Ａ１が、奥にオブジェクト（立方体）Ｂ１が見えるような位置の立体像である。この場合、ＣＰＵ１００は、レンダリング部１６４にポリゴンデータを送り、左右画像生成処理部３１２には、デフォルト値（通常の３次元表示を行うための値）の視差調整パラメータを送る。
　（Ｓ１４）ＣＰＵ１００は、１回のゲームが終了したと判断すると、告知表示処理を行う。即ち、ＣＰＵ１００は、告知表示の画像データと変更した視差調整パラメータをレンダリング部１６４に送る。この時、図１９（Ａ）の３次元空間で示すように、図１８（Ａ）のディスプレイ２０Ａの手前にオブジェクト（球）Ａ１が、奥にオブジェクト（立方体）Ｂ１が見えるように立体視可能な画像を表示している状態で、視差調整パラメータを変更しない場合には、告知文（ここでは、文字「ＣＯＮＴＩＮＵＥ」）Ｃ１は、ディスプレイ２０Ａ面に２次元表示される。即ち、図１９（Ｂ）に示すように、ディスプレイ２０Ａの手前と奥にまたがってオブジェクト（球）Ａ１に埋もれて告知文（ここでは、ＣＯＮＴＩＮＵＥ）Ｃ１が、ディスプレイ２０Ａ面に２次元表示され、奥にオブジェクト（立方体）Ｂ１が見える。
　この表示状態では、前述のように、告知文Ｃ１がオブジェクトＡ１に埋もれ、且つ３次元表示のオブジェクトＡ１が告知文Ｃ１より飛び出しているため、告知文Ｃ１が見にくい。このため、告知文Ｃ１が、オブジェクトＡ１，Ｂ１より手前に観察できるように視差調整パラメータを変更する。ここでは、フォーカス位置Ｄｆｏｃｕｓの値を小さく、例えば、ゼロとする。図１８（Ａ）のディスプレイ２０Ａの手前と奥にまたがってオブジェクト（球）Ａ１が、奥にオブジェクト（立方体）Ｂ１が見えるように立体視可能な画像を表示している状態で、フォーカス位置Ｄｆｏｃｕｓを変更した場合には、図２０（Ａ）の３次元空間で示すように、告知文（ここでは、ＣＯＮＴＩＮＵＥ）Ｃ１は、オブジェクトＡ１の手前に位置するディスプレイ２０Ａ面に２次元表示される。即ち、図２０（Ｂ）に示すように、ディスプレイ２０Ａに告知文Ｃ１が、その奥にオブジェクト（球）Ａ１、その奥にオブジェクト（立方体）Ｂ１が見える。
　この表示状態をディスプレイ２０の正面から見ると、観察者は、告知文（ＣＯＮＴＩＮＵＥ）の奥に、オブジェクトＡ１，Ｂ１を立体視できる。例えば、実際のゲーム画面では、図２２に示すように、観察者（プレーヤー）は、Ｃｏｎｔｉｎｕｅ？（ゲームを継続するか）とスタートからゴールまでの到達位置表示Ｃ２等の告知表示の奥に、スタートからゴールへ到る海上で敵（ふか）Ａ１，Ｂ１が襲ってくる画像を立体視できる。
　（Ｓ１６）ＣＰＵ１００は、プレーヤーが図１のゲーム装置の継続（Ｃｏｎｔｉｎｕｅ）ボタンを押したかを判定する。所定時間内に押さないと、ゲームを終了する。
　（Ｓ１８）一方、ＣＰＵ１００は、プレーヤーが図１のゲーム装置の継続（Ｃｏｎｔｉｎｕｅ）ボタンを押したと判定すると、視差調整パラメータをデフォルト値に戻し、ステップＳ１２のゲーム処理を再開する。
　このように、ｚ深さをずらし量に変換するための視差調整パラメータを、告知表示する時だけ変更して、奥行き空間の構造を変更することにより、３次元表示を維持し、３次元表示との一体感を保ちつつ、告知表示を見やすくできる。このため、３次元表示観察者の目の疲れを軽減し、見せたい告知表示を見易くできる。例えば、ゲーム装置では、３次元表示ゲームでも、プレーヤーの体調不良を防止し、プレーヤーの再トライを促すことができる。
　（他の実施の形態）
　前述の実施の形態では、立体視画像生成として、奥行きデータを視差量に変換して、左右のフレーム画像を生成している。しかしながら、視点位置を変更して、左右のフレーム画像を生成する立体カメラ方法も適用できる。即ち、オブジェクトを構成するポリゴンデータに対し、ジオメトリ変換において、視点位置を左目、右目の２つに設定し、この２つの視点位置から見た左目用フレーム画像と左目用フレーム画像とを生成する。この時、視差調整パラメータは、２つの視点位置であり、オブジェクトに対する２つの視点位置の変更、若しくは左右の視点の距離（間隔）を変更することで左右の視差に違いが大きい画像や小さい画像を生成することができる。このため、前述の実施の形態と同様の３次元立体空間の変更動作を実現できる。
　更には、視点位置を変更せず、視点位置に対してオブジェクトの位置を変更するようにしても、視点位置を変更する場合と同様に、相対的に視点とオブジェクトとの距離が変わるため、これも同様の効果を持った動作を実現することができる。この場合の視差調整パラメータは、視点とオブジェクトとの距離になる。
　このときの告知表示は、第１の方法として、告知表示用の２次元画像を上記の左右の視点位置に応じて生成された左右のフレーム画像の上に重ねて表示する方法が考えられる。この場合、左右でどの程度の視差をもった告知表示用の２次元画像を左右のフレーム画像に重ねるかによって他のオブジェクトに対する奥行き感が決まる。この場合であっても、プログラムの進行によって告知表示を行なうとＣＰＵ１００が判断したときに、上述の左右の視点の距離を短く設定する若しくは視点とオブジェクトとの距離を広げる。これにより、告知表示を行なう前よりもオブジェクトが画面に対して奥行き方向に見えるようになるため、立体視を保ったまま告知表示が見やすくなる。
　告知表示の第２の方法としては、告知表示用のオブジェクトを立体視表示用のオブジェクトと同じ３次元空間座標が設定された仮想空間内に配置する方法が考えられる。この場合、告知表示用のオブジェクトが立体視表示用のオブジェクトによって隠れてしまわないよう、立体視表示用のオブジェクトよりも視点に近い座標位置を計算してそこに告知表示用のオブジェクトを配置する必要がある。
　しかし、あまりにも視点に近い場合は告知表示用のオブジェクトの視差が大きすぎるため、立体として認識し難い場合がある。このため、告知表示用のオブジェクトと視点との距離が予め定めておいた一定の距離よりも短くなったと判断された場合には、計算された告知表示用のオブジェクトを配置する座標位置と視点までの距離と一定（所定）の距離との差分若しくは差分以上の距離だけ、告知表示用のオブジェクトと立体視表示用のオブジェクトを視点から遠い奥行き方向の位置に配置し直す。これにより、見やすい位置に告知表示用のオブジェクトを配置することが出来るようになる。また、告知表示用のオブジェクトと立体視表示用のオブジェクトの位置を移動させず、左右の視点位置を少なくとも告知表示用のオブジェクトから遠い手前方向の位置に配置しなおすことでも、同様に告知表示用のオブジェクトを見やすくすることが出来る。
　上記の告知表示における視差調整は、図１７のステップＳ１２（ゲーム処理）が終了し、コンティニュー表示が行なわれると判断されたステップＳ１６に至る間のステップＳ１４（視差調整）において実行される。
　これら実施例におけるハードウェアのブロック図は、図１の画像表示装置と同様になるが、図７のＣＰＵ１００は、左右の視点からみたポリゴンデータをそれぞれの視点座標系にジオメトリ変換してグラフィックプロセッサ１６０に転送するため、グラフィックプロセッサ１６０は視差調整パラメータを必要とせず、ＣＰＵ１００から転送されたポリゴンデータに基づいてレンダリング処理を行うのみとなる。
　尚、ジオメトリ変換の機能はＣＰＵ１００ではなく、図１のようにグラフィックプロセッサ１６０内にあってもよい。ジオメトリ変換の機能がグラフィックプロセッサ１６０内にある場合は、ＣＰＵ１００から視差調整パラメータをグラフィックプロセッサ１６０に出力するようにして、グラフィックプロセッサ１６０内で視差調整パラメータに基づいて左右の視点位置やオブジェクト位置の決定や調整等を行なう。
　又、この実施の形態や他の実施の形態ではゲーム処理を例に説明したが、通常の画像表示において、２次元画像から３次元画像に変換するものにも適用できる。この場合、告知表示は、テロップ等を使用できる。又、告知表示は「Ｃｏｎｔｉｎｕｅ」の他、「Ｉｎｓｅｒｔ　Ｃｏｉｎ」、「Ｇａｍｅ　Ｏｖｅｒ」、「Ｐｕｓｈ　＊（＊は所定のボタン名称）　Ｂｕｔｔｏｎ」等の操作者や遊戯者に告知する情報や操作を促す表示のほか、カーソル表示やロックオンやターゲットを指し示すマーカー等であってもよい。
　更に、図１の３次元ディスプレイモニターは、図２のパララックスバリア２２や図３のレンティキュラーレンズ２４などの裸眼立体方式に限らず、シャッター方式や偏向フィルター方式等の３Ｄメガネを用いるようなディスプレイにしても良い。
　シャッター方式の３Ｄメガネを用いる場合の左右の画像合成は、図７の左右画像合成処理３０２において、１つのフレーム内で左右の画像を合成するのではなく、フレーム単位で左右の画像を交互に出力するようにし、この出力に同期してメガネ側の左右のシャッターを開閉制御させるようにする。
　例えば、右目側の画像が出力されたときは３Ｄメガネの左側のシャッターが閉じ右側のシャッターが開くことで右目のみが右目側の画像を見ることになり、左目側の画像が出力されたときはこの逆の制御を行なうことで画像を立体的に認識することが出来るようになる。
　偏向フィルター方式の３Ｄメガネを用いる場合は、左右画像合成処理３０２は画像の合成を行うのではなく、右目側と左目側の画像をそれぞれ出力し、ディスプレイモニターを例えば右目側の画像と左目側の画像を別々のプロジェクタから出力してスクリーン上で合成するようにする。
　このとき、例えば右目用のプロジェクタから出力される画像の光路上（プロジェクタのレンズ付近）に水平偏向（若しくは４５度偏向）フィルターを、左目用のプロジェクタから出力される画像の光路上（プロジェクタのレンズ付近）に垂直偏向（若しくは１３５度偏向）フィルターを、といったそれぞれに異なる方向の偏向フィルターを設けておく。３Ｄメガネにおいても右目側と左目側それぞれに右目用と左目用のプロジェクタと同じ偏向フィルターを設けておくことで、右目側の画像と左目側の画像がそれぞれ右目と左目のみに見えるようになるため、画像を立体的に認識することが出来るようになる。
　以上、本発明を実施の形態により説明したが、本発明の趣旨の範囲内において、本発明は、種々の変形が可能であり、本発明の範囲からこれらを排除するものではない。
　３次元表示の奥行き量を左右視差ずらし量に変換するための視差調整パラメータ若しくは視点と３次元表示用オブジェクトとの距離を、告知表示を表示する時だけ変更して、奥行き空間の構造を変更することにより、３次元表示を維持し、３次元表示との一体感を保ちつつ、観察者に見せたい告知表示を見やすくできる。
１０　ゲーム装置
１５　ゲーム媒体リーダ
１６　ゲーム媒体
２０　ディスプレイモニター
２０Ａ　ディスプレイ面
２２　パララックスバリア
２４　レンティキュラーレンズ
１００　ＣＰＵ
１１０　主記憶部
１２０　補助記憶部
１３０　ＢＩＯＳメモリ
１３５　バックアップメモリ
１４０　ペリフェラルＩ／Ｆ
１４５　キーチップ
１５０　バスアービタ
１６０　グラフィックプロセッサ
１６２　ジオメトリ部
１６４　レンダリング部
１７０　グラフィックメモリ
１７５　ビデオＢＩＯＳメモリ
１８０　オーディオプロセッサ
１９０　オーディオメモリ
２００　通信Ｉ／Ｆ
３００　ゲーム処理
３０２　左右画像合成処理
３１０　レンダリング処理
３１２　左右画像生成処理

Claims (21)

  1. 　左右眼の視差作用によって基準面の手前及び奥に物体を視認する立体視可能な画像を表示する表示装置のフレーム画像を生成する３次元画像処理装置において、
    　立体視すべきオブジェクトの画像データから、視差パラメータに応じた奥行き空間の視差に応じた左目用フレーム画像と右目用フレーム画像を作成する画像生成部と、
    　前記左目用フレーム画像と前記右目用フレーム画像とを合成して、前記左右眼の視差作用によって立体視可能な２次元フレーム画像を生成する画像合成部とを有し、
    　前記画像生成部は、前記立体視すべき物体に重畳して告知表示を表示する際に、前記視差パラメータにより、前記奥行き空間の前記基準面に前記告知表示を位置し、且つ前記奥行き空間の奥行き量を圧縮し又は前記基準面を前記奥行き空間の奥行き方向の手前に位置する左目用フレーム画像と右目用フレーム画像を生成することを
    　特徴とする３次元画像処理装置。
  2. 　請求項１の３次元画像処理装置において、
    　前記画像生成部は、前記立体視すべきオブジェクトの２次元画像データと奥行きデータとから、視差パラメータに応じた奥行き空間の視差に応じた左目用フレーム画像と右目用フレーム画像を生成することを
    　特徴とする３次元画像処理装置。
  3. 　請求項１の３次元画像処理装置において、
    　前記画像生成部は、前記告知表示と前記奥行き空間を制御する前記視差パラメータとを受け、前記奥行き空間の前記基準面に前記告知表示が位置し、且つ前記奥行き空間の奥行き量を圧縮又は前記基準面を前記奥行き空間の奥行き方向の手前に位置する左目用フレーム画像と右目用フレーム画像を生成することを
    　特徴とする３次元画像処理装置。
  4. 　請求項１の３次元画像処理装置において、
    　前記画像生成部は、前記奥行き空間の基準面の位置を指定する前記視差パラメータにより、前記奥行き空間の基準面の位置を指定された位置とした前記左目用フレーム画像と右目用フレーム画像を生成することを
    　特徴とする３次元画像処理装置。
  5. 　請求項１の３次元画像処理装置において、
    　前記画像生成部は、前記奥行き方向の深さを指定する視差パラメータにより、前記奥行き空間の奥行き方向の深さを指定された深さとした前記左目用フレーム画像と右目用フレーム画像を生成することを
    　特徴とする３次元画像処理装置。
  6. 　３次元空間座標が設定された仮想空間内に第１のオブジェクトを配置し、前記３次元空間座標での座標位置が互いに異なる第１の視点と第２の視点を設定し、該第１の視点と第２の視点からそれぞれ第１の投影面と第２の投影面に前記第１のオブジェクトを投影し、該投影による第１および第２の２次元の視差画像を生成する画像生成部を有する３次元画像処理装置において、
    　前記画像生成部は、
    　前記第１のオブジェクトに対して前記第１または第２の視点の少なくとも何れか一方に近い位置に第２のオブジェクトを配置する際に、左右眼の視差作用を調整する視差パラメータに基づいて、前記第１の視点と第２の視点の間隔が狭くなる方向に少なくとも何れか一方の視点の座標位置を変更する、及び／又は、前記第１の視点と第２の視点の少なくとも何れか一方の座標位置と前記第１のオブジェクトの座標位置との距離が離れる方向に少なくとも何れか一方の前記座標位置を変更することを
    　特徴とする３次元画像処理装置。　
  7. 　３次元空間座標が設定された仮想空間内にオブジェクトを配置し、前記３次元空間座標での座標位置が互いに異なる第１の視点と第２の視点を設定し、該第１の視点と第２の視点からそれぞれ第１の投影面と第２の投影面に前記オブジェクトを投影し、該投影による第１および第２の２次元の視差画像を生成する画像生成部を有する３次元画像処理装置において、
    　前記画像生成部は、
    　前記第１および第２の二次元の視差画像に告知画像を重畳する際に、左右眼の視差作用を調整する視差パラメータに基づいて、前記第１の視点と第２の視点の間隔が狭くなる方向に少なくとも何れか一方の視点の座標位置を変更する、及び／又は、前記第１の視点と第２の視点の少なくとも何れか一方の座標位置と前記オブジェクトの座標位置との距離が離れる方向に少なくとも何れか一方の前記座標位置を変更することを
    　特徴とする３次元画像処理装置。
  8. 　左右眼の視差作用によって基準面の手前及び奥に物体を視認する立体視可能な画像を表示する表示装置のフレーム画像を生成する３次元画像処理方法であって、
    　立体視すべきオブジェクトの画像データから、視差調整パラメータに応じた奥行き空間の視差に応じた左目用フレーム画像と右目用フレーム画像を作成する第１のステップと、
    　前記左目用フレーム画像と前記右目用フレーム画像とを合成して、前記左右眼の視差作用によって立体視可能な２次元フレーム画像を生成する第２のステップと、
    　前記立体視すべき物体に重畳して告知表示を標示する際に、前記視差調整パラメータにより、前記奥行き空間の前記基準面に前記告知表示が位置し、且つ前記奥行き空間の奥行き量を圧縮又は前記基準面を前記奥行き空間の奥行き方向の手前に位置する左目用フレーム画像と右目用フレーム画像を生成する第３のステップとを
    　有することを特徴とする３次元画像処理方法。
  9. 　請求項８の３次元画像処理方法において、
    　前記第１のステップは、前記立体視すべきオブジェクトの２次元画像データと奥行きデータとから、視差パラメータに応じた奥行き空間の視差に応じた左目用フレーム画像と右目用フレーム画像を作成するステップを有する
    　ことを特徴とする３次元画像処理方法。
  10. 　請求項８の３次元画像処理方法において、
    　前記第３のステップは、前記告知表示と前記奥行き空間を制御する視差パラメータとを受け、前記奥行き空間の前記基準面に前記告知表示が位置し、且つ前記奥行き空間の奥行き量を圧縮又は前記基準面を前記奥行き空間の奥行き方向の手前に位置する左目用フレーム画像と右目用フレーム画像を生成することを
    　特徴とする３次元画像処理方法。
  11. 　請求項８の３次元画像処理方法において、
    　前記第３のステップは、前記奥行き空間の基準面の位置を指定する視差パラメータにより、前記奥行き空間の基準面の位置を指定された位置とした前記左目用フレーム画像と右目用フレーム画像を生成することを
    　特徴とする３次元画像処理方法。
  12. 　請求項８の３次元画像処理方法において、
    　前記第３のステップは、前記奥行き方向の深さを指定する視差パラメータにより、前記奥行き空間の奥行き方向の深さを指定された深さとした前記左目用フレーム画像と右目用フレーム画像を生成することを
    　特徴とする３次元画像処理方法。
  13. 　３次元空間座標が設定された仮想空間内に第１のオブジェクトを配置し、前記３次元空間座標での座標位置が互いに異なる第１の視点と第２の視点を設定し、該第１の視点と第２の視点からそれぞれ第１の投影面と第２の投影面に前記第１のオブジェクトを投影し、該投影による第１および第２の２次元の視差画像を生成する３次元画像処理方法であって、
    　前記第１のオブジェクトに対して前記第１または第２の視点の少なくとも何れか一方に近い位置に第２のオブジェクトを配置するか否か判断するステップと、
    　前記判断により前記第２のオブジェクトを配置すると判断した場合、左右眼の視差作用を調整する視差パラメータに基づいて、前記第１の視点と第２の視点の間隔が狭くなる方向に少なくとも何れか一方の視点の座標位置を変更する、及び／又は、前記第１の視点と第２の視点の少なくとも何れか一方の座標位置と前記第１のオブジェクトの座標位置との距離が離れる方向に少なくとも何れか一方の前記座標位置を変更するステップとを
    　有することを特徴とする３次元画像処理方法。
  14. 　３次元空間座標が設定された仮想空間内にオブジェクトを配置し、前記３次元空間座標での座標位置が互いに異なる第１の視点と第２の視点を設定し、該第１の視点と第２の視点からそれぞれ第１の投影面と第２の投影面に前記オブジェクトを投影し、該投影による第１および第２の２次元の視差画像を生成する３次元画像処理方法であって、
    　前記第１および第２の二次元の視差画像に告知画像を重畳するか否か判断するステップと、
    　前記判断するステップにより前記告知画像を重畳すると判断した場合、左右眼の視差作用を調整する視差パラメータに基づいて、前記第１の視点と第２の視点の間隔が狭くなる方向に少なくとも何れか一方の視点の座標位置を変更する、及び／又は、前記第１の視点と第２の視点の少なくとも何れか一方の座標位置と前記オブジェクトの座標位置との距離が離れる方向に少なくとも何れか一方の前記座標位置を変更するステップとを
    　有することを特徴とする３次元画像処理方法。
  15. 　左右眼の視差作用によって基準面の手前及び奥に物体を視認する立体視可能な画像を表示する表示装置のフレーム画像を生成する３次元画像処理プログラムを格納したコンピュータ読み取り可能な記憶媒体であって、
    　立体視すべきオブジェクトの画像データから、視差調整パラメータに応じた奥行き空間の視差に応じた左目用フレーム画像と右目用フレーム画像を作成する第１のステップと、
    　前記左目用フレーム画像と前記右目用フレーム画像とを合成して、前記左右眼の視差作用によって立体視可能な２次元フレーム画像を生成する第２のステップと、
    　前記立体視すべき物体に重畳して告知表示を標示する際に、前記視差調整パラメータにより、前記奥行き空間の前記基準面に前記告知表示が位置し、且つ前記奥行き空間の奥行き量を圧縮又は前記基準面を前記奥行き空間の奥行き方向の手前に位置する左目用フレーム画像と右目用フレーム画像を生成する第３のステップとを
    　前記コンピュータに実行させる３次元画像処理プログラムを格納したコンピュータ読み取り可能な記憶媒体。
  16. 　請求項１５の記憶媒体において、
    　前記第１のステップは、前記立体視すべきオブジェクトの２次元画像データと奥行きデータとから、視差パラメータに応じた奥行き空間の視差に応じた左目用フレーム画像と右目用フレーム画像を作成するステップを、前記コンピュータに実行させる
    　ことを特徴とする記憶媒体。
  17. 　請求項１５の記憶媒体において、
    　前記第３のステップは、前記告知表示と前記奥行き空間を制御する視差パラメータとを受け、前記奥行き空間の前記基準面に前記告知表示が位置し、且つ前記奥行き空間の奥行き量を圧縮又は前記基準面を前記奥行き空間の奥行き方向の手前に位置する左目用フレーム画像と右目用フレーム画像を生成することを
    　特徴とする記憶媒体。
  18. 　請求項１５の記憶媒体において、
    　前記第３のステップは、前記奥行き空間の基準面の位置を指定する視差パラメータにより、前記奥行き空間の基準面の位置を指定された位置とした前記左目用フレーム画像と右目用フレーム画像を生成することを
    　特徴とする記憶媒体。
  19. 　請求項１５の記憶媒体において、
    　前記第３のステップは、前記奥行き方向の深さを指定する視差パラメータにより、前記奥行き空間の奥行き方向の深さを指定された深さとした前記左目用フレーム画像と右目用フレーム画像を生成することを
    　特徴とする記憶媒体。
  20. 　３次元空間座標が設定された仮想空間内に第１のオブジェクトを配置し、前記３次元空間座標での座標位置が互いに異なる第１の視点と第２の視点を設定し、該第１の視点と第２の視点からそれぞれ第１の投影面と第２の投影面に前記第１のオブジェクトを投影し、該投影による第１および第２の２次元の視差画像を生成する３次元画像処理プログラムを格納したコンピュータ読み取り可能な記憶媒体であって、
    　前記第１のオブジェクトに対して前記第１または第２の視点の少なくとも何れか一方に近い位置に第２のオブジェクトを配置するか否か判断するステップと、
    　前記判断するステップにより前記第２のオブジェクトを配置すると判断した場合、左右眼の視差作用を調整する視差パラメータに基づいて、前記第１の視点と第２の視点の間隔が狭くなる方向に少なくとも何れか一方の視点の座標位置を変更する、及び／又は、前記第１の視点と第２の視点の少なくとも何れか一方の座標位置と前記第１のオブジェクトの座標位置との距離が離れる方向に少なくとも何れか一方の前記座標位置を変更するステップとを
    　コンピュータに実行させる３次元画像処理プログラムを格納した記憶媒体。
  21. 　３次元空間座標が設定された仮想空間内にオブジェクトを配置し、前記３次元空間座標での座標位置が互いに異なる第１の視点と第２の視点を設定し、該第１の視点と第２の視点からそれぞれ第１の投影面と第２の投影面に前記オブジェクトを投影し、該投影による第１および第２の２次元の視差画像を生成する３次元画像処理プログラムを格納したコンピュータ読み取り可能な記憶媒体であって、
    　前記第１および第２の二次元の視差画像に告知画像を重畳するか否か判断するステップと、
    　前記判断するステップにより前記告知画像を重畳すると判断した場合、左右眼の視差作用を調整する視差パラメータに基づいて、前記第１の視点と第２の視点の間隔が狭くなる方向に少なくとも何れか一方の視点の座標位置を変更する、及び／又は、前記第１の視点と第２の視点の少なくとも何れか一方の座標位置と前記オブジェクトの座標位置との距離が離れる方向に少なくとも何れか一方の前記座標位置を変更するステップとを
    　コンピュータに実行させる３次元画像処理プログラムを格納した記憶媒体。
PCT/JP2012/069801 2012-08-03 2012-08-03 ３次元画像処理装置、３次元画像処理方法及びその記憶媒体 WO2014020753A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2012/069801 WO2014020753A1 (ja) 2012-08-03 2012-08-03 ３次元画像処理装置、３次元画像処理方法及びその記憶媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2012/069801 WO2014020753A1 (ja) 2012-08-03 2012-08-03 ３次元画像処理装置、３次元画像処理方法及びその記憶媒体

Publications (1)

Publication Number Publication Date
WO2014020753A1 true WO2014020753A1 (ja) 2014-02-06

Family

ID=50027479

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/069801 WO2014020753A1 (ja) 2012-08-03 2012-08-03 ３次元画像処理装置、３次元画像処理方法及びその記憶媒体

Country Status (1)

Country Link
WO (1) WO2014020753A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114785997A (zh) * 2022-04-15 2022-07-22 深圳臻像科技有限公司 用于高速传输的三维显示图像压缩编码方法及设备
CN115866232A (zh) * 2022-11-23 2023-03-28 马全生 裸眼悬浮3d视频显示方法、装置、设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004287057A (ja) * 2003-03-20 2004-10-14 Sophia Co Ltd 遊技機
JP2006305385A (ja) * 2006-08-18 2006-11-09 Sophia Co Ltd 遊技機
JP2010162287A (ja) * 2009-01-19 2010-07-29 Seiko Epson Corp 画像表示装置及び遊技機
JP2011055022A (ja) * 2009-08-31 2011-03-17 Sony Corp 立体画像表示システム、視差変換装置、視差変換方法およびプログラム
JP2011228859A (ja) * 2010-04-16 2011-11-10 Sony Computer Entertainment Inc ３次元画像表示装置、および３次元画像表示方法
JP2012064148A (ja) * 2010-09-17 2012-03-29 Sony Corp 情報処理装置、プログラムおよび情報処理方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004287057A (ja) * 2003-03-20 2004-10-14 Sophia Co Ltd 遊技機
JP2006305385A (ja) * 2006-08-18 2006-11-09 Sophia Co Ltd 遊技機
JP2010162287A (ja) * 2009-01-19 2010-07-29 Seiko Epson Corp 画像表示装置及び遊技機
JP2011055022A (ja) * 2009-08-31 2011-03-17 Sony Corp 立体画像表示システム、視差変換装置、視差変換方法およびプログラム
JP2011228859A (ja) * 2010-04-16 2011-11-10 Sony Computer Entertainment Inc ３次元画像表示装置、および３次元画像表示方法
JP2012064148A (ja) * 2010-09-17 2012-03-29 Sony Corp 情報処理装置、プログラムおよび情報処理方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114785997A (zh) * 2022-04-15 2022-07-22 深圳臻像科技有限公司 用于高速传输的三维显示图像压缩编码方法及设备
CN114785997B (zh) * 2022-04-15 2023-08-15 深圳臻像科技有限公司 用于高速传输的三维显示图像压缩编码方法及设备
CN115866232A (zh) * 2022-11-23 2023-03-28 马全生 裸眼悬浮3d视频显示方法、装置、设备及存储介质
CN115866232B (zh) * 2022-11-23 2023-06-02 马全生 裸眼悬浮3d视频显示方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
US11010958B2 (en) Method and system for generating an image of a subject in a scene
US8717423B2 (en) Modifying perspective of stereoscopic images based on changes in user viewpoint
US20150312561A1 (en) Virtual 3d monitor
US20120306860A1 (en) Image generation system, image generation method, and information storage medium
JP5572647B2 (ja) 表示制御プログラム、表示制御装置、表示制御システム、および表示制御方法
JP2003107603A (ja) 立体視画像生成装置、立体視画像生成情報および情報記憶媒体
JP2003284093A (ja) 立体画像処理方法および装置
US10523912B2 (en) Displaying modified stereo visual content
JP2012093934A (ja) 画像表示装置、ゲームプログラム、ゲーム制御方法
EP3308539A1 (en) Display for stereoscopic augmented reality
JPH11161814A (ja) 画像生成装置、シミュレーション装置及び情報記憶媒体
JP2020520032A (ja) 電子ディスプレイの前方または上に投影されて見える仮想３次元画像を作製するためのシステム、方法、およびソフトウェア
JP5620202B2 (ja) プログラム、情報記憶媒体及び画像生成システム
JP2003284095A (ja) 立体画像処理方法および装置
WO2014020753A1 (ja) ３次元画像処理装置、３次元画像処理方法及びその記憶媒体
JP2012106005A (ja) 画像表示装置、ゲームプログラム、ゲーム制御方法
JP2012234411A (ja) 画像生成装置、画像生成システム、画像生成プログラムおよび画像生成方法
JP2010029375A (ja) ゲームシステム、プログラム、及び情報記憶媒体
JP5817135B2 (ja) ３次元画像処理装置、そのプログラム及びその記憶媒体
JP3702243B2 (ja) 立体画像処理方法および装置
JP6034079B2 (ja) コンピュータプログラム及びコンピュータシステム
JP2013030125A (ja) プログラム、情報記憶媒体及びゲームシステム
JP2003203250A (ja) シューティングゲーム装置及び情報記憶媒体
JP6259487B2 (ja) コンピュータプログラム及びコンピュータシステム
JP6125692B2 (ja) コンピュータプログラム及びコンピュータシステム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12882229

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12882229

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP