WO2006019038A1 - 立体画像生成装置及びその立体画像生成方法 - Google Patents

立体画像生成装置及びその立体画像生成方法 Download PDF

Info

Publication number
WO2006019038A1
WO2006019038A1 PCT/JP2005/014760 JP2005014760W WO2006019038A1 WO 2006019038 A1 WO2006019038 A1 WO 2006019038A1 JP 2005014760 W JP2005014760 W JP 2005014760W WO 2006019038 A1 WO2006019038 A1 WO 2006019038A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
window
display
parallax
viewpoint
Prior art date
Application number
PCT/JP2005/014760
Other languages
English (en)
French (fr)
Inventor
Tatsuya Oikawa
Ryuji Kitaura
Original Assignee
Sharp Kabushiki Kaisha
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Kabushiki Kaisha filed Critical Sharp Kabushiki Kaisha
Publication of WO2006019038A1 publication Critical patent/WO2006019038A1/ja

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/398—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/31—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using parallax barriers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/356—Image reproducers having separate monoscopic and stereoscopic modes
    • H04N13/359—Switching between monoscopic and stereoscopic modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/361—Reproducing mixed stereoscopic images; Reproducing mixed monoscopic and stereoscopic images, e.g. a stereoscopic image overlay window on a monoscopic image background

Definitions

  • the present invention relates to a stereoscopic image generating apparatus that allows a user to observe a stereoscopic image using parallax between a right eye and a left eye, and a generation method thereof.
  • a stereoscopic image generating apparatus capable of switching between a normal 2D image and a 3D image and displaying the 2D image and a 3D image in a mixed manner, and the stereoscopic image generation thereof Regarding the method.
  • a stereoscopic image display method capable of viewing a stereoscopic image by stereoscopically viewing a set of images having parallax. For example, left-eye and right-eye images are alternately output to the display device, and the user observes the images through glasses that can switch the shirt line in synchronization with the display switching timing, thereby providing a stereoscopic image. Can be observed.
  • a method of reproducing a stereoscopic image without using special glasses or the like there is a method called a Norrax Noria method.
  • Each of the left-eye image and the right-eye image is decomposed into strips in the vertical scanning direction of the image, and alternately arranged to form one image.
  • the display device that displays the image has a strip-like slit similar to the case where the image is disassembled. Through the slit, the strip-shaped image data is observed by the display device.
  • a wrench chiral method that uses a wrench chiral lens instead of a slit.
  • FIG. 18 (a) is a diagram showing this.
  • the right eye image displayed on the pixel 1803 is the right eye
  • the left image displayed on the pixel 1804 is displayed.
  • a mode that the image for eyes is observed with the left eye is shown. In this way, a parallax is created between the image observed with the right eye and the image observed with the left eye, so that a human can feel a three-dimensional effect in the image.
  • each of the RGB data of the three primary colors is referred to as a dot, and a group of the RGB data of the three primary colors is referred to as a pixel.
  • FIG. 17 shows a state where a plurality of windows are displayed on the display screen. The window can be displayed at any position, and it is possible to display 2D or 3D content within the window. Windows 1702, 1703 display 2D content, and 1701, 1704 display 3D content.
  • the content includes a still image and a moving image.
  • Patent Document 1 when parallax inversion occurs due to movement of the window, the right and left parallax images are correctly obtained by exchanging the right eye image and the left eye image by the method shown in FIG. 19 (a). The method for producing the observed Figure 19 (b) is disclosed.
  • Patent Document 1 Japanese Patent Application No. 2000-231913
  • An object of the present invention is to display a stereoscopic image in a window that can be displayed at an arbitrary position on the display screen, and to perform parallax inversion by moving the window without replacing the image in units of columns.
  • a stereoscopic image generation apparatus and a stereoscopic image generation method thereof. Means for solving the problem
  • a stereoscopic image generating apparatus and a stereoscopic image generating method according to the present invention have the following features.
  • a stereoscopic image generation apparatus is a stereoscopic image generation apparatus that displays a 2D image and a Z or multi-viewpoint 3D image, and detects parallax inversion of the multi-viewpoint 3D image being displayed.
  • a parallax reversal detecting means that moves the entire multi-viewpoint 3D image in a horizontal direction by a predetermined distance when the parallax reversal occurs in the displayed multi-viewpoint 3D image. It is characterized by that.
  • the parallax inversion detection unit determines a reference point at which the parallax inversion does not occur, and includes information on the number of viewpoints of a multi-viewpoint 3D image, the reference point, and the window. From this distance, the presence or absence of parallax inversion is detected, and the amount of deviation from the window position where correct observation is possible is detected.
  • the stereoscopic image generation apparatus of the present invention is characterized in that the parallax inversion detection unit notifies the shift adjustment unit of the detected shift amount.
  • the movement adjusting unit corrects the notified shift amount, and adjusts the distance between the reference point and the window to be an integral multiple of the number of viewpoints. It is characterized by adjusting.
  • the stereoscopic image generating apparatus of the present invention further includes display image generating means for generating and displaying a 2D image and a Z or multi-viewpoint 3D image, and the display image generating means includes an image display area in the window.
  • the display is characterized by being shifted by one pixel or a plurality of pixels.
  • the movement adjusting unit deletes one or more columns at the vertical end of the displayed image in the window, and the remaining number of images equal to the number of deleted columns. Is moved in the direction of filling the deleted one or more columns.
  • the predetermined number of images are inserted in the same number as the number of moved columns. It is characterized by that.
  • the stereoscopic image generating apparatus of the present invention is characterized in that the movement adjusting means is applied to a window displaying a 3D image.
  • the movement adjusting means may be in a display mode.
  • the stereoscopic image generating apparatus of the present invention is characterized in that the display mode is switched according to identification information included in the input image content.
  • the stereoscopic image generation method of the present invention displays a 2D image and a Z or multi-viewpoint 3D image.
  • 3D image generation method comprising: a visual inversion detection means for detecting parallax inversion of a multi-viewpoint 3D image being displayed; and when the parallax inversion occurs in the multi-viewpoint 3D image being displayed, the multi-viewpoint 3D And a movement adjustment step for moving the entire image in the horizontal direction by a predetermined distance.
  • the parallax inversion detection step determines a reference point without the parallax inversion, information on the number of viewpoints of a multi-viewpoint 3D image, the reference point, and the current key. It is characterized by detecting the presence or absence of parallax inversion and the amount of deviation from the observable window position from the distance from the window.
  • the stereoscopic image generation method of the present invention is characterized in that the parallax inversion detection step notifies the detected shift amount to the movement adjustment step.
  • the movement adjustment step is characterized in that the notified shift amount is corrected and adjusted so that the movement amount of the window is an integral multiple of the number of viewpoints.
  • the stereoscopic image generation method of the present invention further includes a display image generation step for generating and displaying a 2D image and a Z or multi-viewpoint 3D image, and the display image generation step includes an image display area in the window.
  • the display is shifted by one pixel or multiple pixels.
  • the movement adjustment step deletes one or more columns at the vertical end of the display image in the window, and the remaining number of the same number as the number of deleted columns.
  • the image is moved in a direction to fill the deleted row.
  • the movement adjustment step moves the remaining image in the direction of the deleted one or a plurality of columns, and then the same number as the number of columns moved is predetermined. These images are inserted.
  • the stereoscopic image generation method of the present invention is characterized in that the movement adjustment step is applied to all windows regardless of the 2DZ3D display in the display mode.
  • the stereoscopic image generation method of the present invention is characterized in that the movement adjustment step is applied to a window displaying a 3D image.
  • N is an arbitrary integer greater than or equal to 2
  • the parallax inversion that occurs when the window moves in the 3D image can be prevented.
  • FIG. 1 is a functional block diagram illustrating a configuration example of a stereoscopic image generation apparatus according to the present embodiment.
  • FIG. 2 is a functional block diagram showing a configuration example of a drawing unit 113 according to the present embodiment.
  • FIG. 3 is a functional block diagram showing an internal configuration example of 3D drawing means 202 according to the present embodiment.
  • FIG. 4 is a conceptual diagram for determining the coordinates of a window 1701 in the image display area.
  • FIG. 5 is a functional block diagram showing another configuration example of the 3D drawing means 202 according to the present embodiment.
  • FIG. 6 is a diagram for explaining processing of the image adjusting unit 501 when the parallax inversion information 14 is information indicating that parallax inversion has been detected.
  • FIG. 7 is a functional block diagram showing another configuration example of the 3D drawing means 202 according to the present embodiment.
  • FIG. 8 is a diagram for explaining processing of the display image creating means 702 when the parallax inversion information 14 is information indicating that parallax inversion has been detected.
  • FIG. 9 A multi-view 3D image with N-view image power is processed for 3D display and superimposed on the window.
  • FIG. 10 is a diagram for explaining processing of the image adjustment unit 1501 when the parallax inversion information 14 is information indicating that parallax inversion has been detected.
  • FIG. 11 is a diagram for explaining processing of display image creating means 1601 when the parallax inversion information 14 ′ is information indicating that parallax inversion has been detected.
  • FIG. 12 is a functional block diagram showing another configuration example of the stereoscopic image generating device according to the present embodiment.
  • FIG. 13 is a functional block diagram showing a configuration example of a drawing unit 1202 according to the present embodiment.
  • FIG. 14 is a functional block diagram showing a configuration example of 3D drawing means 1301 according to the present embodiment.
  • FIG. 15 is a functional block diagram showing another configuration example of the 3D drawing means 1301 according to the present embodiment.
  • FIG. 16 is a functional block diagram showing another configuration example of the 3D drawing means 1301 according to the present embodiment.
  • FIG. 17 is a conceptual diagram of a display device capable of displaying a plurality of windows.
  • FIG. 18 is a conceptual diagram showing the positional relationship between the liquid crystal panel used in the parallax noria system and the slits of the parallax noria.
  • FIG. 19 is a diagram showing a state in which adjacent columns are interchanged to prevent parallax inversion.
  • FIG. 20 Concept showing means for creating 3D image data by alternately arranging right-eye images and left-eye images one by one from image data in which right-eye images and left-eye images are arranged side by side It is a figure.
  • FIG. 21 is a conceptual diagram showing means for creating 3D image data by alternately arranging images for viewpoints one by one from image data in which images for a plurality of viewpoints are arranged side by side.
  • FIG. 22 is a flowchart showing an operation example of 3D rendering means 1301 according to the present embodiment.
  • FIG. 23 is a flowchart showing another operation example of the 3D drawing means 1301 according to the present embodiment.
  • FIG. 24 is a flowchart showing another operation example of the 3D drawing means 1301 according to the present embodiment.
  • FIG. 25 is a diagram showing how a user observes a multi-viewpoint image in which parallax inversion has occurred. Explanation of symbols
  • the image data includes a moving image and a still image. Further, the image data includes compressed image data using a compression technique such as MPEG-4.
  • a stereoscopic image generating device according to a first embodiment of the present invention will be described below with reference to the drawings.
  • FIG. 1 is a functional block diagram showing a configuration example of the stereoscopic image generating apparatus according to the present embodiment.
  • the stereoscopic image generating apparatus includes a stereoscopic image generating unit 101 capable of handling 2D images and 3D images, and a display unit 102 capable of displaying 2D images and 3D images.
  • the stereoscopic image generating unit 101 and the display unit 102 may be a separated type connected by a cable or an integrated type.
  • the stereoscopic image generation unit 101 includes a content reproduction unit 111, a drawing unit 113, a 2DZ3D control unit 112, and a graphic memory 114.
  • the display unit (display) 102 includes display means 121 and 2DZ3D switching means 122.
  • the content playback means 111 decodes the input 2DZ3D content C1, converts it to an appropriate image format such as RGB format, and outputs the image data to the rendering means 113. At this time, if the input 2DZ3D content C1 includes identification information indicating that it is a two-dimensional image or a three-dimensional image, it is output to the 2DZ3D control means 112 as 2DZ3D identification information II. When 3D identification information is not included, information indicating that the image is a two-dimensional image is output to the 2DZ3D control means 112 as 2D Z3D identification information II.
  • User input UI1 is input to 2DZ3D control means 112 from the outside
  • 2DZ3D switching control information 12 is input from 2DZ3D switching means 122
  • 2DZ3D identification information II is input from the content playback means.
  • the 2DZ3D control means 112 also switches the display mode to 2DZ3D according to a predetermined control method for these information powers.
  • 2DZ3D switching information 13 which is information indicating whether the current display mode is a 2D display mode or a 3D display mode is output to the drawing means 113.
  • control method there are various control methods, for example, 2DZ3D identification information II is given priority over user input UI1ZUI 2, and user input UI1ZUI2 is not accepted while 2DZ3D identification information II exists. However, any of them may be used.
  • FIG. 2 is a functional block diagram illustrating a configuration example of the drawing unit 113. As shown in FIG. 2, 2DZ3D switching information 13 is input to the drawing means 113. Each of the switch 251 and the switch 252 is a switch that is switched according to the contents of the 2DZ3D switching information 13.
  • the switch 251 is switched so that the decoded image data D1 is input to the 2D drawing means 201,
  • the switch 252 is switched so that the window movement request UI3 is input to the 2D drawing means 201.
  • the switch 251 when indicating that the mode is for 3D display, the switch 251 is switched so that the image data D1 is input to the 3D drawing means 202, and the window movement request UI3 is changed to the 3D drawing means 202. Switch 252 switches as entered.
  • the 2D drawing means 201 and the 3D drawing means 202 create display image data D2 as follows from the input window movement request UI3 and the decoded image data D1, respectively.
  • the 2D drawing means 201 superimposes the decoded image data D1 on the corresponding window.
  • the window move request UI 3 is input, the window is moved, and the corresponding image is also moved in accordance with the movement of the window.
  • display image data D2 is created and output to the graphic memory 114.
  • FIG. 3 is a functional block diagram showing the internal configuration of the 3D drawing means 202.
  • the 3D drawing unit 202 includes a parallax inversion detection unit 301, a movement adjustment unit (hereinafter referred to as a movement amount adjustment unit) 302, a display image generation unit 303, and a 3D image generation unit 304. Is done.
  • the decoded image data D1 is an image in which the right-eye image and the left-eye image are arranged side by side as shown in FIG. For picture and left The ophthalmic images are alternately arranged one by one, and 3D image data as shown in FIG. 20 (b) is preliminarily created and output to the display image creation means 303.
  • Window movement request UI3 is input to parallax inversion detection means 301.
  • the disparity inversion detection means 301 obtains the current window position from the window position information power (not shown), determines whether the disparity inversion occurs at the position of the window after movement by the window movement request UI3, and detects the disparity inversion.
  • Disparity inversion information 14 indicating whether or not and a window movement request
  • UI3 is output to the movement amount adjusting means 302.
  • FIG. 4 is a conceptual diagram for determining the coordinates of the window 1701 in the image display area.
  • the parallax inversion detection unit 301 uses the upper left corner of the window 1701 as a reference point 402 (X, y), and the reference point 402 is a point 401 (hereinafter referred to as the origin) at the upper left corner of the display screen (0, If the horizontal distance X from the origin 401 after moving the window is an odd number, it is detected that the parallax inversion has occurred. Note that means other than those described here may be used as the parallax inversion detection means.
  • the switch 251 is switched, and the decoded image data D1 is input to the 3D drawing means 202.
  • a control unit (not shown) operates the parallax inversion detection unit 301.
  • the parallax inversion detection means 301 always checks for the presence of parallax inversion every time.
  • the parallax inversion is performed even when the window is arranged at a position where the parallax inversion is detected. Can be detected.
  • Window movement request UI3 and parallax inversion information 14 are input to movement amount adjusting means 302.
  • the movement amount adjustment unit 302 uses the window movement request UI3 as it is as the window movement request UI3 'as it is and the display image creation unit 303. Output to. Further, when the parallax inversion information 14 is information indicating that the parallax inversion has been detected, the movement amount adjustment means 302 displays the window movement request UI3. The newly generated window movement request UI3 ′ is output by increasing or decreasing by one pixel only with respect to the horizontal movement amount without changing the direct movement amount.
  • the window is not placed at the position of the odd pixel horizontally from the origin (0, 0), and the window movement request UI3 ′ input to the display image creation means 303 has a value that does not cause parallax inversion. It will be corrected.
  • the graphic memory 114 outputs the image data D3 to the display unit 121 and is displayed on the display unit 121.
  • the presence or absence of parallax inversion is detected from the input window movement amount, and the window movement amount is adjusted in accordance with the presence or absence of the display, so that images can be displayed without being replaced in units of columns.
  • the means 121 can always display a 3D image without parallax inversion.
  • the amount of parallax does not change because measures are taken so that the parallax is not reversed only by adjusting the movement amount of the window.
  • the stereoscopic image generating apparatus according to the second embodiment is a modification of only the internal configuration of the 3D drawing means 202 described in the first embodiment, and the configuration is the same and the operation is the same for the other parts. The description is omitted, and only the internal configuration and operation of the 3D drawing means 202 will be described.
  • FIG. 5 is a functional block diagram showing another configuration example of the 3D drawing unit 202 shown in FIG.
  • the difference from the 3D drawing unit 202 described with reference to FIG. 3 is that the movement amount adjusting unit 302 is deleted, and instead, a movement adjusting unit (hereinafter referred to as an image adjusting unit in this embodiment).
  • the point where 01 is added and the parallax inversion detection unit 301 is a point at which the parallax inversion information 14 is input to the image adjustment unit 501.
  • the image adjustment unit 501 will be described.
  • the image adjustment unit 501 receives the parallax inversion information 14 and the 3D image data D4.
  • the image adjustment unit 501 When the parallax inversion information 14 is information indicating that no parallax inversion has been detected, the image adjustment unit 501 outputs the input 3D image data D4 as it is to the display image creation unit 303, When the parallax inversion information 14 is information indicating that parallax inversion has been detected, the image adjustment unit 501 performs image adjustment on the input 3D image data D4, and then proceeds to the display image creation unit 303. Output.
  • FIG. 6 is a diagram for explaining processing of the image adjustment unit 501 when the parallax inversion information 14 is information indicating that parallax inversion has been detected.
  • FIG. 6 (a) As described in FIG. 4 and FIG. 18 (b), the horizontal position force at the upper left corner of the window displaying the 3D image, the origin force, and the odd-numbered pixel position are reached. 3D image data when parallax inversion occurs. When this 3D image data is moved by one pixel in the direction of the arrow 601 and the leftmost column image is deleted, the result is as shown in FIG. 6 (b). In FIG. 6 (b), parallax inversion does not occur because the right-eye image and left-eye image in FIG. 6 (a) are shifted to the left by one pixel.
  • the size of the entire image is reduced by one pixel in the horizontal direction.
  • a predetermined image is inserted into the right end of the image to create image data.
  • the 3D image data D4 ′ created by the image adjustment means 501 is output.
  • examples of the predetermined image include a black-painted image, but the image is not limited to this and may be any image.
  • an image reduced by one pixel in the horizontal direction may be output as image data created by the image adjustment means.
  • the display means 121 can always display a 3D image without parallax inversion and without changing the parallax amount.
  • the stereoscopic image generating apparatus according to the third embodiment is obtained by changing only the internal configuration of the 3D drawing unit 202 described in the second embodiment. The description will be omitted, and only the internal configuration and operation of the 3D drawing means 202 will be described.
  • FIG. 7 is a functional block diagram showing another configuration example of the 3D drawing unit 202 shown in FIG.
  • the parallax inversion detection unit 301 and the 3D image creation unit 304 in FIG. 7 are the same as those in FIG. 3, the same reference numerals are used, and description thereof is omitted.
  • the difference from FIG. 3 is that the moving amount adjustment means 302 is a V-point, and display image creation means instead of the display image creation means 303 (the display image creation means in this embodiment is different from the display image creation means).
  • the parallax inversion detection unit 301 is a point at which the parallax inversion information 14 is input to the display image creation unit 702.
  • the display image creating means 702 will be described.
  • the display reversal information 14 and the 3D image data D4 are input to the display image creating means 702.
  • the display image creation unit 702 performs the same processing as the 2D drawing unit 201 illustrated in FIG.
  • FIG. 8 is a diagram for explaining processing of the display image creating unit 702 when the parallax inversion information 14 is information indicating that parallax inversion has been detected.
  • the horizontal position of the upper left corner of the window displaying 3D image data is an odd pixel position from the origin, that is, if parallax inversion is detected, the image display in the window Move the position by one pixel in the direction of the arrow, and display it as shown in Fig. 8 (b).
  • the positions of the right-eye image and the left-eye image are interchanged in FIGS. 8A and 8B, so that the parallax inversion does not occur.
  • the pixel position at the left end of the window frame in FIG. If the distance W from the pixel position is 1 pixel, the frame disappears. Therefore, if you want to display the frame, it is desirable to have 2 or more pixels. Note that in FIG. 8 (a), the power may be driven to the right, which shows an example of moving the entire image to the left.
  • the display unit 121 always moves the parallax by moving the image display area in the window. It is possible to display a 3D image that does not invert and does not change the amount of parallax.
  • the 3D image data to be handled is composed of image data of two viewpoints for the left eye and the right eye!
  • the 3D image data may be a multi-viewpoint stereoscopic image composed of N (N is a natural number of 2 or more) viewpoints! /.
  • FIG. 9 is a diagram in which a multi-viewpoint stereoscopic image having N-viewpoint image power is processed for stereoscopic display and superimposed on a window.
  • N 2 for 2 viewpoints
  • the stereoscopic image generating apparatus described in the first, second, and third embodiments of the present invention may be applied to a multi-view stereoscopic image in the same manner as in the case of two viewpoints. .
  • FIG. 12 is a functional block diagram illustrating a configuration example of the stereoscopic image generating device according to the fourth embodiment.
  • the stereoscopic image generation apparatus is different from the stereoscopic image generation apparatus described in the first embodiment of FIG. The difference is that the number reproduction means 1201 is installed in place of the drawing means 113 and the drawing means 1202 is installed, and the number-of-views information 15 is output in addition to the decoded image data D1 from the content reproduction means 1201 to the drawing means 1202.
  • the configuration is the same and the operation is the same, and the description thereof is omitted.
  • the content reproduction means 1201 will be described. If the input 2DZ3D content C1 includes the number-of-views information indicating that the content is composed of images of N (N is a natural number of 2 or more) viewpoints! The same operation as the content reproduction means 111 in FIG. 1 is performed except that the score information is analyzed and output.
  • 2DZ3D content C1 is a multi-viewpoint stereoscopic image content composed of N-viewpoint images and includes viewpoint number information.
  • the content reproduction unit 1201 analyzes the number-of-views information and transmits it to the drawing unit 1202 together with the decoded image data D1.
  • the content reproduction means 1201 may output information indicating that the number-of-views information is unknown as the number-of-views information, You may output the number-of-views information which shows that there exists.
  • the viewpoint number information may be input to the drawing unit 1202 by the user from outside.
  • FIG. 13 is a functional block diagram illustrating a configuration example of the drawing unit 1202.
  • the drawing unit 1202 performs the same operation except that the number of viewpoints information is added to the input and the 3D drawing unit 1301 is installed instead of the 3D drawing unit 202. Do. Further, the number-of-views information input to the drawing unit 1202 is transmitted to the 3D drawing unit 1301.
  • FIG. 14 is a functional block diagram showing a configuration example of the 3D drawing means 1301. Since the display image creation means 303 in FIG. 14 is the same as that in FIG. 3, the same reference numerals are used and description thereof is omitted.
  • the number-of-views information input to the 3D drawing unit 1301 is transmitted to the 3D image creation unit 1401, the visual inversion detection unit 1402, and the movement amount adjustment unit 1403, respectively.
  • the parallax inversion detection unit 1402 has the number of viewpoints as input compared to the parallax inversion detection unit 301 in FIG. The same operation is performed except that the point where the information 15 is added and the point where the parallax inversion information 14 ′ is output instead of the parallax inversion information 14.
  • the parallax inversion information 14 ′ includes information indicating whether or not parallax inversion has been detected, and the value of k when the parallax inversion is detected.
  • the movement amount adjustment unit 1403 is different from the point that the viewpoint number information 15 is added to the input and the point that the parallax inversion information 14 ′ is input instead of the parallax inversion information 14. Perform the same input / output
  • the movement amount adjusting means 1403 displays the window movement request UI3 as it is as the window movement request UI3'. Output to creation means 303.
  • the movement amount adjustment unit 1403 does not change the vertical movement amount of the window movement request UI3, but only with respect to the horizontal movement amount.
  • N Output a newly created window move request UI3 'that increases by k pixels or decreases by k pixels.
  • the window is always arranged at a position horizontally multiple of N from the origin (0, 0), and the window movement request UI3 ′ input to the display image creation means 303 is a value that does not cause parallax inversion. It will be modified.
  • the decoded image data D1 and the number-of-views information 15 are input to the 3D image creation means 1401.
  • the 3D image creating means 1401 From the number of viewpoints information 15, that is, the number of viewpoints N included in the image data D1, the position of each viewpoint image included in the image data D1 is specified, and one column is taken out from the right (or left) end of each viewpoint image and alternately. Average Then, 3D image data as shown in FIG. 21 (b) is created and output to the display image creation means 303.
  • FIG. 22 is a flowchart showing the operation of the 3D drawing means 1301 according to this embodiment.
  • the state in which the power of the apparatus is turned on is set as the start state of the flowchart, and the process proceeds to determination step S101.
  • determination step S101 if decoded data D1 is input to 3D image creation means 1401, the process proceeds to determination step S102, otherwise returns to determination step S101.
  • the parallax inversion detection unit 1402 proceeds to step S103 when the window movement request U13 is input, and proceeds to step S112 when it is not input.
  • step S112 the movement amount adjusting unit 1403 is not operated, the window movement request UI3 ′ is not output to the display image creating unit 303, and the process proceeds to step 110.
  • step S103 the parallax inversion detection means 1402 obtains the input viewpoint number information 15 force as well as the viewpoint number N, the window movement amount from the window movement request UI3, and the obtained viewpoint number N deviates from the window movement amount force.
  • the amount k is calculated, and the process proceeds to determination step S104.
  • step S104 in the parallax inversion detection means 1402, if the shift amount k is not 0, the process proceeds to step S105, and if it is 0, the process proceeds to step S106.
  • step S105 the shift amount k and the window movement request UI3 are respectively output from the parallax inversion detection unit 1402 to the movement amount adjustment unit 1403 as the parallax inversion information 14 ′ indicating that the parallax inversion has been detected. Proceed to step S107.
  • step S 107 the movement amount adjusting means 1403 obtains the window movement amount from the input window movement request UI 3 and the viewpoint number N from the viewpoint number information 15. Using these values and the shift amount k obtained from the parallax inversion information 14 ', the window movement amount is adjusted to increase by N k pixels or decreased by k pixels to create a new window movement amount. Output this newly created window movement amount as window request UI3 ', Proceed to step SI 08.
  • the amount is output to the amount adjusting unit 1403, and the process proceeds to step S109.
  • step S109 the movement amount adjusting unit 1403 inputs the parallax inversion information 14
  • the window movement request UI3 is output as it is to the window moving request UI3 ′ to the display image creating means 302, and the process proceeds to step S108.
  • step S108 the display image creating means 302 moves the window to an appropriate position based on the window movement request UI3 ′, and proceeds to step 110.
  • step S110 the input 3D image data is displayed at the center of the window at the current position.
  • Display image data D2 created by superimposing D4 is output, and the process proceeds to decision step 111.
  • the determination step 111 it is determined whether or not the process of the 3D drawing unit 1301 is finished. If not, the process returns to S101, and if finished, the process ends.
  • the above processing may be terminated by stopping playback or display of the 3D image or turning off the power of the apparatus.
  • FIG. 15 is a functional block diagram showing another configuration example of the 3D drawing means 1301 shown in FIG. Further, since the parallax inversion detection unit 1402, the 3D image creation unit 1401, and the display image creation unit 303 in FIG. 15 are the same as those in FIG. 14, the same numbers are used and the description thereof is omitted.
  • the difference from the 3D drawing unit 1301 of FIG. 14 is that the movement amount adjusting unit 1403 is deleted, and an image adjusting unit 150 1 is installed between the 3D image creating unit 1401 and the display image creating unit 303 instead.
  • the parallax inversion information 14 ′ is input to the image adjustment unit 1501 from the parallax inversion detection unit 1402.
  • the visual point number information 15 input to the 3D drawing unit 1301 is supplied to the parallax inversion detection unit 1402, the image adjustment unit 1501, and the 3D image creation unit 1401, respectively. Is transmitted.
  • the operation of the image adjustment unit 1501 will be described.
  • the image adjustment unit 1501 has the same input / output as the image adjustment unit 501 in FIG. 5 except that the parallax number information 15 is added to the input.
  • the image adjustment unit 1501 When the parallax inversion information 14 'is information indicating that no parallax inversion has been detected, the image adjustment unit 1501 outputs the input 3D image data D4 as it is to the display image generation unit 303. If the information indicates that parallax inversion has been detected, the image adjustment unit 1501 performs image adjustment on the input 3D image data D4, and then outputs the image to the display image creation unit 303.
  • the image adjustment performed by the image adjustment unit 1501 is an extension of the image adjustment performed by the image adjustment unit 501 of FIG. 5 for the N viewpoints, and the image adjustment at this time will be described below.
  • Fig. 9 shows a situation where parallax inversion occurs when k pixels are separated from a point that is a multiple of the horizontal position force N at the upper left point of the window displaying the 3D image.
  • the 3D image at this time is an image composed of N viewpoint image columns arranged alternately for each column, as described in FIG. 21 (b).
  • the image adjusting means 1501 obtains the number of viewpoints N and the shift amount k from the input viewpoint number information 15 and parallax inversion information 14 ', respectively.
  • FIG. 10 is a diagram for explaining processing of the image adjustment unit 1501 when the parallax inversion information 14 is information indicating that parallax inversion has been detected.
  • the image adjustment means 1501 is provided for k columns from the left of the image. Is deleted, and the entire remaining image is moved to the left by k pixels.
  • each pixel of the 3D image is placed at the same Cf position as the upper left point of the window when the origin force is a distance that is a multiple of N, so parallax inversion does not occur.
  • the left edge of the image has been deleted by k columns, and the remaining image has been moved to the left.
  • the right edge of the image has been deleted by Nk columns, and the entire image has been shifted to the right by Nk pixels. You may move. Thereafter, a predetermined image of Nk pixels may be inserted at the left end of the image.
  • k may be compared with Nk, and a selection method such as deleting the left end when k is smaller and deleting the right end when Nk is smaller may be used.
  • examples of the predetermined image include a black-painted image, but the image is not limited to this and may be any image.
  • the number of columns to be inserted may be the output of the image adjustment means, and the number of columns to be inserted may be reduced.
  • image data deleted by k or Nk pixels in the horizontal direction of the image size may be output as the image adjustment means.
  • FIG. 23 is a flowchart showing the operation of the 3D rendering means 1301 according to this embodiment. Note that steps S101, S102, S103, S104, S105, S106, S108, SlO, Sill, and S112 are performed in the same manner as in the flowchart of FIG. The explanation is omitted, and only steps S206, S208, and S209 are described.
  • step S206 the image adjusting means 1501 deletes the left k columns of the display image, moves the entire remaining display image to the left by k pixels, and proceeds to step S208.
  • step S208 the image adjustment means 1501 adds a predetermined number of predetermined columns of images to the right side of the display image, and proceeds to step S109.
  • steps S206 and S208 the example in which the left side of the display image is deleted has been described. However, the right side of the display image is deleted, the remaining images are moved to the right side, and the moved columns are displayed. You can add a predetermined image to the left side.
  • step S209 the image adjustment means 1501 is required to input the parallax inversion information 14, the force, and the displacement k force ⁇ , and the window move request UI3 is not adjusted and the window move request is left as it is. It outputs to the display image creation means 302 as UI3 ′, and proceeds to step S108.
  • the display means 121 when the presence or absence of parallax inversion is detected from the input window movement amount and the parallax inversion occurs, the deviation from the position where the correct observation can be performed from the position of the window and the number of viewpoints information.
  • the display means 121 By obtaining the amount, deleting one end row of the image data according to the amount of deviation, and adding a predetermined image to the end row in the opposite direction to the deleted row, the display means 121 always causes parallax inversion. N-viewpoint 3D images can be displayed without changing the amount of parallax.
  • the stereoscopic image generating apparatus is obtained by changing only the internal configuration of the 3D drawing means 1301 described in the fourth embodiment, and the configuration of other parts is changed. The operation is the same, the description is omitted, and only the internal configuration and operation of the 3D drawing means 1301 will be described.
  • FIG. 16 is a functional block diagram showing another configuration example of the 3D drawing unit 1301 shown in FIG. Since the parallax inversion detection unit 1402 and the 3D image creation unit 1401 in FIG. 16 are the same as those in FIG. 14, the same numbers are used and the description thereof is omitted.
  • the difference from FIG. 14 is that the movement amount adjusting means 1403 is deleted, and the display image creating means ′ (including the movement adjusting means) 1601 is installed instead of the display image creating means 303.
  • the parallax inversion detection unit 1402 outputs the parallax inversion information 14 ′ to the display image creation unit 1601.
  • the number-of-views information input to the 3D rendering unit 1301 is transmitted to the parallax inversion detection unit 1402 and the 3D image creation unit 1401, respectively. Is done.
  • the display image creating means 1601 has the same input / output as the display image creating means 702 of FIG. 7 except that it outputs parallax inversion information 14' instead of parallax inversion information 14.
  • the display image creation unit 1601 displays the 2D drawing means shown in Fig. 2 when the parallax inversion is not detected. The same processing as 201 is performed.
  • the display image creation unit 1601 performs the following process.
  • FIG. 11 is a diagram for explaining the processing of the display image creation means 1601 when the parallax inversion information 14 'is information indicating that parallax inversion has been detected.
  • the horizontal position of the upper left corner of the window is a multiple of N from the origin + k (k is a natural number smaller than N), that is, the disparity If inversion is detected, move the image display position in the window to the left by k pixels and display as shown in Fig. 11 (b).
  • each pixel of the 3D image is arranged at the same position as when the upper left point of the window is a multiple of N from the original point, so that no parallax inversion occurs. .
  • k and N—k may be compared, and power may be driven to the left when k is smaller and to the right when N—k is smaller.
  • the distance W is set to NZ so that the moved image does not protrude from the frame.
  • FIG. 24 is a flowchart showing the operation of the 3D rendering means 1301 according to this embodiment. Since steps S101, S102, S103, S104, S105, S106, S108, Sill, and S112 are the same as those in the flowchart of FIG. 21, the same numbers are used and description thereof is omitted. In addition, since step S300 is a step for explaining the same operation as S108, its explanation is omitted, and only steps S301 and S302 will be explained below.
  • step S301 when the 3D image data D4 is superimposed on the window in the display image creation means 1601, it is created by overlaying the center of the window with k pixels on the left or N ⁇ k pixels on the right.
  • the display image data D2 is output and the process proceeds to decision step 111.
  • step S302 the display image creation means 1601 creates a display created by superimposing the input 3D image data D4 on the center of the window at the current position in the same manner as the display image creation means 302 in step S108. Image data D2 is output, and the process proceeds to decision step 111.
  • the display means 121 can always display a 3D image in which the parallax inversion does not occur and the parallax amount does not change.
  • 3D image data to be handled is composed of image data of two viewpoints for the left eye and the right eye.
  • N is a natural number of N ⁇ 2 viewpoints
  • disparity inversion due to window movement is prevented.
  • the amount of parallax does not change.
  • the parallax adjustment is performed when the amount of movement of the window is not divisible by the number of viewpoints.
  • the parallax adjustment is performed only when parallax inversion occurs at the current observation position of the observer. May be performed.
  • parallax adjustment is performed only when such inversion occurs.
  • the parallax adjustment may be shifted by any number of viewpoints as long as the parallax is not reversed.
  • the adjustment may be made by shifting left and right by one viewpoint, or may be adjusted by shifting left and right so that an image of the same viewpoint as before the movement can be seen.
  • examples of the image generation apparatus described in all the embodiments of the present invention include a computer, a broadcast receiving terminal, a disk type reproduction apparatus, a tape type reproduction apparatus, and the like, but are not limited thereto. Any device can be used as long as it is a device that generates a stereoscopic image that is not a thing.
  • the stereoscopic image generating apparatus and the stereoscopic image generating method thereof according to the present invention require only fine adjustment of the image display position that does not require replacement of images for each column, and parallax inversion and parallax inversion that occur when the window moves. Therefore, the present invention can be widely applied to stereoscopic image generation devices such as personal computers and disk-type playback devices that are generally used.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Processing Or Creating Images (AREA)

Abstract

　表示画面中の任意の位置に表示することができるウインドウ内にＮ視点３Ｄ画像を表示する場合に、画像を一列単位で入れ替えずにウインドウの移動による視差反転を防止する。 　任意の位置に配置および移動することが可能なウインドウの移動に伴ってＮ視点３Ｄ画像が移動する際、ウインドウの移動先座標と、あらかじめ定めた基準位置に基づいて、表示中の多視点３Ｄ画像の視差反転と、正常な観察が可能なウインドウ位置からのずれ量を検出し、視差反転が検出された場合、ずれ量に応じてウインドウの移動量あるいは画像の表示位置を補正し、視差反転を防止する。

Description

立体画像生成装置及びその立体画像生成方法
技術分野
[0001] 本発明は、右眼と左眼の視差を利用してユーザに立体像を観察させる立体画像生 成装置及びその生成方法に関する。特に、通常の 2次元画像と 3次元画像とを切り 替えて表示することができる、或いは 2次元画像と 3次元画像とを混在させて表示す ることができる立体画像生成装置及びその立体画像生成方法に関する。
背景技術
[0002] 従来、視差を有する一組の画像を立体視することにより立体感のある画像を見るこ とができる立体画像表示方法が知られている。例えば、表示装置に左眼用と右眼用 の画像を交互に出力し、ユーザは、その表示の切り替えタイミングに同期してシャツタ 一を切り替えることのできる眼鏡を通して画像を観察することにより、立体画像を観察 することができる。
[0003] また、特別な眼鏡等を用いずに立体画像を再生する方法には、ノ ララックスノリア 方式と呼ばれる方法がある。左眼用の画像と右眼用の画像のそれぞれを画像の垂 直走査方向に短冊状に分解し、交互に並べて一枚の画像とする。その画像を表示 する表示装置には、画像を分解した場合と同様の短冊状のスリットがある。スリットを 通して、表示装置により短冊状の画像データを観察する。偏光板により短冊状に配 置された左眼用の画像はユーザの左眼で、右眼用の画像は右眼で観察すると、画 像に立体感を得ることができる。スリットの代わりにレンチキユラレンズを用いたレンチ キユラ方式と呼ばれる方法もある。
[0004] 図 18 (a)は、これを示した図であり、スリット 1801を通してディスプレイ 1802を観察 した時、画素 1803に表示された右眼用画像が右眼で、画素 1804に表示された左 眼用画像が左眼で観察される様子を示す。このように、右眼で観察する画像と左眼 で観察する画像との間に視差を作り、人間が画像に立体感を感じることができる。
[0005] 本明細書において、 3原色の RGBデータのそれぞれをドットと称し、 3原色の RGB データのひとまとまりを画素と称す。 [0006] 図 17は、表示画面中に複数のウィンドウを表示している様子である。ウィンドウは任 意の位置に表示することが可能であり、ウィンドウ内で 2Dまたは 3Dコンテンツを表示 すること力 Sできる。ウィンドウ 1702, 1703は 2Dコンテンツ、 1701, 1704は 3Dコンテ ンッを表示している。ここで、コンテンツとは静止画や動画を含む。
[0007] ある時点で、ディスプレイは 3Dモードであり、ウィンドウ 1701に表示されている 3D 画像が図 18 (a)のように正しく観察されているものとする。このとき、ウィンドウ 1701を 水平方向に奇数画素分移動させると、観察される画像は図 18 (b)のようになり、右眼 用画像と左眼用画像が入れ替わり、視差の反転により正しい立体視ができなくなると いう問題点があった。なお、本明細書では、この問題を視差反転と称す。
[0008] 特許文献 1では、ウィンドウの移動により視差反転が生じる場合、図 19 (a)に示す 方法で右眼用の画像と左眼用の画像を入れ替えることにより、左右の視差画像が正 しく観察される図 19 (b)を作り出す方法を公開して 、る。
特許文献 1：特願 2000— 231913号公報
発明の開示
発明が解決しょうとする課題
[0009] しカゝしながら、上述の方法で視差反転を防止する場合、画像を一列単位で入れ替 えるため、処理が複雑となる問題があった。また、入れ替えにより、左目と右目のそれ ぞれが観察する画像の位置が移動するため、それらの画像によって生じる視差量に も変化が生じ、コンテンツ作成者の意図通りの立体視ができなくなってしまう問題があ つた o
[0010] 本発明の目的は、表示画面中の任意の位置に表示することができるウィンドウ内に 立体画像を表示する場合に、画像を一列単位で入れ替えずにウィンドウの移動によ る視差反転を防止する立体画像生成装置及びその立体画像生成方法を提供する。 課題を解決するための手段
[0011] 上記課題を解決するために、本発明に係る立体画像生成装置及び立体画像生成 方法は、以下の特徴を備えている。
[0012] 本発明に係る立体画像生成装置は、 2D画像および Zまたは多視点 3D画像を表 示する立体画像生成装置であって、表示中の多視点 3D画像の視差反転を検出す る視差反転検出手段と、前記表示中の多視点 3D画像に前記視差反転が生じた場 合、前記多視点 3D画像の全体を所定の距離だけ水平方向に移動する移動調整手 段と、を備えることを特徴とする。
[0013] また、本発明の立体画像生成装置は、前記視差反転検出手段が、前記視差反転 が生じない基準点を定め、多視点 3D画像の視点数情報と、前記基準点と前記ウィン ドウとの距離から、視差反転の有無を検出するとともに、正しい観察が可能なウィンド ゥ位置からのずれ量を検出することを特徴とする。
[0014] また、本発明の立体画像生成装置は、前記視差反転検出手段が、検出した前記ず れ量を、前記移動調整手段に通知することを特徴とする。
[0015] また、本発明の立体画像生成装置は、前記移動調整手段が、通知された前記ずれ 量を補正し、前記基準点と前記ウィンドウとの距離が視点数の整数倍となるように調 整することを特徴とする。
[0016] また、本発明の立体画像生成装置は、 2D画像および Zまたは多視点 3D画像を作 成'表示する表示画像作成手段を備え、前記表示画像作成手段は、ウィンドウ内で 画像表示領域を 1画素分または複数画素分ずらして表示することを特徴とする。
[0017] また、本発明の立体画像生成装置は、前記移動調整手段が、ウィンドウ内で表示 画像の垂直端の 1列または複数列を削除し、削除した列数と同じ数だけ、残りの画像 を該削除した 1列または複数列を埋める方向に移動させることを特徴とする。
[0018] また、本発明の立体画像生成装置は、前記移動調整手段が、前記残りの画像を該 削除した列の方向に移動させた後、移動した列数と同じ数だけ所定の画像を挿入す ることを特徴とする。
[0019] また、本発明の立体画像生成装置は、前記移動調整手段が、 3D画像を表示中の ウィンドウに対して適用することを特徴とする。
[0020] また、本発明の立体画像生成装置は、前記移動調整手段が、ディスプレイモードの
2DZ3D表示に関わらず、全てのウィンドウに対して適用することを特徴とする。
[0021] また、本発明の立体画像生成装置は、前記ディスプレイモードが、入力画像コンテ ンッに含まれる識別情報によって切り替わることを特徴とする。
[0022] 本発明の立体画像生成方法は、 2D画像および Zまたは多視点 3D画像を表示す る立体画像生成方法であって、表示中の多視点 3D画像の視差反転を検出する視 差反転検出手段と、前記表示中の多視点 3D画像に前記視差反転が生じた場合、 前記多視点 3D画像の全体を所定の距離だけ水平方向に移動する移動調整ステツ プと、を備えることを特徴とする。
[0023] また、本発明の立体画像生成方法は、前記視差反転検出ステップが、前記視差反 転のない基準点を定め、多視点 3D画像の視点数情報と、該基準点と前記現在のゥ インドウとの距離から、視差反転の有無及び正 、観察が可能なウィンドウ位置から のずれ量とを検出することを特徴とする。
[0024] また、本発明の立体画像生成方法は、前記視差反転検出ステップが、検出した前 記ずれ量を、前記移動調整ステップに通知することを特徴とする。
[0025] また、前記移動調整ステップは、通知された前記ずれ量を補正し、前記ウィンドウの 移動量が視点数の整数倍となるように調整することを特徴とする。
[0026] また、本発明の立体画像生成方法は、 2D画像および Zまたは多視点 3D画像を作 成 ·表示する表示画像作成ステップを備え、前記表示画像作成ステップは、ウィンド ゥ内で画像表示領域を 1画素分または複数画素分ずらして表示することを特徴とする
[0027] また、本発明の立体画像生成方法は、前記移動調整ステップが、ウィンドウ内で表 示画像の垂直端の 1列または複数列を削除し、削除した列数と同じ数だけ、残りの画 像を該削除した列を埋める方向に移動させることを特徴とする。
[0028] また、本発明の立体画像生成方法は、前記移動調整ステップが、前記残りの画像 を該削除した 1列または複数列の方向に移動させた後、移動した列数と同じ数だけ 所定の画像を挿入することを特徴とする。
[0029] また、本発明の立体画像生成方法は、前記移動調整ステップが、ディスプレイモー ドの 2DZ3D表示に関わらず、全てのウィンドウに対して適用することを特徴とする。
[0030] また、本発明の立体画像生成方法は、前記移動調整ステップが、 3D画像を表示中 のウィンドウに対して適用することを特徴とする。
発明の効果
[0031] 本発明によれば、ウィンドウに表示された N視点 (Nは 2以上の任意の整数)の画像 力も構成されて 、る 3D画像を、ウィンドウが移動する場合に生じる視差反転を防止 することができる。この際、画像を列毎に入れ替える必要はなぐ画像表示位置の微 調整のみで視差反転を防止することが可能であり、また、画像を入れ替える場合に生 じる視差量の変化をも防ぐことが可能である。
図面の簡単な説明
[図 1]本実施形態による立体画像生成装置の構成例を示す機能ブロック図である。
[図 2]本実施形態による描画手段 113の構成例を示す機能ブロック図である。
[図 3]本実施形態による 3D用描画手段 202の内部構成例を示す機能ブロック図であ る。
[図 4]画像表示領域にぉ 、てウィンドウ 1701の座標を定めるための概念図である。
[図 5]本実施形態による 3D用描画手段 202の別の構成例を示す機能ブロック図であ る。
[図 6]視差反転情報 14が、視差反転を検出したことを示す情報である場合の画像調 整手段 501の処理を説明するための図である。
[図 7]本実施形態による 3D用描画手段 202の別の構成例を示す機能ブロック図であ る。
[図 8]視差反転情報 14が、視差反転を検出したことを示す情報である場合の表示画 像作成手段 702の処理を説明するための図である。
[図 9]N視点の画像力も構成された多視点立体画像を立体表示用に加工し、ウィンド ゥに重ねた図である。
[図 10]視差反転情報 14が、視差反転を検出したことを示す情報である場合の画像調 整手段 1501の処理を説明するための図である。
[図 11]視差反転情報 14'が、視差反転を検出したことを示す情報である場合の表示 画像作成手段 ' 1601の処理を説明するための図である。
[図 12]本実施形態による立体画像生成装置の別の構成例を示す機能ブロック図で ある。
[図 13]本実施形態による描画手段 1202の構成例を示す機能ブロック図である。
[図 14]本実施形態による 3D用描画手段 1301の構成例を示す機能ブロック図である [図 15]本実施形態による 3D描画手段 1301の別の構成例を示す機能ブロック図であ る。
[図 16]本実施形態による 3D描画手段 1301の別の構成例を示す機能ブロック図であ る。
[図 17]複数のウィンドウを表示可能な表示装置の概念図である。
[図 18]パララックスノリア方式で用いる液晶パネルとパララックスノ リアのスリットの位 置関係を示す概念図である。
[図 19]隣り合う列同士を入れ替え、視差反転を防止する様子を示す図である。
[図 20]右眼用画像と左眼用画像が並んで配置された画像データから、右眼用画像と 左眼用画像を 1列ずつ交互に並べ、 3D画像データを作成する手段を示す概念図で ある。
[図 21]複数視点用画像が並んで配置された画像データから、各視点用画像を 1列ず つ交互に並べ、 3D画像データを作成する手段を示す概念図である。
[図 22]本実施形態による 3D描画手段 1301の動作例を示すフローチャートである。
[図 23]本実施形態による 3D描画手段 1301の別の動作例を示すフローチャートであ る。
[図 24]本実施形態による 3D描画手段 1301の別の動作例を示すフローチャートであ る。
[図 25]視差の反転が起きた多視点画像をユーザが観察する様子を示す図である。 符号の説明
101 立体画像生成部
102 表示部
113 描画手段
201 2D用描画手段
202 3D用描画手段
301、 1402 視差反転検出手段
302、 1403 移動量調整手段 303、 702 表示画像作成手段
501、 1501 画像調整手段
発明を実施するための最良の形態
[0034] 本実施の形態にぉ 、て、画像データは、動画像、静止画像を含む。さらに、画像デ ータの中には、例えば MPEG— 4などの圧縮技術を用 、た圧縮画像データを含む。
[0035] (第 1の実施形態）
以下に、本発明の第 1の実施形態による立体画像生成装置について、図面を参照 して説明する。
[0036] 図 1は、本実施形態による立体画像生成装置の構成例を示す機能ブロック図であ る。図 1において、立体画像生成装置は、 2次元画像と 3次元画像を取り扱うことが可 能な立体画像生成部 101と、 2次元画像と 3次元画像を表示可能な表示部 102から 構成される。なお、立体画像生成部 101と表示部 102は、ケーブルで接続する分離 型であっても、一体型であってもよい。
[0037] 立体画像生成部 101は、コンテンツ再生手段 111、描画手段 113、 2DZ3D制御 手段 112、グラフィックメモリ 114から構成される。表示部（ディスプレイ） 102は、表示 手段 121、 2DZ3D切替手段 122から構成される。
[0038] コンテンツ再生手段 111は、入力された 2DZ3Dコンテンツ C1をデコードし、 RGB 形式などの適切な画像の形式に変換して画像データを描画手段 113へ出力する。こ のとき、入力された 2DZ3Dコンテンツ C1が、 2次元画像または 3次元画像であること を示す識別情報を含む場合、 2DZ3D識別情報 IIとして、 2DZ3D制御手段 112 へ出力する。 3D識別情報を含まない場合は、 2次元画像であることを示す情報を 2D Z3D識別情報 IIとして、 2DZ3D制御手段 112へ出力する。
[0039] 2DZ3D制御手段 112には、外部からユーザ入力 UI1が、 2DZ3D切替手段 122 から 2DZ3D切替制御情報 12が、コンテンツ再生手段から 2DZ3D識別情報 IIがそ れぞれ入力される。 2DZ3D制御手段 112はこれらの情報力も所定の制御方法に従 つて、ディスプレイのモードを 2DZ3Dに切り替える。さらに、現在のディスプレイモー ドが 2次元表示用のモードであるか、 3次元表示用のモードであるかを示す情報であ る 2DZ3D切替情報 13を描画手段 113に出力する。 [0040] なお、前記制御方法としては、例えば 2DZ3D識別情報 IIをユーザ入力 UI1ZUI 2より優先し、 2DZ3D識別情報 IIが存在する間はユーザ入力 UI1ZUI2を受け付 けないなど、様々な制御方法があるが、そのいずれを用いても構わない。
[0041] 図 2は、描画手段 113の構成例を示す機能ブロック図である。描画手段 113には、 図 2に示すように、 2DZ3D切替情報 13が入力される。スィッチ 251とスィッチ 252は それぞれ、 2DZ3D切替情報 13の内容に応じて切り替わるスィッチである。
[0042] 2DZ3D切替情報 13が、現在のディスプレイモードが 2次元表示用のモードである ことを示す場合は、デコード済み画像データ D1が 2D用描画手段 201に入力される ようにスィッチ 251は切り替わり、ウィンドウ移動要求 UI3が 2D用描画手段 201に入 力されるようにスィッチ 252は切り替わる。
[0043] また、 3次元表示用のモードであることを示す場合は、画像データ D1が 3D用描画 手段 202に入力されるようにスィッチ 251は切り替わり、ウィンドウ移動要求 UI3が 3D 用描画手段 202に入力されるようにスィッチ 252は切り替わる。
[0044] 2D用描画手段 201と 3D用描画手段 202は、それぞれ、入力されたウィンドウ移動 要求 UI3とデコード済み画像データ D1から、次のように表示用画像データ D2を作 成する。
[0045] まず、 2D用描画手段 201の動作について説明する。 2D用描画手段 201は、デコ ード済み画像データ D1を、対応するウィンドウの上に重ねる。ウィンドウ移動要求 UI 3が入力された場合は、ウィンドウを移動させ、対応する画像もウィンドウの動きに合 わせて移動させる。この処理により表示画像データ D2を作成し、グラフィックメモリ 11 4へ出力する。
[0046] 次に、 3D用描画手段 202の動作について説明する。
[0047] 図 3は、 3D用描画手段 202の内部構成を示す機能ブロック図である。 3D用描画手 段 202は、視差反転検出手段 301と、移動調整手段 (以下、本実施形態では、移動 量調整手段という） 302と、表示画像作成手段 303と、 3D画像作成手段 304から構 成される。
[0048] 3D画像作成手段 304は、デコード済み画像データ D1が、図 20 (a)に示すような、 右眼用画像と左眼用画像が並んで配置された画像であった場合、右眼用画像と左 眼用画像を 1列ずつ交互に並べ、図 20 (b)に示すような 3D画像データをあら力じめ 作り、表示画像作成手段 303へ出力する。
[0049] 視差反転検出手段 301には、ウィンドウ移動要求 UI3が入力される。視差反転検 出手段 301は、図示しないウィンドウ位置情報力も現在のウィンドウの位置を求め、ゥ インドウ移動要求 UI3による移動後のウィンドウの位置で視差反転が起こるかどうか を判定し、視差反転を検出したか否かを示す視差反転情報 14と、ウィンドウ移動要求
UI3を、移動量調整手段 302へ出力する。
[0050] 図 4は、画像表示領域においてウィンドウ 1701の座標を定めるための概念図であ る。
[0051] 視差反転の検出手段 301は、例えば、ウィンドウ 1701の左上を基準点 402 (X, y) とし、基準点 402が表示画面の左上端の点 401 (以下、原点と称す） (0, 0)にある場 合は必ず視差反転は起こらないものとしたうえで、ウィンドウ移動後の原点 401からの 水平距離 Xが奇数であった場合は視差反転が起きたことを検出する。なお、視差反 転の検出手段には、ここに説明した以外の手段を用いても構わない。
[0052] また、 2DZ3D切替情報 13が、入力された画像データが 3Dであることを示す場合、 スィッチ 251が切り替わり、 3D用描画手段 202にデコード済み画像データ D1が入力 される。 3D用描画手段 202にデコード済み画像データ D1が入力されると、図示しな い制御部が、視差反転検出手段 301を動作させる。視差反転検出手段 301は動作 時、常に毎回、視差反転の有無をチェックする。
[0053] 上記のようにして、例えば 2D画像を表示中のウィンドウ力 新たに 3D画像の表示 を開始したとき、視差反転が検出される位置にウィンドウが配置されていた場合にも、 視差反転を検出することができる。
[0054] 移動量調整手段 302には、ウィンドウ移動要求 UI3と視差反転情報 14が入力され る。
[0055] 視差反転情報 14が、視差反転を検出しな力つたことを示す情報である場合、移動 量調整手段 302は、ウィンドウ移動要求 UI3をそのままウィンドウ移動要求 UI3 'とし て表示画像作成手段 303へ出力する。また、視差反転情報 14が、視差反転を検出し たことを示す情報である場合、移動量調整手段 302は、ウィンドウ移動要求 UI3の垂 直移動量はそのままで、水平移動量に関してのみ、 1画素分増やす、あるいは減らし て新たに作成したウィンドウ移動要求 UI3'を出力する。この操作により、ウィンドウが 原点（0, 0)から水平に奇数画素の位置に配置されることはなくなり、表示画像作成 手段 303に入力されるウィンドウ移動要求 UI3'は、視差反転を生じない値に補正さ れたものとなる。
[0056] 表示画像作成手段 303へは、視差反転の起こらな!/、ように補正されたウィンドウ移 動要求 UI3'のみが入力されるため、図 2に示す 2D用描画手段 201と同様の処理を 行い、表示用画像データ D2をグラフィックメモリ 114へ出力する。
[0057] グラフィックメモリ 114は、画像データ D3を表示手段 121へ出力し、表示手段 121 に表示される。
[0058] 以上のようにして、入力されたウィンドウ移動量から視差反転の有無を検出し、その 有無に応じてウィンドウ移動量を調整することにより、画像の列単位での入れ替えを 行うことなぐ表示手段 121は常に視差反転の起こらない 3D画像を表示することがで きる。さらに、ウィンドウの移動量に対する調整のみで視差反転しないように対処する ため、視差量が変化しない。
[0059] (第 2の実施形態）
次に、本発明の第 2の実施形態による立体画像生成装置について図面を参照して 説明する。第 2の実施形態による立体画像生成装置は、第 1の実施形態で説明した 3D用描画手段 202の内部構成のみが変更されたものであり、他の部分に関しては 構成が変わらず動作も同じものとし、その説明は省略し、 3D用描画手段 202の内部 構成とその動作についてのみ説明を行う。
[0060] 図 5は、図 2に示す 3D描画手段 202の別の構成例を示す機能ブロック図である。
図 5の視差反転検出手段 301と、 3D画像作成手段 304、表示画像作成手段 303は 、図 3と同じものであるため、同じ番号を用い、その説明は省略する。
[0061] ここで、図 3で説明した 3D用描画手段 202との違いは、移動量調整手段 302が削 除され、その代わりに移動調整手段 (以下、本実施形態では、画像調整手段という） 5 01が追加された点と、視差反転検出手段 301は、視差反転情報 14を画像調整手段 501に入力する点である。 [0062] 次に、画像調整手段 501について説明する。画像調整手段 501には、視差反転情 報 14と 3D画像データ D4が入力される。
[0063] 視差反転情報 14が、視差反転を検出しなカゝつたことを示す情報である場合、画像 調整手段 501は、入力された 3D画像データ D4をそのまま表示画像作成手段 303 へ出力し、視差反転情報 14が、視差反転を検出したことを示す情報である場合、画 像調整手段 501は、入力された 3D画像データ D4に対して画像調整を行った後、表 示画像作成手段 303へ出力する。
[0064] 図 6は、視差反転情報 14が、視差反転を検出したことを示す情報である場合の画像 調整手段 501の処理を説明するための図である。
[0065] 図 6 (a)は、図 4や、図 18の（b)で説明したように、 3D画像を表示しているウィンドウ の左上端の水平位置力 原点力 奇数画素の位置になったため、視差反転が生じた 際の 3D画像データを示す。この 3D画像データに対し、矢印 601の方向に 1画素移 動し、左端の 1列の画像を削除すると、図 6 (b)のようになる。図 6 (b)は、図 6 (a)の右 眼用画像と左眼用画像の位置が 1画素ずつ左にずれているので、視差反転は生じ ない。
[0066] 上記のような 1列の削除を行う処理により、画像全体のサイズは、水平方向に 1画素 分減少する。ここで、上記の処理後の画像全体のサイズを入力と同じサイズにするた めに、図 6 (c)に示すように、画像の右端に所定の画像を一列挿入して画像データを 作成し、画像調整手段 501で作成した 3D画像データ D4'として出力する。
[0067] ここで、前記所定の画像は、例として黒塗りの画像などが挙げられるが、これに限定 されること無く、どのような画像であってもよい。
[0068] また、この水平方向に 1画素分減少した画像を画像調整手段で作成した画像デー タとして出力してもよい。
[0069] なお、本実施形態による立体画像生成装置の説明では、画像の左端を削除し、残 りの画像全体を左へ動かす例を示したが、画像の右端を削除し、残りの画像全体を 右へ動力しても構わない。
[0070] 以上のようにして、入力されたウィンドウ移動量から視差反転の有無を検出し、視差 反転が生じた場合、画像データの一方の端の列を削除し、削除した分反対方向の端 の列を追加することによって、表示手段 121は常に視差反転の生じないかつ、視差 量も変化しな 、3D画像を表示することができる。
[0071] (第 3の実施形態）
次に、本発明の第 3の実施形態による立体画像表示技術について図面を参照して 説明する。第 3の実施形態による立体画像生成装置は、第 2の実施の形態で説明し た 3D用描画手段 202の内部構成のみが変更されたものであり、他の部分に関して は構成が変わらず動作も同じものとし、その説明は省略し、 3D用描画手段 202の内 部構成とその動作についてのみ説明を行う。
[0072] 図 7は、図 2に示す 3D描画手段 202の別の構成例を示す機能ブロック図である。
図 7の視差反転検出手段 301と、 3D画像作成手段 304は図 3と同じものであるため 、同じ番号を用い、その説明は省略する。図 3との違いは、移動量調整手段 302が無 Vヽ点と、表示画像作成手段 303の代わりに表示画像作成手段 (本実施形態での表 示画像作成手段は、表示画像の作成手段と移動調整手段とを含むものである） 702 を設けた点、視差反転検出手段 301は、視差反転情報 14を表示画像作成手段 702 に入力する点である。
[0073] 次に、表示画像作成手段 702について説明する。表示画像作成手段 702には、視 差反転情報 14と 3D画像データ D4が入力される。視差反転情報 14が、視差反転を検 出しなカゝつたことを示す情報である場合、表示画像作成手段 702は、図 2に示す 2D 用描画手段 201と同様の処理を行う。
[0074] 一方、視差反転情報 14が、視差反転を検出したことを示す情報である場合、表示 画像作成手段 702は、次のような処理を行う。図 8は、視差反転情報 14が、視差反転 を検出したことを示す情報である場合の表示画像作成手段 702の処理を説明するた めの図である。図 8 (a)に示すように、 3D画像データを表示しているウィンドウの左上 端の水平位置が原点から奇数画素の位置になる、つまり、視差反転を検出した場合 は、ウィンドウ内の画像表示位置を矢印の方向に 1画素分移動させ、図 8 (b)のように 表示する。この処理により、図 8 (a)と図 8 (b)では右眼用画像と左眼用画像の位置が 入れ替わるため、視差反転は生じなくなる。
[0075] また、このとき、図 8 (a)のウィンドウ枠の左端の画素位置と画像表示領域の左端の 画素位置との距離 Wが 1画素であると、枠がなくなってしまうため、枠を表示したい場 合は、 2画素以上であることが望ましい。なお、図 8 (a)では画像全体を左に動かす例 を示している力 右に動力しても構わない。
[0076] 以上のようにして、入力されたウィンドウ移動量から視差反転の有無を検出し、視差 反転が生じた場合、ウィンドウ内の画像表示領域を移動させることによって、表示手 段 121は常に視差反転の生じないかつ、視差量も変化しない 3D画像を表示すること ができる。上記の本発明の第 1,第 2,第 3の実施形態の説明では、取り扱う 3D画像 データが、左目用と右目用の 2視点の画像データから構成されて ヽる場合につ！、て 述べたが、前記 3D画像データは N (Nは 2以上の自然数)視点から構成された多視 点立体画像であっても構わな!/、。
[0077] しかし、上記の N視点の場合であっても、 2視点で説明したときと同様、視差反転が 生じて正し!/、立体視ができなくなると!、う問題が起こる。
[0078] 図 9は、 N視点の画像力 構成された多視点立体画像を立体表示用に加工し、ウイ ンドウに重ねた図である。ウィンドウの左上の点 Pが表示画面の原点にある場合に視 差反転が生じない、つまり、正しい立体視が可能であるとき、 2視点で説明したときと 同様、原点力もの水平距離力 の倍数でなければ、正しい立体視ができなくなる（2 視点の場合は N = 2)。このような視差反転を防ぐためには、本発明の第 1,第 2,第 3 の実施形態で説明した立体画像生成装置を 2視点のときと同様にして、多視点立体 画像に適用すればよい。
[0079] 以下に、本発明の第 1,第 2,第 3の実施形態のそれぞれにおいて、 N視点の画像 から構成された多視点立体画像を取り扱う場合の例を、第 4,第 5,第 6の実施形態と し、説明する。
[0080] (第 4の実施形態）
まず、本発明の第 4の実施形態について説明する。
[0081] 図 12は、第 4の実施形態による立体画像生成装置の構成例を示す機能ブロック図 である。
[0082] 図 12において、第 4の実施形態による立体画像生成装置は、図 1の第 1の実施形 態で説明した立体画像生成装置に対して、コンテンツ再生手段 111の代わりにコン テンッ再生手段 1201を、描画手段 113の代わりに描画手段 1202を、それぞれ設置 し、コンテンツ再生手段 1201から描画手段 1202へ、デコード済み画像データ D1に 加えて視点数情報 15を出力する点が異なる点であり、他の部分に関しては構成が変 わらず動作も同じものとして、その説明は省略する。
[0083] まず、コンテンツ再生手段 1201について説明する。コンテンツ再生手段 1201は、 入力された 2DZ3Dコンテンツ C1内に、そのコンテンツが N (Nは 2以上の自然数） 視点の画像から構成されて!、ることを示す視点数情報を含まれる場合、その視点数 情報を解析し出力するという点を除けば、図 1のコンテンツ再生手段 111と同じ動作 を行う。
[0084] 例えば、図 12において、 2DZ3Dコンテンツ C1は、 N視点の画像から構成された 多視点立体画像のコンテンツであり、視点数情報を含むものとする。このとき、コンテ ンッ再生手段 1201は視点数情報を解析し、デコード済み画像データ D1と共に描画 手段 1202に伝送する。
[0085] コンテンツ内に視点数情報が含まれない場合、コンテンツ再生手段 1201は、視点 数情報として、視点数情報が不明であることを示す情報を出力してもよいし、視点数 力^であることを示す視点数情報を出力してもよい。また、上記の視点数情報は、外 部からユーザが描画手段 1202に入力してもよい。
[0086] 次に、描画手段 1202について説明する。図 13は描画手段 1202の構成例を示す 機能ブロック図である。描画手段 1202は、図 2の描画手段 113と比べ、入力に視点 数情報が追加された点と、 3D用描画手段 202の代わりに 3D用描画手段 1301を設 置した点を除けば同じ動作を行う。また、描画手段 1202に入力された視点数情報は 、 3D用描画手段 1301に伝送される。
[0087] 図 14は、 3D用描画手段 1301の構成例を示す機能ブロック図である。図 14の表示 画像作成手段 303は図 3と同じものであるため、同じ番号を用い、その説明は省略す る。 3D用描画手段 1301に入力された視点数情報は、 3D画像作成手段 1401、視 差反転検出手段 1402、移動量調整手段 1403にそれぞれ伝送される。
[0088] まず、視差反転検出手段 1402の動作について説明する。
[0089] 視差反転検出手段 1402は、図 3の視差反転検出手段 301と比べ、入力に視点数 情報 15が追加された点と、視差反転情報 14の代わりに視差反転情報 14'を出力する 点を除けば同じ動作を行う。
[0090] N視点画像の視差反転を検出する手段として、例えば、図 4に示すウィンドウ 1701 の左上の、原点 Pからの水平距離 Xが Nの整数倍である場合は視差反転を検出せず 、 Xが、 Nの整数倍 +k (kは、視差反転しない位置からのずれ量であり、 l≤k<N、 つまり、 Nより小さい任意の自然数である）であるとき、視差反転を検出する方法があ る。視差反転情報 14'は、視差反転を検出したか否かを示す情報と、視差反転を検 出した場合は、前記 kの値を含む。
[0091] なお、視差反転の検出手段には、ここに説明した以外の手段を用いても構わない。
[0092] 次に、移動量調整手段 1403の動作について説明する。移動量調整手段 1403は 、図 3の移動量調整手段 302と比べ、入力に視点数情報 15が追加された点と、視差 反転情報 14の代わりに視差反転情報 14'が入力される点を除けば同じ入出力を行う
[0093] 入力された視差反転情報 14'が、視差反転を検出しなかったことを示す情報である 場合、移動量調整手段 1403は、ウィンドウ移動要求 UI3をそのままウィンドウ移動要 求 UI3'として表示画像作成手段 303へ出力する。
[0094] また、視差反転情報 14'が、視差反転を検出したことを示す情報である場合、移動 量調整手段 1403は、ウィンドウ移動要求 UI3の垂直移動量はそのままで、水平移動 量に関してのみ、 N— k画素分増やす、あるいは k画素分減らして新たに作成したゥ インドウ移動要求 UI3'を出力する。この操作により、ウィンドウは必ず原点（0, 0)か ら水平に Nの倍数離れた位置に配置され、表示画像作成手段 303に入力されるウイ ンドウ移動要求 UI3'は、視差反転を生じない値に修正されたものとなる。
[0095] 次に、 3D画像作成手段 1401の動作について説明する。 3D画像作成手段 1401 には、デコード済み画像データ D1と、視点数情報 15が入力される。画像データ D1が 図 21 (a)に示すような、同じ大きさの隣り合う組の視点画像が水平方向に並ぶように 配置された一枚の画像であった場合、 3D画像作成手段 1401は、視点数情報 15、 即ち画像データ D1に含まれる視点数 Nから、画像データ D1に含まれる各視点画像 の位置を特定し、各視点画像の右 (または左）の端から 1列ずつ取り出して交互に並 ベ換え、図 21 (b)に示すような 3D画像データを作り、表示画像作成手段 303へ出力 する。
[0096] さらに、このときの 3D描画手段 1301の動作について、フローチャートに沿って詳細 に説明する。図 22は、本実施形態による 3D描画手段 1301の動作を示すフローチヤ ートである。
[0097] 本装置に電源を入れた状態を本フローチャートの開始の状態とし、判定ステップ S1 01に進む。
[0098] 判定ステップ S101では、 3D画像作成手段 1401にデコード済みデータ D1が入力 された場合、判定ステップ S102へ進み、そうでない場合、判定ステップ S101に戻る
[0099] 判定ステップ S102では、視差反転検出手段 1402において、ウィンドウ移動要求 U 13が入力された場合はステップ S103へ、入力されていない場合は、ステップ S112 へ進む。
[0100] ステップ S112では、移動量調整手段 1403を動作させず、表示画像作成手段 303 にウィンドウ移動要求 UI3 'を出力せず、ステップ 110へ進む。
[0101] ステップ S103では、視差反転検出手段 1402において、入力された視点数情報 15 力も視点数 Nを、ウィンドウ移動要求 UI3からウィンドウ移動量を求め、さらに求めた 視点数 Nとウィンドウ移動量力もずれ量 kを算出し、判定ステップ S 104へ進む。
[0102] 判定ステップ S104では、視差反転検出手段 1402において、前記ずれ量 kが 0で なければステップ S 105へ進み、 0であればステップ S 106へ進む。
[0103] ステップ S105では、視差反転を検出した旨を示す視差反転情報 14'として前記ず れ量 kと、ウィンドウ移動要求 UI3をそれぞれ、視差反転検出手段 1402から移動量 調整手段 1403に出力し、ステップ S107へ進む。
[0104] ステップ S107では、移動量調整手段 1403において、入力されたウィンドウ移動要 求 UI3からウィンドウ移動量を、視点数情報 15から視点数 Nをそれぞれ求める。これ らの値と視差反転情報 14'から求めたずれ量 kを用いて、ウィンドウ移動量に対し、 N k画素分増やす、もしくは k画素分減らして調整を行い、新しいウィンドウ移動量を 作成する。この新たに作成したウィンドウ移動量をウィンドウ要求 UI3'として出力し、 ステップ SI 08へ進む。
[0105] 一方、ステップ S106では、視差反転を検出しなかった旨を示す視差反転情報 14， として前記ずれ量 k( = 0)と、ウィンドウ移動要求 UI3をそれぞれ、視差反転検出手 段 1402から移動量調整手段 1403に出力し、ステップ S109へ進む。
[0106] ステップ S109では、移動量調整手段 1403において、入力された視差反転情報 14
'力 前記ずれ量 k力^であることが求められ、調整しな 、ウィンドウ移動要求 UI3をそ のままウィンドウ移動要求 UI3'として、表示画像作成手段 302に出力し、ステップ S1 08へ進む。
[0107] ステップ S108では、表示画像作成手段 302において、ウィンドウ移動要求 UI3'を 基に、ウィンドウを適切な位置に移動させ、ステップ 110へ進む。
[0108] ステップ S110では、現在の位置のウィンドウの中心に、入力された 3D画像データ
D4を重ねて作成した表示用画像データ D2を出力し、判定ステップ 111へ進む。
[0109] 判定ステップ 111では、 3D描画手段 1301の処理の終了判定を行い、終了でなけ れば、 S101へ戻り、終了であれば終了する。
[0110] 上記の処理の終了には、 3D画像の再生や表示の停止や、装置の電源 OFFなど が考えられる。
[0111] 以上のようにして、入力されたウィンドウ移動量から視差反転の有無を検出し、視差 反転が生じた場合、ウィンドウの位置と視点数情報から、正しい観察が可能な位置か らのずれ量を求め、ずれ量を 0に補正するようにウィンドウ位置を調整することにより、 N視点の 3D画像データであっても、画像の列単位での入れ替えを行うことなぐ表示 手段 121は常に視差反転の起こらない 3D画像を表示することができ、さらに、ウィン ドウの位置調整のみで視差反転しな!、ように対処するため、視差量が変化しな 、。 (第 5の実施形態）
[0112] 次に、本発明の第 5の実施形態について説明する。
[0113] 第 5の実施の形態による立体画像生成装置は、第 4の実施の形態で説明した 3D用 描画手段 1301の内部構成のみが変更されたものであり、他の部分に関しては構成 が変わらず動作も同じものとし、その説明は省略し、 3D用描画手段 1301の内部構 成とその動作についてのみ説明を行う。 [0114] 図 15は、図 14に示す 3D描画手段 1301の別の構成例を示す機能ブロック図であ る。また、図 15の視差反転検出手段 1402と、 3D画像作成手段 1401、表示画像作 成手段 303は図 14と同じものであるため、同じ番号を用い、その説明は省略する。
[0115] また、図 14の 3D描画手段 1301との違いは、移動量調整手段 1403が削除され、 代わりに 3D画像作成手段 1401と表示画像作成手段 303の間に画像調整手段 150 1が設置された点と、視差反転検出手段 1402から、視差反転情報 14'が画像調整手 段 1501に入力される点である。
[0116] 第 4の実施形態で説明したのと同様にして、 3D用描画手段 1301に入力された視 点数情報 15は、視差反転検出手段 1402、画像調整手段 1501、 3D画像作成手段 1401にそれぞれ伝送される。
[0117] 画像調整手段 1501の動作について説明する。画像調整手段 1501は、図 5の画 像調整手段 501と比べ、入力に視差数情報 15が追加された点を除けば同じ入出力 である。
[0118] 視差反転情報 14'が、視差反転を検出しなカゝつたことを示す情報である場合、画像 調整手段 1501は、入力された 3D画像データ D4をそのまま表示画像作成手段 303 へ出力し、視差反転を検出したことを示す情報である場合、画像調整手段 1501は、 入力された 3D画像データ D4に対して画像調整を行った後、表示画像作成手段 30 3へ出力する。
[0119] 画像調整手段 1501の行う画像調整は、図 5の画像調整手段 501で行った画像調 整を N視点用に拡張したものであり、以下に、このときの画像調整について説明する 。図 9は、 3D画像を表示するウィンドウの左上点の水平位置力 Nの倍数となる点か ら k画素分離れ、視差反転が生じている様子を示す。このときの 3D画像は、図 21 (b) で説明した、列ごとに交互に並べられた N個の視点画像カゝら構成されて ヽる画像で ある。
[0120] また、画像調整手段 1501では、入力された視点数情報 15と視差反転情報 14'から それぞれ、視点数 Nと、ずれ量 kが求められる。図 10は、視差反転情報 14が、視差反 転を検出したことを示す情報である場合の画像調整手段 1501の処理を説明するた めの図である。画像調整手段 1501は、図 10 (a)に示すように、画像の左から k列分 の画像を削除し、残りの画像全体を左に k画素分移動させる。この処理により、 3D画 像の各画素は、ウィンドウの左上点が原点力も Nの倍数の距離にある場合と同 Cf立 置に配置されるため、視差反転は生じない。
[0121] 上記のような k画素の削除をする処理により、画像全体のサイズは、水平方向に k画 素分減少する。ここで、上記の処理後の画像全体のサイズを入力と同じサイズにする ため、図 10 (b)に示すように、画像の右端に所定の画像を k列挿入して画像データを 作成し、画像調整手段で作成した画像データとして出力する。
[0122] また、上記の説明では、画像の左端を k列削除し、残りの画像全体を左へ移動した 力 画像の右端を N—k列削除し、画像全体を右側に N—k画素分移動してもよい。 その後、画像に左端に N—k画素の所定の画像を挿入してもよい。
[0123] また、 kと N—kを比較し、 kの方が小さい場合に左端、 N—kの方が小さい場合に右 端を削除する等の選択方法を用いてもよい。
[0124] ここで、前記所定の画像は、例として黒塗りの画像などが挙げられるが、これに限定 されること無く、どのような画像であってもよい。
[0125] また、前述した挿入する列の数が、削除した列の数よりも少なくして作成した画像デ ータを画像調整手段の出力としてもよぐさらに、前述した挿入する列の数を 0として、 画像サイズの水平方向に kまたは N—k画素分削除した画像データを、画像調整手 段の出力としてもよい。
[0126] さらに、このときの 3D描画手段 1301の動作について、フローチャートに沿って詳細 に説明する。図 23は、本実施の形態による 3D描画手段 1301の動作を示すフロー チャードである。なお、ステップ S101, S102, S103, S104, S105, S106, S108 , Sl lO, Si l l, S112につ!/ヽては、図 22のフローチャートと同じ処理を行うため、同 じ番号を用 、、その説明 ίま省略し、ステップ S206, S208, S209のみ【こつ!/、て説明 する。
[0127] ステップ S206では、画像調整手段 1501にお 、て、表示画像の左側 k列を削除し、 残りの表示画像全体を左に k画素分移動させ、ステップ S208へ進む。
[0128] ステップ S208では、画像調整手段 1501において、 k列分の所定の画像を表示画 像の右側に追カ卩し、ステップ S 109へ進む。 [0129] なお、上記ステップ S206, S208の説明では、表示画像の左側を削除する例を説 明したが、表示画像の右側を削除し、残りの画像を右側に移動し、移動した列分の 所定の画像を左側に追加するようにしても構わな 、。
[0130] ステップ S209では、画像調整手段 1501において、入力された視差反転情報 14， 力 前記ずれ量 k力^であることが求められ、ウィンドウ移動要求 UI3を調整せずにそ のままウィンドウ移動要求 UI3'として表示画像作成手段 302に出力し、ステップ S10 8へ進む。
[0131] 以上のようにして、入力されたウィンドウ移動量から視差反転の有無を検出し、視差 反転が生じた場合、ウィンドウの位置と視点数情報から、正しい観察が可能な位置か らのずれ量を求め、ずれ量に応じて画像データの一方の端の列を削除し、削除した 列と反対方向の端の列に所定の画像を追加することによって、表示手段 121は常に 視差反転の生じな ヽかつ、視差量も変化しな ヽ N視点 3D画像を表示することができ る。
[0132] (第 6の実施形態）
次に、本発明の第 6の実施形態について説明する。
[0133] 第 6の実施の形態による立体画像生成装置は、第 4の実施の形態で説明した 3D用 描画手段 1301の内部構成のみが変更されたものであり、他の部分に関しては構成 が変わらず動作も同じものとし、その説明は省略し、 3D用描画手段 1301の内部構 成とその動作についてのみ説明を行う。
[0134] 図 16は、図 13に示す 3D描画手段 1301の別の構成例を示す機能ブロック図であ る。図 16の視差反転検出手段 1402と、 3D画像作成手段 1401は図 14と同じもので あるため、同じ番号を用い、その説明は省略する。
[0135] また、図 14との違いは、移動量調整手段 1403が削除された点と、表示画像作成 手段 303の代わりに表示画像作成手段'（移動調整手段を含む） 1601を設置する点
、視差反転検出手段 1402が、表示画像作成手段' 1601に対して視差反転情報 14' を出力する点である。
[0136] 第 4の実施の形態で説明したのと同様にして、 3D用描画手段 1301に入力された 視点数情報は、視差反転検出手段 1402、 3D画像作成手段 1401にそれぞれ伝送 される。
[0137] 次に表示画像作成手段' 1601の動作について説明する。表示画像作成手段' 16 01は、図 7の表示画像作成手段 702に比べ、視差反転情報 14の代わりに視差反転 情報 14'を出力する点を除けば同じ入出力である。
[0138] 視差反転情報 14'が、視差反転を検出しな力つたことを示す情報である場合、表示 画像作成手段' 1601は、視差反転が検出されない場合は図 2に示す 2D用描画手 段 201と同様の処理を行う。
[0139] 一方、視差反転情報 14'が、視差反転を検出したことを示す情報である場合、表示 画像作成手段' 1601は、次のような処理を行う。
[0140] 図 11は、視差反転情報 14'が、視差反転を検出したことを示す情報である場合の 表示画像作成手段' 1601の処理を説明するための図である。図 11 (a)に示すように 、 3D画像データを表示して 、るウィンドウの左上端の水平位置が原点から Nの倍数 +k (kは Nより小さい自然数)の位置になる、つまり、視差反転を検出した場合は、ゥ インドウ内の画像表示位置を左方向に k画素分移動させ、図 11 (b)のように表示する
[0141] この k画素分移動させる処理により、 3D画像の各画素は、ウィンドウの左上点が原 点から Nの倍数の距離にある場合と同じ位置に配置されるため、視差反転は生じな い。
[0142] また、このとき、図 11 (a)のウィンドウ枠の左端の画素位置と画像表示領域の左端 の画素位置との距離 Wが k画素以下であると、画像が枠をはみ出してしまう。ここで、 移動した画像が枠内に収まるようにするために、この距離 Wを、常に N画素以上とな るようにしてちょい。
[0143] なお、上記の説明では画像全体を k画素分左に動かす例を示している力 右に N k画素分動力しても構わな 、。
[0144] さらに、 kと N—kを比較し、 kの方が小さい場合には左側、 N—kの方が小さい場合 には右側に動力しても構わない。
[0145] また、この場合、移動した画像が枠をはみ出さないようにするために、距離 Wを NZ
2画素以上となるようにしてもょ 、。 [0146] さらに、このときの 3D描画手段 1301の動作について、フローチャートに沿って詳細 に説明する。図 24は、本実施の形態による 3D描画手段 1301の動作を示すフロー チャードである。なお、ステップ S101, S102, S103, S104, S105, S106, S108 , Si l l, S112については、図 21のフローチャートと同じ処理を行うため、同じ番号 を用い、その説明は省略する。また、ステップ S300は S108とまったく同じ動作を説 明するステップであるため、その説明は省略し、以下では、ステップ S301と S302の みについて説明する。
[0147] ステップ S301では、表示画像作成手段 1601において、ウィンドウに 3D画像デー タ D4を重ねる際、ウィンドウの中心に対して左に k画素あるいは右に N— k画素分ず らして重ね、作成した表示用画像データ D2を出力し、判定ステップ 111へ進む。
[0148] ステップ S302では、表示画像作成手段 1601において、ステップ S108における表 示画像作成手段 302と同様に、現在の位置のウィンドウの中心に、入力された 3D画 像データ D4を重ねて作成した表示用画像データ D2を出力し、判定ステップ 111へ 進む。
[0149] 以上のようにして、入力されたウィンドウ移動量から視差反転の有無を検出し、視差 反転が生じた場合、ウィンドウの位置と視点数情報から、正しい観察が可能な位置か らのずれ量を求め、ずれ量に応じてウィンドウ内の画像表示領域を移動させることに よって、表示手段 121は常に視差反転の生じないかつ、視差量も変化しない 3D画 像を表示することができる。
[0150] 上記のようにして、本発明の第 1,第 2,第 3の実施形態の説明では、取り扱う 3D画 像データが、左目用と右目用の 2視点の画像データから構成されて ヽる場合につ!ヽ て述べたが、前記 3D画像データは N (Nは、 N≥ 2の自然数)視点から構成された多 視点立体画像であっても、ウィンドウの移動による視差反転を防止することが可能で あり、視差量も変化しない。
[0151] また、上記の説明では、ウィンドウの移動量が視点数で割り切れないとき、視差調 整を行うようにしたが、現在の観察者の観察位置に視差反転が起こる場合のみ、視 差調整を行ってもよい。
[0152] ここで、多視点画像における視差反転について説明する。図 25は、視差の反転が 起きた多視点画像をユーザが観察する様子を示す図である。観察者は、視点 Nの画 像を右目で、隣の異なる組の視点 1を左目でそれぞれ観ているため、視差の反転が 生じる。例えば、上記で説明した実施例では、 k = N— 1の場合がそれに当たる。
[0153] よって、このような反転が起きた場合のみ視差調整を行う。またこの場合の視差調 整は、視差反転しなければ何視点分ずらしてもよい。例えば 1視点分左右にずらして 調整してもよいし、移動前と同じ視点の画像が見えるように左右にずらして調整しても 構わない。
[0154] なお、本発明のすべての実施例で説明した画像生成装置の例として、コンピュータ 一や、放送受信端末、ディスク型再生装置、テープ型再生装置などがあげられるが、 これらに限定されるものではなぐ立体画像を生成する装置であれば、どのような形 態であっても構わない。
産業上の利用可能性
[0155] 本発明に係る立体画像生成装置及びその立体画像生成方法は、画像を列毎に入 れ替える必要はなぐ画像表示位置の微調整のみで、ウィンドウが移動する場合に 生じる視差反転視差反転を防止することが可能であり、一般に普及しているパーソナ ルコンピュータやディスク型再生装置のような立体画像生成機器に対して広く適用で きる。

Claims

請求の範囲
[1] 2D画像および Zまたは多視点 3D画像を表示する立体画像生成装置であって、 表示中の多視点 3D画像の視差反転を検出する視差反転検出手段と、 前記表示中の多視点 3D画像に前記視差反転が生じた場合、前記多視点 3D画像 の全体を所定の距離だけ水平方向に移動する移動調整手段と、
を備えることを特徴とする立体画像生成装置。
[2] 前記視差反転検出手段は、前記視差反転が生じない基準点を定め、多視点 3D画 像の視点数情報と、前記基準点と前記ウィンドウとの距離から、視差反転の有無を検 出するとともに、正しい観察が可能なウィンドウ位置力ものずれ量を検出することを特 徴とする請求項 1に記載の立体画像生成装置。
[3] 前記視差反転検出手段は、検出した前記ずれ量を、前記移動調整手段に通知す ることを特徴とする請求項 2に記載の立体画像生成装置。
[4] 前記移動調整手段は、通知された前記ずれ量を補正し、前記基準点と前記ウィン ドウととの距離が視点数の整数倍となるように調整することを特徴とする請求項 3に記 載の立体画像生成装置。
[5] さらに、 2D画像および Zまたは多視点 3D画像を作成する表示画像作成手段を備 え、
前記表示画像作成手段は、ウィンドウ内で画像表示領域を 1画素分または複数画 素分ずらして画像を作成することを特徴とする請求項 1に記載の立体画像生成装置
[6] 前記移動調整手段は、ウィンドウ内で表示画像の垂直端の 1列または複数列を削 除し、削除した列数と同じ数だけ、残りの画像を該削除した 1列または複数列を埋め る方向に移動させることを特徴とする請求項 1に記載の立体画像生成装置。
[7] 前記移動調整手段は、前記残りの画像を該削除した列の方向に移動させた後、移 動した列数と同じ数だけ所定の画像を挿入することを特徴とする請求項 6に記載の立 体画像生成装置。
[8] 前記移動調整手段は、 3D画像を表示中のウィンドウに対して適用することを特徴と する請求項 1から請求項 7のいずれか 1項に記載の立体画像生成装置。
[9] 前記移動調整手段は、ディスプレイモードの 2DZ3D表示に関わらず、全てのウイ ンドウに対して適用することを特徴とする請求項 1から請求項 7のいずれ力 1項に記載 の立体画像生成装置。
[10] 前記ディスプレイモードは、入力画像コンテンツに含まれる識別情報によって切り替 わることを特徴とする請求項 9に記載の立体画像生成装置。
[11] 2D画像および Zまたは多視点 3D画像を表示する立体画像生成方法であって、 表示中の多視点 3D画像の視差反転を検出する視差反転検出手段と、 前記表示中の多視点 3D画像に前記視差反転が生じた場合、前記多視点 3D画像 の全体を所定の距離だけ水平方向に移動する移動調整ステップと、
を備えることを特徴とする立体画像生成方法。
[12] 前記視差反転検出ステップが、前記視差反転が生じない基準点を定め、多視点 3
D画像の視点数情報と、前記基準点と前記ウィンドウとの距離から、視差反転の有無 を検出するとともに、正しい観察が可能なウィンドウ位置からのずれ量を検出すること を特徴とする請求項 11に記載の立体画像生成方法。
[13] 前記視差反転検出ステップは、検出した前記ずれ量を、前記移動調整ステップに 通知することを特徴とする請求項 12に記載の立体画像生成方法。
[14] 前記移動調整ステップは、通知された前記ずれ量を補正し、前記基準点と前記ウイ ンドウととの距離が視点数の整数倍となるように調整することを特徴とする請求項 13 に記載の立体画像生成装置。
[15] さらに、 2D画像および Zまたは多視点 3D画像を作成'表示する表示画像作成ス テツプを備え、
前記表示画像作成ステップは、ウィンドウ内で画像表示領域を 1画素分または複数 画素分ずらして表示することを特徴とする請求項 11に記載の立体画像生成方法。
[16] 前記移動調整ステップは、ウィンドウ内で表示画像の垂直端の 1列または複数列を 削除し、削除した列数と同じ数だけ、残りの画像を該削除した 1列または複数列を埋 める方向に移動させることを特徴とする請求項 11に記載の立体画像生成方法。
[17] 前記移動調整ステップは、前記残りの画像を該削除した列の方向に移動させた後 、移動した列数と同じ数だけ所定の画像を挿入することを特徴とする請求項 16に記 載の立体画像生成方法。
[18] 前記移動調整ステップは、 3D画像を表示中のウィンドウに対して適用することを特 徴とする請求項 11から請求項 17のいずれか 1項に記載の立体画像生成方法。
[19] 前記移動調整ステップは、ディスプレイモードの 2DZ3D表示に関わらず、全ての ウィンドウに対して適用することを特徴とする請求項 11から請求項 18のいずれ力 1項 に記載の立体画像生成方法。
PCT/JP2005/014760 2004-08-18 2005-08-11 立体画像生成装置及びその立体画像生成方法 WO2006019038A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2004238491A JP2007318184A (ja) 2004-08-18 2004-08-18 立体画像生成装置及びその立体画像生成方法
JP2004-238491 2004-08-18

Publications (1)

Publication Number Publication Date
WO2006019038A1 true WO2006019038A1 (ja) 2006-02-23

Family

ID=35907426

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2005/014760 WO2006019038A1 (ja) 2004-08-18 2005-08-11 立体画像生成装置及びその立体画像生成方法

Country Status (2)

Country Link
JP (1) JP2007318184A (ja)
WO (1) WO2006019038A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011086932A1 (ja) * 2010-01-13 2011-07-21 パナソニック株式会社 立体映像表示装置
CN104409032A (zh) * 2008-11-26 2015-03-11 日本电气株式会社 显示设备、终端设备和显示方法

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2457691A (en) 2008-02-21 2009-08-26 Sharp Kk Display with regions simultaneously operable in different viewing modes
JP2011070450A (ja) * 2009-09-25 2011-04-07 Panasonic Corp 三次元画像処理装置およびその制御方法
JP2013080987A (ja) * 2010-02-15 2013-05-02 Panasonic Corp 立体映像表示装置
JP5477128B2 (ja) 2010-04-07 2014-04-23 ソニー株式会社 信号処理装置、信号処理方法、表示装置及びプログラム
KR20110116794A (ko) 2010-04-20 2011-10-26 삼성전자주식회사 세탁기 및 그 제어방법
JP5569263B2 (ja) 2010-08-30 2014-08-13 ソニー株式会社 信号処理装置、信号処理方法、表示装置及びプログラム
JP6380881B2 (ja) 2012-07-31 2018-08-29 Ｔｉａｎｍａ Ｊａｐａｎ株式会社 立体画像表示装置、画像処理装置及び立体画像処理方法
JP5742886B2 (ja) * 2013-06-19 2015-07-01 沖電気工業株式会社 立体映像符号化装置、立体映像復号装置及び立体映像符号化システム、並びに、立体映像符号化プログラム及び立体映像復号プログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10232666A (ja) * 1997-02-20 1998-09-02 Canon Inc 情報処理装置及び方法
JP2003111101A (ja) * 2001-09-26 2003-04-11 Sanyo Electric Co Ltd 立体画像処理方法、装置、およびシステム
JP2003169351A (ja) * 2001-09-21 2003-06-13 Sanyo Electric Co Ltd 立体画像表示方法および立体画像表示装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10232666A (ja) * 1997-02-20 1998-09-02 Canon Inc 情報処理装置及び方法
JP2003169351A (ja) * 2001-09-21 2003-06-13 Sanyo Electric Co Ltd 立体画像表示方法および立体画像表示装置
JP2003111101A (ja) * 2001-09-26 2003-04-11 Sanyo Electric Co Ltd 立体画像処理方法、装置、およびシステム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104409032A (zh) * 2008-11-26 2015-03-11 日本电气株式会社 显示设备、终端设备和显示方法
US9880395B2 (en) 2008-11-26 2018-01-30 Nec Corporation Display device, terminal device, and display method
WO2011086932A1 (ja) * 2010-01-13 2011-07-21 パナソニック株式会社 立体映像表示装置

Also Published As

Publication number Publication date
JP2007318184A (ja) 2007-12-06

Similar Documents

Publication Publication Date Title
WO2006019038A1 (ja) 立体画像生成装置及びその立体画像生成方法
US8035683B2 (en) Stereoscopic image reproducing apparatus and stereoscopic image reproducing method
US10321118B2 (en) 3D display device and method
JP4251952B2 (ja) 立体画像表示装置および立体画像表示方法
KR101719980B1 (ko) 3차원 컨텐츠를 출력하는 디스플레이 기기의 영상 처리 방법 및 그 방법을 채용한 디스플레이 기기
JP4940397B2 (ja) 表示システムに適用される立体画像フォーマット変換方法
KR102197382B1 (ko) 곡률 가변형 입체영상표시장치
EP2648414A1 (en) 3d display apparatus and method for processing image using the same
US8274555B2 (en) Image synthesizing apparatus and image synthesizing method
JP2002092656A (ja) 立体画像表示装置及び画像データの表示方法
KR20130088741A (ko) 디지털 수신기 및 디지털 수신기에서의 캡션 데이터 처리 방법
JP2011182075A (ja) 画像処理装置
US20120287252A1 (en) Image display device, image display system, and image display method
CN103339949B (zh) 发送/接收数字广播信号的方法和设备
KR20140103910A (ko) 해상도가 향상된 3d 비디오 렌더링 시스템 및 방법
US20110279450A1 (en) Three dimensional (3d) image display apparatus, and driving method thereof
JP4477521B2 (ja) 立体画像表示装置
KR20110134327A (ko) 영상 처리 방법 및 그에 따른 영상 표시 장치
KR20120069303A (ko) 3차원 영상 제공 방법 및 장치
JP4266774B2 (ja) 立体画像表示装置及び立体画像表示方法
JP2006047507A (ja) 表示装置及び表示方法
EP2464126A1 (en) A system and a method for transforming a 3D video sequence to a 2D video sequence
JP2004144792A (ja) 立体映像表示装置
US20110187831A1 (en) Apparatus and method for displaying three-dimensional images
JP2014207492A (ja) 立体映像表示装置

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS JP KE KG KM KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NA NG NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SM SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): BW GH GM KE LS MW MZ NA SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LT LU LV MC NL PL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase
NENP Non-entry into the national phase

Ref country code: JP