WO2011125461A1 - 画像生成装置及び方法並びにプリンタ - Google Patents

画像生成装置及び方法並びにプリンタ Download PDF

Info

Publication number
WO2011125461A1
WO2011125461A1 PCT/JP2011/056561 JP2011056561W WO2011125461A1 WO 2011125461 A1 WO2011125461 A1 WO 2011125461A1 JP 2011056561 W JP2011056561 W JP 2011056561W WO 2011125461 A1 WO2011125461 A1 WO 2011125461A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
viewpoint
image data
virtual
viewpoint image
Prior art date
Application number
PCT/JP2011/056561
Other languages
English (en)
French (fr)
Inventor
渡辺　幹夫
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to CN2011800178085A priority Critical patent/CN102835118A/zh
Priority to US13/634,539 priority patent/US20130003128A1/en
Priority to JP2012509388A priority patent/JPWO2011125461A1/ja
Publication of WO2011125461A1 publication Critical patent/WO2011125461A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/08—Stereoscopic photography by simultaneous recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/305—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using lenticular lenses, e.g. arrangements of cylindrical lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Definitions

  • the present invention relates to an image generation apparatus and method for generating a virtual viewpoint image when a subject is viewed from a virtual viewpoint, based on viewpoint images obtained by photographing the subject from two viewpoints, and a printer including the image generation apparatus.
  • a technique is known in which a stereoscopic image can be observed using a lenticular sheet in which a large number of lenticular lenses are arranged in the left-right direction. This is because, on the back side of the lenticular sheet, for example, linear images obtained by dividing an L viewpoint image and an R viewpoint image taken from two left and right viewpoints into lines are alternately arranged, and under one lenticular lens. , Two adjacent linear images are positioned. A stereoscopic image can be observed by the left eye and the right eye observing the L viewpoint image and the R viewpoint image having parallax through each lenticular lens.
  • Patent Document 1 based on L and R viewpoint images obtained by a compound eye camera, a virtual image obtained when a subject is viewed from a plurality of virtual viewpoints set differently from the L and R viewpoints by electronic interpolation.
  • a printing system that generates a viewpoint image and records a linear image on a lenticular sheet based on the original L and R viewpoint images and a new virtual viewpoint image is disclosed.
  • the present invention has been made to solve the above-described problem.
  • An image generating apparatus and method, and a printer which can obtain a good virtual viewpoint image even when there is an abnormality in one of the L and R viewpoint captured images.
  • the purpose is to provide.
  • the image generation apparatus of the present invention has a predetermined number of images different from the viewpoint based on the first viewpoint image and the second viewpoint image having parallax obtained by photographing the subject from different viewpoints.
  • an image generation apparatus that generates a virtual viewpoint image when a subject is viewed from a virtual viewpoint, a detection unit that detects whether or not the first viewpoint image and the second viewpoint image are abnormal, and a detection result of the detection unit Based on the above, when one of the first viewpoint image and the second viewpoint image is an abnormal image having an abnormality, a corresponding point on the abnormal image corresponding to each pixel of the other normal image having no abnormality is extracted.
  • a parallax map generating unit that generates a parallax map indicating the depth distribution of the subject based on the extraction result, and a virtual viewpoint image generating unit that generates the virtual viewpoint image based on the parallax map and the normal image , Characterized in that it comprises a.
  • the image processing apparatus includes an image output unit that outputs the normal image and the virtual viewpoint image to a predetermined output destination.
  • the camera includes a virtual viewpoint setting unit that sets the virtual viewpoint more than the predetermined number between the viewpoints of the abnormal image and the normal image
  • the virtual viewpoint image generation unit includes each virtual viewpoint setting unit configured by the virtual viewpoint setting unit. It is preferable that the virtual viewpoint image is generated by selecting the predetermined number of virtual viewpoints from the virtual viewpoint in order from the side closer to the viewpoint of the normal image.
  • the virtual viewpoint is preferably set at equiangular intervals around the subject. It is preferable that an area detection unit that detects an area of the region in which the abnormality occurs in the abnormal image is provided, and the virtual viewpoint setting unit increases the number of virtual viewpoints set as the area increases.
  • the abnormality preferably includes at least one of a flare and an image of an obstacle that shields at least a part of the photographing lens of the imaging unit.
  • the printer according to any one of claims 1 to 7, wherein when the image generating apparatus according to any one of claims 1 to 7 and any one of the first viewpoint image and the second viewpoint image is the abnormal image, the normal image And recording means for recording an image that can be viewed stereoscopically on a recording medium based on the virtual viewpoint image.
  • the warning display means for displaying a warning when both the first viewpoint image and the second viewpoint image are abnormal.
  • the image generation method of the present invention is based on the first viewpoint image and the second viewpoint image having parallax obtained by photographing the subject from different viewpoints, and the subject is generated from a predetermined number of virtual viewpoints different from the viewpoint.
  • a detection step for detecting whether or not the first viewpoint image and the second viewpoint image are abnormal and a detection result in the detection step, the first When one of the first viewpoint image and the second viewpoint image is an abnormal image having an abnormality, the corresponding points on the abnormal image corresponding to the respective pixels of the other normal image having no abnormality are extracted and extracted.
  • a parallax map generation step for generating a parallax map indicating the depth distribution of the subject based on the result, and a virtual viewpoint image generation step for generating the virtual viewpoint image based on the parallax map and the normal image. Characterized in that it has Tsu and up, the.
  • the image generating apparatus and method and the printer according to the present invention can cope with the abnormal image corresponding to each pixel of the other normal image. Since a parallax map is generated based on the result of extracting points, and a virtual viewpoint image is generated based on the parallax map and a normal image, it is good even when one of the first viewpoint image and the second viewpoint image is abnormal A virtual viewpoint image can be obtained.
  • the stereoscopic image printing system 10 includes a compound eye camera 11 and a printer 12.
  • the compound-eye camera 11 includes a pair of imaging units 14L and 14R.
  • the L-viewpoint L-viewpoint image data I (L) and the R-viewpoint image data of the R-viewpoint are obtained by shooting a subject from two different viewpoints on the left and right.
  • I (R) The L and R viewpoint image data I (L) and I (R) are recorded on the memory card 16 as a single image file 15.
  • Reference numeral 14a denotes a photographing lens of the imaging units 14L and 14R.
  • the printer 12 Based on the L and R viewpoint image data I (L) and (R) recorded on the memory card 16, the printer 12 transmits a plurality of viewpoint image data for observing a stereoscopic image to a lenticular sheet 17 (hereinafter simply referred to as a sheet 17). This is recorded on the back of FIG.
  • the sheet 17 has a large number of semi-cylindrical lenticular lenses (hereinafter simply referred to as lenses) 18 arranged on the surface side, and the back surface thereof is flat. On this back surface, an image area 19 is virtually divided for each lens 18, and one image area 19 corresponds to one lens 18.
  • lenses semi-cylindrical lenticular lenses
  • Each image area 19 is partitioned in the arrangement direction of the lenses 18 according to the number of viewpoint images. For example, when recording images of six viewpoints, each image area 19 is divided into six first to sixth minute areas 19a to 19f, and linear images obtained by dividing the six viewpoint images into linear shapes are respectively provided. To be recorded. Each minute area 19a to 19f has a one-to-one correspondence with an image of six viewpoints.
  • the CPU 21 of the printer 12 comprehensively controls each unit of the printer 12 by sequentially executing various programs and data read from the memory 23 based on a control signal from the operation unit 22.
  • the RAM area of the memory 23 functions as a work memory for the CPU 21 to execute processing and a temporary storage destination for various data.
  • An operation unit 22, a memory 23, a sheet conveyance mechanism 26, an image recording unit 27, an image input I / F 28, an image processing circuit (image generation device) 29, a monitor 30, and the like are connected to the CPU 21 via a bus 25. Yes.
  • the operation unit 22 is used for power ON / OFF operation of the printer 12 and image recording start operation.
  • the sheet conveyance mechanism 26 conveys the sheet 17 in the sub-scanning direction parallel to the arrangement direction of the lenses 18.
  • the image recording unit 27 records a linear image extending in the main scanning direction on the back surface of the sheet 17.
  • the image recording unit 27 records a linear image line by line each time the sheet 17 is conveyed line by line in the sub-scanning direction. Thereby, linear images can be recorded side by side in the sub-scanning direction.
  • the memory card 16 is set in the image input I / F 28.
  • the image input I / F 28 reads the image file 15 from the memory card 16 and sends it to the image processing circuit 29.
  • the image processing circuit 29 generates virtual viewpoint image data from a plurality of virtual viewpoints different from the L and R viewpoints based on the L and R viewpoint image data I (L) and I (R) of the image file 15. In addition, when the virtual viewpoint image data is generated, the image processing circuit 29 performs n-viewpoint parallax including at least one of the L and R viewpoint image data I (L) and (R) and the virtual viewpoint image data.
  • the image data is output to the image recording unit 27.
  • the parallax image data refers to a collection of individual viewpoint image data when the subject is viewed from different viewpoints.
  • the monitor 30 displays a selection screen for selecting a menu for image recording processing, a setting screen for performing various settings, a warning message when a trouble occurs, and the like.
  • the image processing circuit 29 includes an image reading circuit (image acquisition unit) 31, a shooting failure detection circuit (detection unit) 32, a parallax map generation circuit 33, a virtual viewpoint image generation circuit 34, And an image output circuit 35.
  • the image reading circuit 31 reads the image file 15 designated by the operation unit 22 from the memory card 16 via the image input I / F 28 and stores it.
  • the shooting failure detection circuit 32 analyzes the image file 15 in the image reading circuit 31 and detects whether or not a shooting failure has occurred in the L and R viewpoint image data I (L) and I (R).
  • Examples of the photographing trouble include a physical trouble such as finger engagement and an optical trouble such as flare.
  • Finger engagement means that a photographer's finger (obstacle) shields at least a part of the photographing lens 14a so that a finger image is displayed in the photographed image (see FIG. 10B).
  • the presence / absence of finger engagement is determined by, for example, storing in advance a plurality of image patterns photographed when finger engagement occurs, and the similarity between these image patterns and L and R viewpoint image data I (L) and I (R). It can be detected by determining the degree.
  • the presence or absence of flare is determined by comparing, for example, L and R viewpoint image data I (L) and I (R), and whether or not the difference in luminance between the two parts is greater than a predetermined threshold value. Can be detected.
  • the parallax map generation circuit 33 generates a parallax map indicating the depth distribution of the subject based on the L and R viewpoint image data I (L) and (R) in the image reading circuit 31 and outputs the generated parallax map to the virtual viewpoint image generation circuit 34. To do.
  • the parallax map generation circuit 33 generates at least one of a parallax map 38L based on the L viewpoint image data I (L) and a parallax map 38R based on the R viewpoint image data I (R).
  • a parallax map 38L based on the L viewpoint image data I (L)
  • a parallax map 38R based on the R viewpoint image data I (R).
  • a corresponding pixel (hereinafter referred to as a corresponding point) 40 on I (R) is extracted.
  • representative examples of the pixel 39 and the corresponding point 40 are shown.
  • a method for extracting the corresponding points 40 there are various methods such as a template matching method described in Patent Document 1, and any method may be used.
  • a horizontal positional shift amount of each corresponding point 40 of the R viewpoint image data I (R) with respect to each pixel 39 of the L viewpoint image data I (L) is obtained.
  • the parallax for each pixel 39 of the L viewpoint image data I (L) is obtained, and this is set as a parallax map 38L as shown in FIG. 4C.
  • FIG. 4C it shows that it is closer to the compound-eye camera 11 as the dot density increases.
  • a portion with a high dot density represents a main subject such as a person close to the compound-eye camera 11, and a portion with a low dot density represents a background far from the compound-eye camera 11.
  • the parallax map 38R illustrated in FIG. 4D is generated by obtaining the positional deviation amount of the corresponding point 40 on the L viewpoint image data I (L) corresponding to each pixel 39 of the R viewpoint image data I (R). .
  • the virtual viewpoint image generation circuit 34 generates virtual viewpoint image data when the subject is viewed from a virtual viewpoint different from the left and right viewpoints.
  • the virtual viewpoint image generation circuit 34 includes a virtual viewpoint setting unit 43 and a virtual viewpoint image generation unit 44.
  • the virtual viewpoint setting unit 43 sets a plurality of virtual viewpoints between the L and R viewpoints.
  • the virtual viewpoint setting unit 43 selectively executes one of the following normal viewpoint setting process and special viewpoint setting process.
  • n 6 viewpoints
  • (n ⁇ 2) 4 virtual viewpoints V (1) to V (4) are set.
  • the virtual viewpoints V (1) to V (4) are set at equiangular intervals so that the convergence angle ⁇ formed by the viewpoint directions of the L viewpoint V (L) and the R viewpoint V (R) is divided into five.
  • n 6 viewpoints
  • the virtual viewpoints V (1) to V (10) are set at equiangular intervals so that the convergence angle ⁇ is divided into 11 parts.
  • the virtual viewpoint image generation unit 44 generates virtual viewpoint data corresponding to the virtual viewpoint set by the virtual viewpoint setting unit 43 and sends the virtual viewpoint data to the image output circuit 35.
  • the virtual viewpoint image generation unit 44 executes the normal image generation process when the normal viewpoint setting process is executed, and executes the special image generation process when the special viewpoint setting process is executed.
  • L normal image generation process the L normal image generation process and the R normal image generation process are executed in order.
  • virtual viewpoint image data of a virtual viewpoint located on the L viewpoint V (L) side from the center between the L and R viewpoints V (L) and V (R) is generated (see FIG. 8).
  • virtual viewpoint image data (hereinafter referred to as L virtual viewpoint image data) is generated based on the L viewpoint image data I (L) and the parallax map 38L.
  • R virtual viewpoint image data of a virtual viewpoint located on the R viewpoint V (R) side with respect to the center between the L and R viewpoints V (L) and V (R) is generated.
  • virtual viewpoint image data (hereinafter referred to as R virtual viewpoint image data) is generated based on the R viewpoint image data I (R) and the parallax map 38R.
  • R virtual viewpoint image data is generated based on the R viewpoint image data I (R) and the parallax map 38R.
  • the special image generation process either the L special image generation process or the R special image generation process is selectively executed.
  • (n ⁇ 1) virtual viewpoints are selected in order from the closest to the L viewpoint V (L), and L virtual viewpoint image data corresponding to each virtual viewpoint is generated (see FIG. 12).
  • L virtual viewpoint image data corresponding to each virtual viewpoint is generated (see FIG. 12).
  • R virtual viewpoint image data corresponding to (n ⁇ 1) virtual viewpoints selected in order from the closest to the R viewpoint V (R) is generated.
  • (n-1) L virtual viewpoint image data or (n-1) R virtual viewpoint image data are generated.
  • the image output circuit 35 outputs n-viewpoint parallax image data to the image recording unit 27 when virtual viewpoint image data is input from the virtual viewpoint image generation unit 44.
  • the image output circuit 35 outputs the L and R viewpoint image data I (L) and I (R) in the image reading circuit 31 to the image recording unit 27 when there is no input of virtual viewpoint image data.
  • the parallax image data of n viewpoints is any of the following normal parallax image data, L parallax image data, and R parallax image data depending on the number and types of virtual viewpoint image data input from the virtual viewpoint image generation unit 44. It becomes.
  • the normal parallax image data includes (n ⁇ 2) L and R virtual viewpoint image data from the virtual viewpoint image generation unit 44 and L and R viewpoint image data I (L) and I (R (R) from the image reading circuit 31.
  • the L parallax image data includes (n ⁇ 1) L virtual viewpoint image data from the virtual viewpoint image generation unit 44 and L viewpoint image data I (L) from the image reading circuit 31.
  • the R parallax image data includes (n ⁇ 1) R virtual viewpoint image data from the virtual viewpoint image generation unit 44 and R viewpoint image data I (R) from the image reading circuit 31.
  • the CPU 21 is any one of normal parallax image data output processing, L parallax image data output processing, R parallax image data output processing, and L and R viewpoint image data output processing. Is executed selectively.
  • the normal parallax image data output process is executed when both the L and R viewpoint image data I (L) and I (R) are normally photographed.
  • the L parallax image data output processing is executed when a shooting failure occurs in the R viewpoint image data I (R), and the R parallax image data output processing occurs in the L viewpoint image data I (L). It is executed when you are.
  • the L and R viewpoint image data output processing is executed when a shooting failure has occurred in both the L and R viewpoint image data I (L) and I (R).
  • the CPU 21 causes the monitor 30 to display a warning message indicating that a shooting failure has occurred in both the L and R viewpoint image data I (L) and I (R).
  • the memory card 16 removed from the compound eye camera 11 is set in the image input I / F 28.
  • the CPU 21 issues a read command for the image file 15 to the image reading circuit 31.
  • the image reading circuit 31 reads the designated image file 15 from the memory card 16 via the image input I / F 28 and temporarily stores it.
  • the CPU 21 issues a shooting failure detection command to the shooting failure detection circuit 32.
  • the photographing failure detection circuit 32 analyzes the L and R viewpoint image data I (L) and I (R) in the image reading circuit 31 and both the image data I (L) and I (R). The presence or absence of a shooting failure is detected, and the detection result is sent to the CPU 21.
  • the CPU 21 executes normal parallax image data output processing when no shooting failure has occurred in both the L and R viewpoint image data I (L) and I (R). Further, the CPU 21 executes the L parallax image data output process when the shooting failure occurs in the R viewpoint image data I (R), and the shooting failure occurs in the L viewpoint image data I (L). In this case, an R parallax image data output process is executed. Then, the CPU 21 executes L and R viewpoint image data output processing when a shooting failure has occurred in both the L and R viewpoint image data I (L) and I (R).
  • the CPU 21 issues a normal viewpoint setting command to the virtual viewpoint setting unit 43.
  • the virtual viewpoint setting unit 43 starts the normal viewpoint setting process shown in FIG. 5A.
  • the virtual viewpoint setting unit 43 obtains a parallax value corresponding to the subject position closest to the compound eye camera 11 and a parallax value corresponding to the farthest subject position based on the parallax map 38L.
  • the virtual viewpoint V (1 is set so that the closest subject is observed on the front side by a predetermined distance from the recording surface of the sheet 17 and the farthest subject is observed on the back side by a predetermined distance from the recording surface of the sheet 17.
  • To V (4) are set. Note that various known methods may be used as the virtual viewpoint setting method.
  • the CPU 21 issues an execution command for L normal image generation processing to the virtual viewpoint image generation unit 44.
  • the virtual viewpoint image generation unit 44 uses the L virtual viewpoint data I L (1), V (2) corresponding to the virtual viewpoints V (1) and V (2) based on the parallax map 38L and the L viewpoint image data I (L).
  • I L (2) is generated.
  • a method for generating virtual viewpoint image data based on the parallax map and the L viewpoint image data is a well-known technique, and thus the description thereof is omitted here (for example, JP 2001-346226 A, JP 2003-346188 A). No. publication).
  • the CPU 21 After generating the L virtual viewpoint image data I L (1) and I L (2), the CPU 21 issues a generation command for generating a parallax map 38R to the parallax map generation circuit 33. Thereby, the corresponding point 40 on the L viewpoint image data I (L) corresponding to each pixel 39 of the R viewpoint image data I (R) is extracted, and the parallax map 38R is generated based on this extraction result.
  • the CPU 21 issues a normal viewpoint setting command to the virtual viewpoint setting unit 43 and issues an R normal image generation processing execution command to the virtual viewpoint image generation unit 44.
  • R virtual viewpoint data I R (3), I R (4) corresponding to the virtual viewpoints V (3), V (4) are generated.
  • the CPU 21 issues a normal parallax image data output command to the image output circuit 35.
  • the image output circuit 35 reads the L and R viewpoint image data I (L) and I (R) from the image reading circuit 31.
  • the image output circuit 35 outputs the virtual viewpoint data I L (1), I L (2), I R (3), I R (4) and L, R viewpoint image data I (L), I ( R) is output to the image recording unit 27.
  • the normal parallax image data output process is thus completed.
  • the corresponding point 40a in the R viewpoint image data I (R) corresponding to the pixel 39a in the L viewpoint image data I (L) is hidden by the finger image 46. Even in such a case, a parallax between the pixel 39a and the corresponding point 40b may be obtained with a pixel that is not hidden by the finger image 46 in the vicinity of the corresponding point 40a as the corresponding point 40b. Although this parallax value is an incorrect value obtained as a result of an incorrect response, it is a value indicating some depth of the subject. For this reason, as shown in FIG. 11C, in the parallax map 38L obtained by the corresponding point search based on the L viewpoint image data I (L) captured normally, the parallax value of the abnormal region 47 also has some depth of the subject. It may be the value shown.
  • the L viewpoint image data I (L) corresponds to each pixel of the finger engagement image 46. Since there is no corresponding point, the parallax value is unknown. For this reason, as shown in FIG. 11D, in the parallax map 38R obtained by the corresponding point search based on the R viewpoint image data I (R), the parallax value of the abnormal region 49 is set to the default value (usually 0 or 255). Become. Accordingly, the depth distribution of the subject can be obtained more accurately in the parallax map 38L than in the parallax map 38R.
  • the parallax map 38L is generated when a shooting failure has occurred in the R viewpoint image data I (R).
  • the parallax map 38L is output to the virtual viewpoint image generation circuit 34.
  • the CPU 21 issues a special viewpoint setting command to the virtual viewpoint setting unit 43.
  • the virtual viewpoint setting unit 43 that has received the special viewpoint setting command executes a special viewpoint setting process to set virtual viewpoints V (1) to V (10).
  • the CPU 21 issues an execution command for L special image generation processing to the virtual viewpoint image generation unit 44.
  • the virtual viewpoint image generation unit 44 that has received a command from the CPU 21 based on the parallax map 38L and the L viewpoint image data I (L), L virtual viewpoint image data corresponding to the virtual viewpoints V (1) to V (5). I L (1) to I L (5) are generated. Since the virtual viewpoint image data is generated based on the normal L viewpoint image data I (L), the finger image 46 is not included in the virtual viewpoint image data.
  • the abnormal region 47 shown in FIG. 11C has occurred in the parallax map 38L, as the virtual viewpoint approaches the R viewpoint V (R), an abnormality occurs in the L virtual viewpoint image data corresponding to the virtual viewpoint.
  • the probability of occurrence increases, and the degree of abnormality increases.
  • the abnormality is, for example, that a part of the background is displayed in front of the main subject located in the center of the image.
  • the virtual viewpoint image generation unit 44 performs L virtual viewpoint image data I L (1) to I L (5) corresponding to the five virtual viewpoints V (1) to V (5) from the closest to the L viewpoint V (L). ) Is generated, the probability of occurrence of abnormality in these image data is low. Further, even if an abnormality occurs, the degree becomes small.
  • the L virtual viewpoint data I L (1) to I L (5) are input to the image output circuit 35.
  • the CPU 21 issues an output command for L parallax image data to the image output circuit 35.
  • the image output circuit 35 has six viewpoint L parallax images composed of the L virtual viewpoint data I L (1) to I L (5) and the L viewpoint image data I (L) read from the image reading circuit 31. Data is output to the image recording unit 27. The L parallax image data output process is thus completed.
  • R parallax image data output processing As shown in FIG. 13, the flow of the R parallax image data output process is basically the same as the flow of the L parallax image data output process. However, the parallax map 38R is generated in the R parallax image data output processing. Next, based on the parallax map 38R and the R viewpoint image data I (R), the R virtual viewpoint image data corresponding to the five virtual viewpoints V (6) to V (10) from the closest to the R viewpoint V (R). I R (6) to I R (10) are generated. Then, 6-viewpoint R parallax image data including the R virtual viewpoint data I R (6) to I R (10) and the R viewpoint image data I (R) is output to the image recording unit 27. The R parallax image data output process is thus completed.
  • the CPU 21 issues an output command of L and R viewpoint image data to the image output circuit 35.
  • the image output circuit 35 reads out the L and R viewpoint image data I (L) and I (R) from the image reading circuit 31 and outputs them to the image recording unit 27.
  • the CPU 21 stops the image recording process.
  • the CPU 21 when any of the normal parallax image data, the L parallax image data, and the R parallax image data is input to the image recording unit 27, the CPU 21 records six viewpoint images on the image recording unit 27. Issue a command. In response to this instruction, the image recording unit 27 records a linear image obtained by dividing the six viewpoint images into linear shapes on the back surface of the sheet 17.
  • the stereoscopic effect of the stereoscopic image is lower than when recording is performed based on the normal parallax image data, but photographing of the finger image 46 and the flare is performed. Since no obstacle is displayed, a good stereoscopic image can be observed.
  • the CPU 21 issues a two-viewpoint image recording command to the image recording unit 27.
  • the image recording unit 27 records a linear image obtained by dividing the L and R viewpoint image data I (L) and I (R) into linear shapes on the back surface of the sheet 17.
  • the above-described processing is repeatedly executed.
  • the present invention can also be applied to the case of recording parallax image data of three or more viewpoints on the sheet 17. It can.
  • the printer 52 according to the second embodiment of the present invention will be described with reference to FIG.
  • the number of virtual viewpoints set during the special viewpoint setting process is predetermined.
  • the set number of virtual viewpoints is determined according to the area of a shooting failure area such as the finger image 46 in the L and R viewpoint image data (hereinafter simply referred to as shooting failure area).
  • the printer 52 has basically the same configuration as the printer 12 of the first embodiment. However, the shooting failure detection circuit 32 is provided with an area detection unit 53 and the CPU 21 functions as a virtual viewpoint setting control unit 54.
  • the memory 23 stores a setting number determination table 55.
  • the setting number determination table 55 stores the area S of the shooting failure area and the setting number of the virtual viewpoint in association with each other. In the setting number determination table 55, both are associated with each other so that the setting number of virtual viewpoints increases as the area S increases by a certain amount.
  • the area detection unit 53 operates when the shooting failure detection circuit 32 detects the occurrence of a shooting failure, calculates the area S of the shooting failure region, and outputs the result to the CPU 21.
  • the area S is obtained, for example, by specifying a shooting failure area in the image data and counting the number of pixels in this area. Note that the shooting failure area can be specified, for example, by comparing normally captured image data and image data in which a shooting failure has occurred using various matching methods.
  • the virtual viewpoint setting control unit 54 operates during the special viewpoint setting process and determines the number of virtual viewpoint settings.
  • the virtual viewpoint setting control unit 54 refers to the setting number determination table 55 in the memory 23 based on the value of the area S input from the area detection unit 53, determines the setting number of the virtual viewpoint, and uses this result as the virtual viewpoint setting. Send to part 43. Accordingly, the number of virtual viewpoints set during the special viewpoint setting process can be increased or decreased according to the area S of the shooting failure area.
  • the number of virtual viewpoints can be increased.
  • the position of the virtual viewpoint of each virtual viewpoint image data can be brought closer to the L / R viewpoint on the side where no shooting failure has occurred.
  • the positions of the virtual viewpoints V (1) to V (5) approach the L viewpoint V (L). For this reason, it is possible to reduce the influence of shooting failure on the virtual viewpoint image data.
  • a stereoscopic image printing system 58 according to the third embodiment of the present invention will be described with reference to FIG.
  • virtual viewpoint image data is generated based on the parallax map generated by the parallax map generation circuit 33 during the L and R parallax image data output processing.
  • the stereoscopic image printing system 58 when a shooting failure has occurred in any one of the L and R viewpoint image data I (L) and I (R), a parallax map stored in advance is used. Using this, virtual viewpoint image data is generated.
  • the stereoscopic image printing system 58 includes a compound eye camera 59 and a printer 60.
  • the compound-eye camera 59 is basically the same as the compound-eye camera 11 of the first embodiment, but has a person photographing mode, a landscape photographing mode, and a normal photographing mode as photographing modes.
  • the portrait shooting mode is a mode in which shooting is performed under shooting conditions suitable for shooting a person such as setting the focus to a foreground.
  • the landscape shooting mode is a mode in which shooting is performed under shooting conditions suitable for landscape shooting, for example, the focus is set to a distant view.
  • the normal shooting mode is a mode that can cover a wide range of shooting conditions corresponding to shooting of a person or landscape.
  • the printer 60 basically has the same configuration as the printer 12 of the first embodiment.
  • the image processing circuit 64 of the printer 60 includes a parallax map storage unit 65, a parallax map output circuit 66, and a virtual viewpoint image generation circuit 67.
  • the parallax map storage unit 65 stores a normal shooting parallax map 71, a person shooting parallax map 72, and a landscape shooting parallax map 73.
  • the main subject H is located in the center of the image, the lower subject in the image is located in front of the main subject H, and the upper subject in the image is the main subject.
  • It is a parallax map assuming L and R viewpoint image data located on the back side of H.
  • the normal shooting parallax map 71 includes a region A (0) where the parallax value is set to zero, a region A ( ⁇ 10) where the parallax value is set to ⁇ 10, and a region A ( +10), and is divided into four areas of area A (+20) where the parallax value is set to +20.
  • the region A (0) as a reference, the smaller the value of the parallax value, the closer to the near side region, and vice versa.
  • Area A (0) has a substantially trapezoidal shape and is set at the center of the map. This is because the portion most watched by the viewer is the main subject H, and if this portion has parallax, the visual fatigue of the viewer increases.
  • the other area A ( ⁇ 10), area A (+10), and area A (+20) are set in the lower map area, the middle map area, and the upper map area, respectively, excluding the center of the map.
  • the person-photographing parallax map 72 is a parallax map assuming L and R viewpoint image data obtained by person photographing.
  • a substantially rectangular area A (0) is set at the lower center of the map and the center of the map.
  • the area A ( ⁇ 10) is set in the lower part of the map so as to surround the lower end of the area A (0).
  • the area A (+10) is set so as to surround the area A (0) in a range other than the area A ( ⁇ 10).
  • the region A (+20) is set so as to surround the region A (+10).
  • the landscape shooting parallax map 73 is a parallax map assuming L and R viewpoint image data obtained by landscape shooting.
  • a band-like region A ( ⁇ 10), region A (0), region A (+10), and region A (+20) are set in order from the lower map level to the upper map level.
  • the parallax map output circuit 66 selects the parallax map most suitable for the shooting scene of the image file 15 from the parallax maps 71 to 73 in the parallax map storage unit 65 (hereinafter referred to as the optimal parallax map). Is output to the virtual viewpoint image generation circuit 67.
  • the parallax map output circuit 66 includes a shooting scene determination unit 75.
  • the shooting scene determination unit 75 refers to the incidental information 62 of the image file 15 and confirms the type of shooting mode when the image file 15 is obtained, so that the shooting scene category of the image file 15 is person shooting, It is determined whether the shooting is landscape shooting or normal shooting.
  • the virtual viewpoint image generation circuit 67 basically generates virtual viewpoint image data in the same manner as the virtual viewpoint image generation circuit 34 of the first embodiment. However, when a shooting failure has occurred in one of the L and R viewpoint image data I (L) and (L), the virtual viewpoint setting unit 77 performs a special viewpoint setting process (hereinafter referred to as “first viewpoint setting process”) different from that in the first embodiment.
  • the virtual viewpoint image generation unit 78 executes a special image generation process (hereinafter referred to as a special image generation process X) different from that of the first embodiment.
  • the special image generation process X the following L special image generation process X and R special image generation are performed depending on which of the L and R viewpoint image data I (L) and I (R) has a shooting failure.
  • One of the processes X is selectively executed.
  • the CPU 21 issues an optimal parallax map output command to the parallax map output circuit 66.
  • the parallax map output circuit 66 operates the shooting scene determination unit 75.
  • the shooting scene determination unit 75 confirms the type of shooting mode recorded in the incidental information 62 of the image file 15 in the image reading circuit 31. Thereby, it is determined that the category of the shooting scene is any one of portrait shooting, landscape shooting, and normal shooting.
  • the parallax map output circuit 66 selects an optimal parallax map corresponding to the determination result of the shooting scene determination unit 75 from the parallax map storage unit 65, and outputs this optimal parallax map to the virtual viewpoint image generation circuit 67.
  • the CPU 21 executes an L parallax image data output process when a shooting failure has occurred in the R viewpoint image data I (R).
  • the virtual viewpoint setting unit 43 that has received the special viewpoint setting command executes a special viewpoint setting process X to set virtual viewpoints V (1) to V (5).
  • the CPU 21 issues an execution command for the L special image generation process X to the virtual viewpoint image generation unit 78.
  • the virtual viewpoint image generation unit 78 In response to the command from the CPU 21, the virtual viewpoint image generation unit 78 generates the L virtual viewpoint image data I corresponding to the virtual viewpoints V (1) to V (5) based on the optimal parallax map and the L viewpoint image data I (L). L (1) to I L (5) are generated. Unlike the first embodiment, since it is not necessary to generate the parallax map 38L, the load on the image processing circuit 64 can be reduced, and the processing time can be further reduced as compared with the first embodiment. In addition, since a pre-stored parallax map is used, even if the area of the shooting failure area generated in one of the L and R viewpoint image data I (L) and I (R) is large, the virtual viewpoint image is good to some extent. Data is obtained.
  • the L virtual viewpoint image data I L (1) to I L (5) are input to the image output circuit 35.
  • the CPU 21 issues an output command for L parallax image data to the image output circuit 35.
  • six viewpoint L parallax image data including the L virtual viewpoint image data I L (1) to I L (5) and the L viewpoint image data I (L) is output to the image recording unit 27.
  • the L parallax image data output process is thus completed.
  • R parallax image data output processing As shown in FIG. 23, the CPU 21 executes an R parallax image data output process when a shooting failure has occurred in the L viewpoint image data I (L).
  • the flow of the R parallax image data output process is basically the same as the flow of the L parallax image data output process described above.
  • ⁇ I R (5) is generated.
  • R parallax image data of 6 viewpoints including the R virtual viewpoint data I R (1) to I R (5) and the R viewpoint image data I (R) is output to the image recording unit 27.
  • the R parallax image data output process is thus completed.
  • the processing after the output of the L and R parallax image data is the same as in the first embodiment, the description thereof is omitted. Also in the third embodiment, since the virtual viewpoint image data is generated based on the image data in which no shooting failure has occurred, a good stereoscopic image can be observed.
  • the present invention can also be applied to the case of recording parallax image data of three or more viewpoints on the sheet 17. it can.
  • the parallax map stored in the parallax map storage unit 65 As the parallax map stored in the parallax map storage unit 65, the normal / person / landscape shooting parallax maps 71 to 73 are given as examples. However, the parallax maps corresponding to other various shooting scenes are used. May be stored. Furthermore, in the third embodiment, the shooting scene is determined based on the incidental information 62 of the image file 15. For example, a well-known face detection process is performed to perform L and R viewpoint image data I (L) and I (R The shooting scene may be determined based on the result of detecting the presence / absence of the face and the size thereof.
  • five virtual viewpoints are set at the time of the L- and R-parallax image data output processing of six viewpoints.
  • ten virtual viewpoints are set and five as in the first embodiment.
  • Individual virtual viewpoint image data may be generated.
  • virtual viewpoint image data may be generated in the same manner as in the first embodiment except that the optimal parallax map is used instead of the parallax maps 38L and 38R.
  • a stereoscopic image printing system 80 according to the fourth embodiment of the present invention will be described with reference to FIG.
  • the virtual viewpoint image data is generated by the printer, but in the stereoscopic image printing system 80, the virtual viewpoint image data is generated by the compound eye camera.
  • the stereoscopic image printing system 80 includes a compound eye camera 81 and a printer 82.
  • the compound eye camera 81 includes a pair of imaging units 14L and 14R.
  • the imaging units 14L and 14R include an image sensor and the like (not shown) in addition to the photographing lens 14a.
  • the CPU 85 performs overall control of each unit of the compound eye camera 81 by sequentially executing various programs read from the memory 87 based on the control signal from the operation unit 86.
  • An operation unit 86, a memory 87, a signal processing circuit 89, a display driver 90 and a monitor 91, an image processing circuit 92, a recording control circuit 93, and the like are connected to the CPU 85 via a bus 88.
  • the operation unit 86 includes, for example, a power switch, a mode changeover switch for switching an operation mode (for example, a shooting mode, a reproduction mode, etc.) of the compound-eye camera 81, a shutter button, and the like.
  • An AFE (analog front end) 95 performs noise removal processing, image signal amplification processing, and digitization processing on the analog image signals output from the imaging units 14L and 14R, respectively, and outputs the L and R image signals. Generate.
  • the L and R image signals are output to the signal processing circuit 89.
  • the signal processing circuit 89 subjects the L and R image signals input from the AFE 95 to various image processing such as gradation conversion, white balance correction processing, ⁇ correction processing, YC conversion processing, and the like, and L and R viewpoint image data I (L) and I (R) are generated.
  • the signal processing circuit 89 stores the L and R viewpoint image data I (L) and I (R) in the memory 87.
  • the display driver 90 reads the L and R viewpoint image data I (L) and I (R) from the memory 87 each time the L and R viewpoint image data I (L) and I (R) are stored in the memory 87. An image display signal is generated and output to the monitor 91 at a fixed timing. As a result, a through image is displayed on the monitor 91.
  • the image processing circuit 92 operates when the shutter button of the operation unit 86 is pressed. Since the image processing circuit 92 has basically the same configuration as the image processing circuit 29 of the first embodiment, refer to FIG. 3 for the configuration. Note that the shooting failure detection circuit 32 of the image processing circuit 92 detects a shooting failure by the same shooting failure detection method as in the first embodiment. At this time, although the manufacturing cost of the compound-eye camera 81 increases, detection sensors 84L and 84R for detecting contact with a finger or the like are provided around the photographing lens 14a, and a photographing failure is detected based on the detection results of the detection sensors 84L and 84R. Occurrence may be detected.
  • the image reading circuit 31 of the fourth embodiment reads the L and R viewpoint image data I (L) and I (R) stored in the memory 87. Further, the image output circuit 35 of the fourth embodiment stores six viewpoint parallax image data or L and R viewpoint image data in the memory 87.
  • the recording control circuit 93 reads the parallax image data or the L and R viewpoint image data stored in the memory 87 when the shutter button of the operation unit 86 is fully pressed, and stores an image file 97 in which these are combined into one. Formed and recorded on the memory card 16.
  • the printer 82 has the same configuration as that of the printer 12 of the first embodiment except that the printer 82 does not include the image processing circuit 29.
  • the printer 82 records an image on the sheet 17 based on the parallax image data or the L and R viewpoint image data read from the memory card 16.
  • the generation of the parallax image data performed by the printer 10 of the first embodiment is performed by the compound eye camera 81, but the generation of the parallax image data performed by the printer 60 of the third embodiment is also performed.
  • the compound eye camera 81 can be used.
  • the virtual viewpoint image data is generated based on the L and R viewpoint image data obtained by the two-eye compound camera, but the viewpoint images of three or more viewpoints obtained by the three-eye or more compound eye camera are generated.
  • the present invention can also be applied to the case where virtual viewpoint image data is generated using any two of the data.
  • the virtual viewpoint is set between the L and R viewpoints.
  • the virtual viewpoint may be set on the left side of the L viewpoint or on the right side of the R viewpoint.
  • the description has been given by taking the printer or compound eye camera that generates the virtual viewpoint image data as an example.
  • the stereoscopic image display device that performs stereoscopic display based on the parallax image, or the parallax image in a predetermined order.
  • the present invention can be applied to various devices that generate virtual viewpoint image data such as a display device to be displayed.

Abstract

Ｌ，Ｒ視点画像データＩ（Ｌ），Ｉ（Ｒ）を基に複数の仮想視点画像データを生成する画像処理回路２９に、撮影障害検知回路３２、視差マップ生成回路３３、仮想視点画像生成回路３４を設ける。撮影障害検知回路３２は、Ｌ，Ｒ視点画像データＩ（Ｌ），Ｉ（Ｒ）に撮影障害が発生しているか否かを検知する。視差マップ生成回路３３は、両視点画像データＩ（Ｌ），Ｉ（Ｒ）のいずれか一方が異常画像データである場合に、他方の正常画像データの各画素に対応する異常画像データ上の対応点を抽出して視差マップを生成する。仮想視点画像生成回路３４は、視差マップと正常画像データとに基づき仮想視点画像データを生成する。

Description

画像生成装置及び方法並びにプリンタ
　本発明は、被写体を２視点から撮影した視点画像を基に、被写体を仮想視点から見たときの仮想視点画像を生成する画像生成装置及び方法、並びにこの画像生成装置を備えるプリンタに関する。
　レンチキュラレンズを左右方向に多数並べたレンチキュラシートを用いて、立体画像を観察できるようにした技術が知られている。これは、レンチキュラシートの背面側に、例えば左右の２視点から撮影したＬ視点画像及びＲ視点画像をそれぞれ線状に分割した線状画像を交互に配置するとともに、１個のレンチキュラレンズの下に、隣接する２つの線状画像を位置させたものである。左眼と右眼とが、各レンチキュラレンズを介して、視差のあるＬ視点画像及びＲ視点画像をそれぞれ観察することで、立体画像を観察することができる。
　ところで、個々のレンチキュラレンズの背面に、Ｌ，Ｒ視点分の２本の線状画像だけを記録した場合には、画像が２重に見えるような不自然な立体画像が観察される。
　特許文献１には、複眼カメラにより得られたＬ，Ｒ視点画像を基に、電子的補間によりＬ，Ｒ視点とは異なる複数の仮想的に設定された仮想視点から被写体を見たときの仮想視点画像を生成し、元のＬ，Ｒ視点画像と新たな仮想視点画像とに基づきレンチキュラシートに線状画像の記録を行うプリントシステムが開示されている。これにより、個々のレンチキュラレンズの背面にｎ（ｎは３以上）個の線状画像を並べて配置することができるので、立体画像の立体感を向上させることができる。
特開２００１－３４６２２６号公報
　しかしながら、複眼カメラで撮影を行う際にその一方の撮影レンズの一部が撮影者の指で遮られた場合には、Ｌ，Ｒ視点画像の一方は正常に撮影されない。このようなＬ，Ｒ視点画像から生成した仮想視点画像に基づいて、線状画像をレンチキュラシートに記録したときには、不自然な立体画像が観察されてしまう。これを防止するため、例えば撮影レンズの周辺に指などの接触を検知するセンサを設け、このセンサで指の接触を検知したときに警告表示を行う方法が考えられる。しかし、全ての複眼カメラにセンサを設けることは、製造コストが高くなるため現実的ではない。
　本発明は上記問題を解決するためになされたものであり、Ｌ，Ｒ視点の撮影画像のいずれか一方に異常がある場合でも、良好な仮想視点画像が得られる画像生成装置及び方法並びにプリンタを提供することを目的とする。
　上記目的を達成するため、本発明の画像生成装置は、被写体を異なる視点から撮影して得られた視差を有する第１視点画像及び第２視点画像を基に、前記視点とは異なる所定数の仮想視点から被写体を見たときの仮想視点画像を生成する画像生成装置において、前記第１視点画像及び第２視点画像に異常があるか否かを検知する検知手段と、前記検知手段の検知結果に基づき、前記第１視点画像及び第２視点画像の一方が異常のある異常画像である場合に、異常のない他方の正常画像の各画素にそれぞれ対応する前記異常画像上の対応点を抽出し、この抽出結果に基づき被写体の奥行き分布を示す視差マップを生成する視差マップ生成手段と、前記視差マップと前記正常画像とに基づき、前記仮想視点画像を生成する仮想視点画像生成手段と、を備えることを特徴とする。
　前記正常画像と前記仮想視点画像とを、所定の出力先へ出力する画像出力手段を備えることが好ましい。また、前記異常画像及び前記正常画像の視点間に前記所定数よりも多くの前記仮想視点を設定する仮想視点設定手段を備え、前記仮想視点画像生成手段は、前記仮想視点設定手段が設定した各仮想視点の中から、前記正常画像の視点に近い側より順に前記所定数の前記仮想視点を選択して、前記仮想視点画像を生成することが好ましい。
　前記仮想視点は、被写体を中心に等角度間隔で設定されることが好ましい。前記異常画像内で前記異常が発生した領域の面積を検知する面積検知手段を備え、前記仮想視点設定手段は、前記面積が大きくなるのに従って前記仮想視点の設定数を増加させることが好ましい。
　被写体を異なる視点から撮影する複数の撮像部を有する撮影装置から、前記第１視点画像及び第２視点画像を取得する画像取得手段を備えることが好ましい。また、前記異常は、フレア、及び前記撮像部の撮影レンズの少なくとも一部を遮蔽していた障害物の像の少なくともいずれかを含むことが好ましい。
　また、本発明のプリンタは、請求項１ないし７いずれか１項記載の画像生成装置と、前記第１視点画像及び第２視点画像のいずれか一方が前記異常画像であるときに、前記正常画像と前記仮想視点画像とに基づき、立体視が可能な画像を記録媒体に記録する記録手段と、を備えることを特徴とする。また、前記第１視点画像及び第２視点画像の両方に異常がある場合に、その旨を警告表示する警告表示手段を備えることが好ましい。
　また、本発明の画像生成方法は、被写体を異なる視点から撮影して得られた視差を有する第１視点画像及び第２視点画像を基に、前記視点とは異なる所定数の仮想視点から被写体を見たときの仮想視点画像を生成する画像生成方法において、前記第１視点画像及び第２視点画像に異常あるか否かを検知する検知ステップと、前記検知ステップでの検知結果に基づき、前記第１視点画像及び第２視点画像のいずれか一方が異常のある異常画像である場合に、異常のない他方の正常画像の各画素にそれぞれ対応する前記異常画像上の対応点を抽出し、この抽出結果に基づき被写体の奥行き分布を示す視差マップを生成する視差マップ生成ステップと、前記視差マップと前記正常画像とに基づき、前記仮想視点画像を生成する仮想視点画像生成ステップと、を有することを特徴とする。
　本発明の画像生成装置及び方法並びにプリンタは、第１視点画像及び第２視点画像の一方が異常のある異常画像である場合に、他方の正常画像の各画素にそれぞれ対応する異常画像上の対応点を抽出した結果を基に視差マップを生成し、この視差マップと正常画像とに基づいて仮想視点画像を生成するので、第１視点画像及び第２視点画像の一方に異常がある場合でも良好な仮想視点画像が得られる。
立体画像プリントシステムの構成を示す概略図である。 レンチキュラシートをその背面側から見た斜視図である。 画像処理回路のブロック図である。 Ｌ視点画像データの一例を示した図である。 Ｒ視点画像データの一例を示した図である。 Ｌ視点画像データを基準として生成した視差マップの一例を示した図である。 Ｒ視点画像データを基準として生成した視差マップの一例を示した図である。 通常視点設定処理を説明するための説明図である。 特殊視点設定処理を説明するための説明図である。 立体画像プリントシステムの記録処理の流れを示すフローチャートである。 通常視差画像データ生成処理の流れを示すフローチャートである。 通常視差画像データ出力処理を説明するための説明図である。 Ｌ視差画像データ出力処理の流れを示すフローチャートである。 撮影障害が発生していないＬ視点画像データの一例を示した図である。 撮影障害が発生したＲ視点画像データの一例を示した図である。 図１０ＡのＬ視点画像データを基準として生成された視差マップの一例を示した図である。 撮影障害が発生していないＬ視点画像データの一例を示した図である。 撮影障害が発生しているＲ視点画像データの一例を示した図である。 図１１ＡのＬ視点画像データを基準として生成された視差マップの一例を示した図である。 図１１ＢのＲ視点画像データを基準として生成された視差マップの一例を示した図である。 Ｌ視差画像データ出力処理を説明するための説明図である。 Ｒ視差画像データ出力処理の流れを示すフローチャートである。 Ｌ，Ｒ視点画像データ出力処理の流れを示すフローチャートである。 第２実施形態のプリンタの構成を示すブロック図である。 第３実施形態の立体画像プリントシステムの構成を示すブロック図である。 通常撮影用視差マップを説明するための説明図である。 人物撮影用視差マップを説明するための説明図である。 風景撮影用視差マップを説明するための説明図である。 第３実施形態の立体画像プリントシステムの記録処理の流れを示すフローチャートである。 第３実施形態のＬ視差画像データ出力処理の流れを示すフローチャートである。 第３実施形態のＬ視差画像データ出力処理を説明するための説明図である。 第３実施形態のＲ視差画像データ出力処理の流れを示すフローチャートである。 第４実施形態の立体画像プリントシステムの構成を示すブロック図である。
　図１に示すように、立体画像プリントシステム１０は、複眼カメラ１１とプリンタ１２とで構成される。複眼カメラ１１は、一対の撮像部１４Ｌ，１４Ｒを備えており、被写体を左右の異なる２視点から撮影して視差を有するＬ視点のＬ視点画像データＩ（Ｌ）とＲ視点のＲ視点画像データＩ（Ｒ）とを生成する。Ｌ，Ｒ視点画像データＩ（Ｌ），Ｉ（Ｒ）は一つにまとめた画像ファイル１５としてメモリカード１６に記録される。なお、符号１４ａは、撮像部１４Ｌ，１４Ｒの撮影レンズである。
　プリンタ１２は、メモリカード１６に記録されたＬ，Ｒ視点画像データＩ（Ｌ），（Ｒ）に基づき、立体画像を観察するための複数の視点画像データをレンチキュラシート１７（以下、単にシート１７という、図２参照）の背面に記録する。
　図２に示すように、シート１７は、その表面側に多数の半円柱状のレンチキュラレンズ（以下、単にレンズという）１８が配列され、その背面が平面になっている。この背面は、レンズ１８ごとに画像領域１９が仮想的に区画され、１個のレンズ１８に対して１個の画像領域１９が対応する。
　各画像領域１９は、視点画像の個数に応じてレンズ１８の配列方向に区画される。例えば６視点の画像の記録を行う場合に、各画像領域１９は６個の第１～第６微小領域１９ａ～１９ｆに区画され、６視点の画像を線状に分割した線状画像がそれぞれに記録される。各微小領域１９ａ～１９ｆは、６視点の画像にそれぞれ１対１に対応している。
　図１に戻って、プリンタ１２のＣＰＵ２１は、操作部２２からの制御信号に基づき、メモリ２３から読み出した各種プログラムやデータを逐次実行することで、プリンタ１２の各部を統括的に制御する。メモリ２３のＲＡＭ領域は、ＣＰＵ２１が処理を実行するためのワークメモリや、各種データの一時保管先として機能する。
　ＣＰＵ２１には、バス２５を介して、操作部２２、メモリ２３、シート搬送機構２６、画像記録部２７、画像入力Ｉ／Ｆ２８、画像処理回路（画像生成装置）２９、モニタ３０などが接続されている。
　操作部２２は、プリンタ１２の電源のＯＮ／ＯＦＦ操作、及び画像記録の開始操作などに用いられる。シート搬送機構２６は、シート１７をレンズ１８の配列方向に平行な副走査方向に搬送する。
　画像記録部２７は、主走査方向に長く延びた線状画像をシート１７の背面に記録する。画像記録部２７は、シート１７が副走査方向に１ライン分ずつ搬送されるごとに、線状画像を１ラインずつ記録する。これにより、副走査方向に線状画像を並べて記録することができる。
　画像入力Ｉ／Ｆ２８は、メモリカード１６がセットされる。画像入力Ｉ／Ｆ２８は、メモリカード１６から画像ファイル１５を読み出して画像処理回路２９へ送る。
　画像処理回路２９は、画像ファイル１５のＬ，Ｒ視点画像データＩ（Ｌ），Ｉ（Ｒ）に基づき、Ｌ，Ｒ視点とは異なる複数の仮想視点からの仮想視点画像データを生成する。また、画像処理回路２９は、仮想視点画像データの生成を行ったときに、Ｌ，Ｒ視点画像データＩ（Ｌ），（Ｒ）の少なくとも一方と、仮想視点画像データとからなるｎ視点の視差画像データを画像記録部２７へ出力する。ここで、視差画像データとは、異なる視点から被写体を見たときの個々の視点画像データの集まりをいう。
　モニタ３０は、画像記録処理のメニューを選択する選択画面、各種設定を行うための設定画面、及びトラブル発生時の警告メッセージなどを表示する。
　図３に示すように、画像処理回路２９は、画像読出回路（画像取得手段）３１と、撮影障害検知回路（検知手段）３２と、視差マップ生成回路３３と、仮想視点画像生成回路３４と、画像出力回路３５とを有している。
　画像読出回路３１は、画像入力Ｉ／Ｆ２８を介して、操作部２２で指定された画像ファイル１５をメモリカード１６から読み出して記憶する。
　撮影障害検知回路３２は、画像読出回路３１内の画像ファイル１５を解析して、Ｌ，Ｒ視点画像データＩ（Ｌ），Ｉ（Ｒ）に撮影障害が発生しているか否かを検知する。この撮影障害としては、指係りなどの物理的障害や、フレアなどの光学的障害が例として挙げられる。「指係り」は、撮影レンズ１４ａの少なくとも一部を撮影者の指（障害物）が遮蔽することで、撮影画像中に指の像が表示されることである（図１０Ｂ参照）。
　指係りの発生の有無は、例えば、指係り発生時に撮影される画像パターンを予め複数記憶しておき、これら各画像パターンとＬ，Ｒ視点画像データＩ（Ｌ），Ｉ（Ｒ）との類似度を判定することで検知可能である。また、フレアの発生の有無は、例えば、Ｌ，Ｒ視点画像データＩ（Ｌ），Ｉ（Ｒ）を比較して、両者の各部の輝度の差異が所定のしきい値よりも大きくなるか否かで検知可能である。
　視差マップ生成回路３３は、画像読出回路３１内のＬ，Ｒ視点画像データＩ（Ｌ），（Ｒ）に基づき、被写体の奥行き分布を示す視差マップを生成して仮想視点画像生成回路３４へ出力する。視差マップ生成回路３３は、Ｌ視点画像データＩ（Ｌ）を基準とした視差マップ３８Ｌと、Ｒ視点画像データＩ（Ｒ）を基準とした視差マップ３８Ｒとの少なくともいずれか一方を生成する。以下、視差マップ３８Ｌの生成方法の一例について説明する。
　図４Ａ及び図４Ｂに示すように、Ｌ，Ｒ視点画像データＩ（Ｌ），Ｉ（Ｒ）の同一領域内において、Ｌ視点画像データＩ（Ｌ）の各画素３９に対してＲ視点画像データＩ（Ｒ）上の対応する画素（以下、対応点という）４０を抽出する。なお、図中では画素３９及び対応点４０の代表例を図示している。対応点４０の抽出方法としては、上記特許文献１に記載されているテンプレートマッチング方式などの各種方式があり、いずれの方式を用いてもよい。
　次いで、Ｌ視点画像データＩ（Ｌ）の各画素３９に対するＲ視点画像データＩ（Ｒ）の各対応点４０の水平方向の位置ズレ量を求める。これにより、Ｌ視点画像データＩ（Ｌ）の画素３９ごとの視差が求まり、これを図４Ｃに示すような視差マップ３８Ｌとする。図中では、ドットの密度が高くなるのに従って複眼カメラ１１に近いことを示す。ドットの密度が高い部分が複眼カメラ１１に近い人物などの主要被写体を表し、ドットの密度が低い部分が複眼カメラ１１から遠い背景などを表す。
　一方、図４Ｄに示す視差マップ３８Ｒは、Ｒ視点画像データＩ（Ｒ）の各画素３９に対応するＬ視点画像データＩ（Ｌ）上の対応点４０の位置ズレ量を求めることにより生成される。
　図３に戻って、仮想視点画像生成回路３４は、左右視点とは異なる仮想視点から被写体を見たときの仮想視点画像データを生成する。この仮想視点画像生成回路３４は、仮想視点設定部４３と、仮想視点画像生成部４４とを備えている。
　仮想視点設定部４３は、Ｌ，Ｒ視点間に複数の仮想視点を設定する。この仮想視点設定部４３は、下記の通常視点設定処理及び特殊視点設定処理のいずれかを選択的に実行する。
　図５Ａに示すように、通常視点設定処理では、例えばｎ＝６視点とした場合に（ｎ－２）＝４個の仮想視点Ｖ（１）～Ｖ（４）を設定する。仮想視点Ｖ（１）～Ｖ（４）は、Ｌ視点Ｖ（Ｌ）及びＲ視点Ｖ（Ｒ）のそれぞれの視点方向がなす輻輳角αを５分割するように等角度間隔で設定される。
　図５Ｂに示すように、特殊視点設定処理では、例えばｎ＝６視点とした場合に（２ｎ－２）＝１０個の仮想視点Ｖ（１）～Ｖ（１０）を設定する。仮想視点Ｖ（１）～Ｖ（１０）は、輻輳角αを１１分割するように等角度間隔で設定される。
　図３に戻って、仮想視点画像生成部４４は、仮想視点設定部４３が設定した仮想視点に対応する仮想視点データを生成して画像出力回路３５へ送る。仮想視点画像生成部４４は、通常視点設定処理が実行されたときには通常画像生成処理を実行するとともに、特殊視点設定処理が実行されたときには特殊画像生成処理を実行する。
　通常画像生成処理では、Ｌ通常画像生成処理とＲ通常画像生成処理とを順番に実行する。Ｌ通常画像生成処理では、Ｌ，Ｒ視点Ｖ（Ｌ），Ｖ（Ｒ）間の中心よりもＬ視点Ｖ（Ｌ）側に位置する仮想視点の仮想視点画像データを生成する（図８参照）。具体的には、Ｌ視点画像データＩ（Ｌ）及び視差マップ３８Ｌに基づき、仮想視点画像データ（以下、Ｌ仮想視点画像データという）を生成する。
　一方、Ｒ通常画像生成処理では、Ｌ，Ｒ視点Ｖ（Ｌ），Ｖ（Ｒ）間の中心よりもＲ視点Ｖ（Ｒ）側に位置する仮想視点の仮想視点画像データを生成する。具体的には、Ｒ視点画像データＩ（Ｒ）及び視差マップ３８Ｒに基づき、仮想視点画像データ（以下、Ｒ仮想視点画像データという）を生成する。これにより、左右合計で（ｎ－２）個のＬ，Ｒ仮想視点画像データが生成される。
　特殊画像生成処理では、Ｌ特殊画像生成処理及びＲ特殊画像生成処理のいずれかを選択的に実行する。Ｌ特殊画像生成処理では、Ｌ視点Ｖ（Ｌ）に近い順に（ｎ－１）個の仮想視点を選択して、これら各仮想視点に対応するＬ仮想視点画像データを生成する（図１２参照）。一方、Ｒ特殊画像生成処理では、Ｒ視点Ｖ（Ｒ）に近い順から選択した（ｎ－１）個の仮想視点に対応するＲ仮想視点画像データを生成する。これにより、（ｎ－１）個のＬ仮想視点画像データまたは（ｎ－１）個のＲ仮想視点画像データが生成される。
　画像出力回路３５は、仮想視点画像生成部４４から仮想視点画像データが入力されたときには、ｎ視点の視差画像データを画像記録部２７へ出力する。また、画像出力回路３５は、仮想視点画像データの入力がないときには、画像読出回路３１内のＬ，Ｒ視点画像データＩ（Ｌ），Ｉ（Ｒ）を画像記録部２７へ出力する。ここでｎ視点の視差画像データは、仮想視点画像生成部４４から入力される仮想視点画像データの数及び種類に応じて、下記の通常視差画像データ、Ｌ視差画像データ、Ｒ視差画像データのいずれかになる。
　通常視差画像データは、仮想視点画像生成部４４からの（ｎ－２）個のＬ，Ｒ仮想視点画像データと、画像読出回路３１からのＬ，Ｒ視点画像データＩ（Ｌ），Ｉ（Ｒ）とで構成される。Ｌ視差画像データは、仮想視点画像生成部４４からの（ｎ－１）個のＬ仮想視点画像データと、画像読出回路３１からのＬ視点画像データＩ（Ｌ）とで構成される。Ｒ視差画像データは、仮想視点画像生成部４４からの（ｎ－１）個のＲ仮想視点画像データと、画像読出回路３１からのＲ視点画像データＩ（Ｒ）とで構成される。
　ＣＰＵ２１は、撮影障害検知回路３２の検知結果に基づき、通常視差画像データの出力処理、Ｌ視差画像データの出力処理、Ｒ視差画像データの出力処理、Ｌ，Ｒ視点画像データの出力処理のいずれかを選択的に実行させる。
　通常視差画像データ出力処理は、Ｌ，Ｒ視点画像データＩ（Ｌ），Ｉ（Ｒ）の両方が正常に撮影されているときに実行される。Ｌ視差画像データ出力処理は、Ｒ視点画像データＩ（Ｒ）に撮影障害が発生しているときに実行され、Ｒ視差画像データ出力処理は、Ｌ視点画像データＩ（Ｌ）に撮影障害が発生しているときに実行される。
　Ｌ，Ｒ視点画像データ出力処理は、Ｌ，Ｒ視点画像データＩ（Ｌ），Ｉ（Ｒ）の両方に撮影障害が発生しているときに実行される。この際に、ＣＰＵ２１は、Ｌ，Ｒ視点画像データＩ（Ｌ），Ｉ（Ｒ）の両方に撮影障害が発生している旨を示す警告メッセージ等をモニタ３０に表示させる。
　次に、図６に示すフローチャートを用いて上記構成の立体画像プリントシステム１０の画像記録処理について説明を行う。なお、ここでは６視点（ｎ＝６）の画像をシート１７に記録する場合について説明を行う。
　最初に、複眼カメラ１１から取り外されたメモリカード１６が画像入力Ｉ／Ｆ２８にセットされる。このセット後に、操作部２２で画像ファイル１５を選択して記録開始操作を行うと、ＣＰＵ２１は、画像読出回路３１に対して画像ファイル１５の読出し指令を発する。これにより、画像読出回路３１は、画像入力Ｉ／Ｆ２８を介して、指定された画像ファイル１５をメモリカード１６から読み出して一時的に記憶する。
　次いで、ＣＰＵ２１は、撮影障害検知回路３２に対して撮影障害の検知指令を発する。この指令を受けて撮影障害検知回路３２は、画像読出回路３１内のＬ，Ｒ視点画像データＩ（Ｌ），Ｉ（Ｒ）を解析して、両画像データＩ（Ｌ），Ｉ（Ｒ）の撮影障害の発生の有無を検知し、この検知結果をＣＰＵ２１へ送る。
　ＣＰＵ２１は、Ｌ，Ｒ視点画像データＩ（Ｌ），Ｉ（Ｒ）の両方に撮影障害が発生していない場合には通常視差画像データ出力処理を実行する。また、ＣＰＵ２１は、Ｒ視点画像データＩ（Ｒ）に撮影障害が発生している場合にはＬ視差画像データ出力処理を実行し、Ｌ視点画像データＩ（Ｌ）に撮影障害が発生している場合にはＲ視差画像データ出力処理を実行する。そして、ＣＰＵ２１は、Ｌ，Ｒ視点画像データＩ（Ｌ），Ｉ（Ｒ）の両方に撮影障害が発生している場合にはＬ，Ｒ視点画像データ出力処理を実行する。
［通常視差画像データ出力処理］
　図７に示すように、通常視差画像データ出力処理の実行が決定すると、輻輳角αを分割する分割数（以下、視点分割数という）Ｋが「５」に決定し、仮想視点の設定数が「４」に決定する。次いで、ＣＰＵ２１は、視差マップ生成回路３３に対して視差マップ３８Ｌの生成指令を発する。この指令を受けて視差マップ生成回路３３は、Ｌ視点画像データＩ（Ｌ）の各画素３９に対応するＲ視点画像データＩ（Ｒ）上の対応点４０を抽出し、この抽出結果を基に視差マップ３８Ｌを生成する。視差マップ３８Ｌは仮想視点画像生成回路３４へ出力される。
　ＣＰＵ２１は、仮想視点設定部４３に対して通常視点設定指令を発する。この指令を受けて仮想視点設定部４３は、図５Ａに示した通常視点設定処理を開始する。仮想視点設定部４３は、視差マップ３８Ｌを基に、複眼カメラ１１に最も近い被写体位置に相当する視差値と最も遠い被写体位置に相当する視差値を求める。そして、最も近い被写体がシート１７の記録面から所定の距離だけ手前側に観察され、最も遠い被写体がシート１７の記録面から所定の距離だけ奥側に観察されるように、仮想視点Ｖ（１）～Ｖ（４）を設定する。なお、仮想視点の設定方法は周知の各種方法を用いてよい。
　次いで、ＣＰＵ２１は、仮想視点画像生成部４４に対してＬ通常画像生成処理の実行指令を発する。これにより、仮想視点画像生成部４４は、視差マップ３８ＬとＬ視点画像データＩ（Ｌ）とに基づき仮想視点Ｖ（１）、Ｖ（２）に対応するＬ仮想視点データＩＬ（１），ＩＬ（２）を生成する。なお、視差マップとＬ視点画像データとを基に仮想視点画像データを生成する方法は周知技術であるので、ここでは説明を省略する（例えば、特開２００１－３４６２２６号公報、特開２００３－３４６１８８号公報参照）。
　Ｌ仮想視点画像データＩＬ（１），ＩＬ（２）の生成後に、ＣＰＵ２１は、視差マップ生成回路３３に対して視差マップ３８Ｒの生成指令を発する。これにより、Ｒ視点画像データＩ（Ｒ）の各画素３９に対応するＬ視点画像データＩ（Ｌ）上の対応点４０が抽出され、この抽出結果を基に視差マップ３８Ｒが生成される。
　次いで、ＣＰＵ２１は、仮想視点設定部４３に対して通常視点設定指令を発するとともに、仮想視点画像生成部４４に対してＲ通常画像生成処理の実行指令を発する。これにより、仮想視点Ｖ（３），Ｖ（４）に対応するＲ仮想視点データＩＲ（３），ＩＲ（４）が生成される。
　図８に示すように、仮想視点Ｖ（１）～Ｖ（４）にそれぞれ対応するＬ仮想視点データＩＬ（１），ＩＬ（２）及びＲ仮想視点データＩＲ（３），ＩＲ（４）が生成される。これにより、元のＬ，Ｒ視点画像データＩ（Ｌ），Ｉ（Ｒ）と合わせて計６視点の視点画像データが得られる。各仮想視点データＩＬ（１），ＩＬ（２），ＩＲ（３），ＩＲ（４）は、画像出力回路３５に入力される。
　ＣＰＵ２１は、画像出力回路３５に対して通常視差画像データの出力指令を発する。この指令を受けて画像出力回路３５は、画像読出回路３１からＬ，Ｒ視点画像データＩ（Ｌ），Ｉ（Ｒ）を読み出す。次いで、画像出力回路３５は、各仮想視点データＩＬ（１），ＩＬ（２），ＩＲ（３），ＩＲ（４）と、Ｌ，Ｒ視点画像データＩ（Ｌ），Ｉ（Ｒ）とからなる６視点の通常視差画像データを画像記録部２７へ出力する。以上で通常視差画像データ出力処理が完了する。
［Ｌ視差画像データ出力処理］
　図９示すように、Ｌ視差画像データ出力処理の実行が決定すると、視点分割数Ｋが１１に決定し、仮想視点の設定数が１０に決定する。ＣＰＵ２１は、視差マップ生成回路３３に対して視差マップ３８Ｌのマップ生成指令を発する。これにより、視差マップ生成回路３３が視差マップ３８Ｌを生成する。
　図１０Ａ及び図１０Ｂに示すように、Ｒ視点画像データＩ（Ｒ）の一部領域に指係り像４６（斜線で表示）が発生している場合には、図１０Ｃに示すように、視差マップ３８Ｌ内にも指係り像４６が原因となって視差の値が異常となる異常領域４７（斜線で表示）が発生する。このような場合でも、以下に説明するように、視差マップ３８Ｌは視差マップ３８Ｒよりも精度のよい被写体の奥行き分布が得られる。
　例えば図１１Ａ及び図１１Ｂに示すように、Ｌ視点画像データＩ（Ｌ）中の画素３９ａに対応するＲ視点画像データＩ（Ｒ）中の対応点４０ａは指係り像４６で隠れている。このような場合でも、対応点４０ａの近傍の指係り像４６で隠れていない画素を対応点４０ｂとして、画素３９ａと対応点４０ｂとの視差が得られることがある。この視差の値は、誤対応の結果得られた不正値ではあるが、被写体の何らかの奥行きを示す値となる。このため、図１１Ｃに示すように、正常に撮影されたＬ視点画像データＩ（Ｌ）を基準とした対応点検索により得られる視差マップ３８Ｌでは、異常領域４７の視差値も被写体の何らかの奥行きを示す値となる場合がある。
　一方、指係り像４６が発生したＲ視点画像データＩ（Ｒ）を基準とした対応点検索を行った場合に、Ｌ視点画像データＩ（Ｌ）には指係り像４６の各画素に対応する対応点が全く存在しないので、視差値は不明となる。このため、図１１Ｄに示すように、Ｒ視点画像データＩ（Ｒ）を基準とした対応点検索により得られる視差マップ３８Ｒでは、異常領域４９の視差値がデフォルト値（通常は０または２５５）になる。従って、視差マップ３８Ｌの方が視差マップ３８Ｒよりも精度のよい被写体の奥行き分布が得られる。
　以上の理由により、Ｒ視点画像データＩ（Ｒ）に撮影障害が発生している場合には視差マップ３８Ｌの生成を行う。視差マップ３８Ｌは、仮想視点画像生成回路３４へ出力される。次いで、ＣＰＵ２１は、仮想視点設定部４３に対して特殊視点設定指令を発する。
　図１２に示すように、特殊視点設定指令を受けた仮想視点設定部４３は、特殊視点設定処理を実行して仮想視点Ｖ（１）～Ｖ（１０）を設定する。次いで、ＣＰＵ２１は、仮想視点画像生成部４４に対してＬ特殊画像生成処理の実行指令を発する。
　ＣＰＵ２１からの指令を受けた仮想視点画像生成部４４は、視差マップ３８ＬとＬ視点画像データＩ（Ｌ）とに基づき、仮想視点Ｖ（１）～Ｖ（５）に対応するＬ仮想視点画像データＩＬ（１）～ＩＬ（５）を生成する。正常なＬ視点画像データＩ（Ｌ）を基に仮想視点画像データを生成するので、仮想視点画像データに指係り像４６は含まれない。
　また、視差マップ３８Ｌには、図１１Ｃに示した異常領域４７が発生しているため、仮想視点がＲ視点Ｖ（Ｒ）に近づくほど、この仮想視点に対応するＬ仮想視点画像データに異常が発生する確率が高くなり、さらにその異常の程度が大きくなる。ここで異常とは、例えば画像中央に位置する主要被写体の前に背景の一部が表示されることである。
　仮想視点画像生成部４４は、Ｌ視点Ｖ（Ｌ）に近い順から５視点の仮想視点Ｖ（１）～Ｖ（５）に対応するＬ仮想視点画像データＩＬ（１）～ＩＬ（５）を生成するので、これら画像データに異常が発生する確率は低くなる。また、異常が発生したとしてもその程度は小さくなる。Ｌ仮想視点データＩＬ（１）～ＩＬ（５）は画像出力回路３５に入力される。
　ＣＰＵ２１は、画像出力回路３５に対してＬ視差画像データの出力指令を発する。これにより、画像出力回路３５は、Ｌ仮想視点データＩＬ（１）～ＩＬ（５）と、画像読出回路３１から読み出したＬ視点画像データＩ（Ｌ）とからなる６視点のＬ視差画像データを画像記録部２７へ出力する。以上でＬ視差画像データ出力処理が完了する。
［Ｒ視差画像データ出力処理］
　図１３に示すように、Ｒ視差画像データ出力処理の流れは、Ｌ視差画像データ出力処理の流れと基本的に同じである。ただし、Ｒ視差画像データ出力処理では視差マップ３８Ｒが生成される。次いで、視差マップ３８ＲとＲ視点画像データＩ（Ｒ）とに基づき、Ｒ視点Ｖ（Ｒ）に近い順から５視点の仮想視点Ｖ（６）～Ｖ（１０）に対応するＲ仮想視点画像データＩＲ（６）～ＩＲ（１０）が生成される。そして、Ｒ仮想視点データＩＲ（６）～ＩＲ（１０）と、Ｒ視点画像データＩ（Ｒ）とからなる６視点のＲ視差画像データが画像記録部２７へ出力される。以上でＲ視差画像データ出力処理が完了する。
［Ｌ，Ｒ視点画像データ出力処理］
　図１４に示すように、ＣＰＵ２１は、Ｌ，Ｒ視点画像データ出力処理の実行を決定した場合には、Ｌ，Ｒ視点画像データＩ（Ｌ），Ｉ（Ｒ）の両方に撮影障害が発生している旨を示す警告をモニタ３０に表示させる。さらに、ＣＰＵ２１は、画像記録処理を一旦停止させるとともに、画像記録処理を続行するか否かを示すメッセージをモニタ３０に表示させる。
　操作部２２で画像記録処理続行の操作がなされると、ＣＰＵ２１は、画像出力回路３５に対してＬ，Ｒ視点画像データの出力指令を発する。これにより、画像出力回路３５は、画像読出回路３１からＬ，Ｒ視点画像データＩ（Ｌ），Ｉ（Ｒ）を読み出して画像記録部２７へ出力する。また、操作部２２で画像記録処理中止の操作がなされた場合には、ＣＰＵ２１は画像記録処理を中止する。
　図６に戻って、ＣＰＵ２１は、通常視差画像データ、Ｌ視差画像データ、及びＲ視差画像データのいずれかが画像記録部２７に入力されたときに、画像記録部２７に対して６視点画像記録指令を発する。この指令を受けて画像記録部２７は、６視点の視点画像をそれぞれ線状に分割した線状画像をシート１７の背面に記録する。Ｌ，Ｒ視差画像データを基に記録を行った場合には、通常視差画像データを基に記録を行ったときよりも立体画像の立体感は低下するが、指係り像４６やフレアなどの撮影障害が表示されないため、良好な立体画像を観察することができる。
　一方、ＣＰＵ２１は、Ｌ，Ｒ視点画像データＩ（Ｌ），Ｉ（Ｒ）だけが画像記録部２７に入力されたときに、画像記録部２７に対して２視点画像記録指令を発する。この指令を受けて画像記録部２７は、Ｌ，Ｒ視点画像データＩ（Ｌ），Ｉ（Ｒ）をそれぞれ線状に分割した線状画像をシート１７の背面に記録する。以下、メモリカード１６内の他の画像ファイル１５の画像記録を行う場合には、上述の処理が繰り返し実行される。
　上記第１実施形態では、６視点の視差画像データをシート１７に記録する場合について説明を行ったが、３視点以上の視差画像データをシート１７に記録する場合にも本発明を適用することができる。例えばｎ視点の視差画像データをシート１７に記録する場合に、各視差画像データ出力処理で生成されるＬ，Ｒ仮想視点画像データは下記１～３で表される。
１．通常視差画像データ出力処理
（１）視点分割数：Ｋ＝ｎ－１
（２）仮想視点設定数：ｎ
（３）Ｌ仮想視点画像データ：ＩＬ（１）、ＩＬ（２）、・・・ＩＬ（（Ｋ＋１）／２－１）
（４）Ｒ仮想視点画像データ：ＩＲ（（Ｋ＋１）／２）、ＩＲ（（Ｋ＋１）／２＋１）、・・・ＩＲ（Ｋ－１）
２．Ｌ視差画像データ出力処理
（１）視点分割数：Ｋ＝２ｎ－１
（２）仮想視点設定数：ｎ
（３）Ｌ仮想視点画像データ：ＩＬ（１）、ＩＬ（２）、・・・ＩＬ（（Ｋ＋１）／２－１）
３．Ｒ視差画像データ出力処理
（１）視点分割数：Ｋ＝２ｎ－１
（２）仮想視点設定数：ｎ
（３）Ｒ仮想視点画像データ：ＩＲ（（Ｋ＋１）／２）、ＩＲ（（Ｋ＋１）／２＋１）、・・・ＩＲ（Ｋ－１）
［第２実施形態］
　次に、図１５を用いて本発明の第２実施形態のプリンタ５２について説明する。上記第１実施形態では、特殊視点設定処理時に設定される仮想視点の設定数が予め定められている。これに対してプリンタ５２では、Ｌ，Ｒ視点画像データ内で指係り像４６などの撮影障害が発生した領域（以下、単に撮影障害領域という）の面積に応じて仮想視点の設定数を定める。
　プリンタ５２は、基本的には第１実施形態のプリンタ１２と同じ構成である。ただし、撮影障害検知回路３２には面積検知部５３が設けられるとともに、ＣＰＵ２１は仮想視点設定制御部５４として機能する。また、メモリ２３には設定数決定テーブル５５が格納されている。
　設定数決定テーブル５５は、撮影障害領域の面積Ｓと仮想視点の設定数とを対応付けて記憶している。この設定数決定テーブル５５では、面積Ｓが一定量ずつ大きくなるのに従って仮想視点の設定数が大きくなるように両者が対応付けられている。
　面積検知部５３は、撮影障害検知回路３２が撮影障害の発生を検知したときに作動して撮影障害領域の面積Ｓを求め、この結果をＣＰＵ２１へ出力する。面積Ｓは、例えば画像データ内の撮影障害領域を特定し、この領域内の画素数をカウントすることで求められる。なお、撮影障害領域の特定は、例えば、正常に撮影された画像データと、撮影障害が発生している画像データとを各種マッチング法を用いて比較することで実行可能である。
　仮想視点設定制御部５４は、特殊視点設定処理時に作動して仮想視点の設定数を決定する。仮想視点設定制御部５４は、面積検知部５３から入力された面積Ｓの値に基づき、メモリ２３の設定数決定テーブル５５を参照して仮想視点の設定数を決定し、この結果を仮想視点設定部４３へ送る。これにより、特殊視点設定処理時における仮想視点の設定数を、撮影障害領域の面積Ｓに応じて増減することができる。
　撮影障害領域の面積Ｓが大きい場合には、仮想視点の設定数を増やすことができる。これにより、各仮想視点画像データの仮想視点の位置を、撮影障害の発生していない側のＬ／Ｒ視点により近づけることができる。例えば図１２において仮想視点の設定数が１０から２０に増えた場合には、仮想視点Ｖ（１）～Ｖ（５）の位置がＬ視点Ｖ（Ｌ）に近づく。このため、仮想視点画像データに対する撮影障害の影響を低減することができる。
［第３実施形態］
　次に、図１６を用いて本発明の第３実施形態の立体画像プリントシステム５８について説明を行う。第１実施形態では、Ｌ，Ｒ視差画像データ出力処理時に視差マップ生成回路３３が生成した視差マップを基に仮想視点画像データを生成している。これに対して立体画像プリントシステム５８では、Ｌ，Ｒ視点画像データＩ（Ｌ），Ｉ（Ｒ）のいずれか一方に撮影障害が発生している場合に、予め記憶しておいた視差マップを用いて仮想視点画像データの生成を行う。立体画像プリントシステム５８は複眼カメラ５９とプリンタ６０とで構成される。
　複眼カメラ５９は、基本的には第１実施形態の複眼カメラ１１と同じものであるが、撮影モードとして人物撮影モードと、風景撮影モードと、通常撮影モードとを有している。人物撮影モードは、例えばフォーカスを近景に設定するなど人物の撮影に適した撮影条件で撮影を行うモードである。また、風景撮影モードは、例えばフォーカスを遠景に設定するなど風景の撮影に適した撮影条件で撮影を行うモードである。通常撮影モードは、人物や風景の撮影に対応して撮影条件を広くカバーできるモードである。複眼カメラ５９は、画像ファイル１５をメモリカード１６に記録する際に、撮影モードの種類を表す付帯情報６２を画像ファイル１５に付帯させる。
　プリンタ６０は、基本的には上記第１実施形態のプリンタ１２と同じ構成である。ただし、プリンタ６０の画像処理回路６４には、視差マップ格納部６５、視差マップ出力回路６６、及び仮想視点画像生成回路６７が設けられている。
　視差マップ格納部６５は、通常撮影用視差マップ７１、人物撮影用視差マップ７２、風景撮影用視差マップ７３を格納している。
　図１７に示すように、通常撮影用視差マップ７１は、画像中央部に主要被写体Ｈが位置し、かつ画像下段の被写体が主要被写体Ｈの手前側に位置し、さらに画像上段の被写体が主要被写体Ｈよりも奥側に位置するようなＬ，Ｒ視点画像データを想定した視差マップである。この通常撮影用視差マップ７１は、視差値がゼロに設定される領域Ａ（０）、視差値が－１０に設定される領域Ａ（－１０）、視差値が＋１０に設定される領域Ａ（＋１０）、視差値が＋２０に設定される領域Ａ（＋２０）の４つの領域に分けられている。ここでは領域Ａ（０）を基準として、視差値の数値が小さいほど手前側の領域を示し、逆に数値が大きいほど奥側の領域を示す。
　領域Ａ（０）は略台形状であり、マップ中央部に設定されている。これは観察者が最も注視する部分が主要被写体Ｈであり、この部分に視差が生じていると観察者の視覚疲労が増加するためである。他の領域Ａ（－１０）、領域Ａ（＋１０）、及び領域Ａ（＋２０）は、マップ中央部を除くようにマップ下段、マップ中段、マップ上段にそれぞれ設定されている。
　図１８に示すように、人物撮影用視差マップ７２は、人物撮影により得られるＬ，Ｒ視点画像データを想定した視差マップである。人物撮影用視差マップ７２では、略矩形状の領域Ａ（０）がマップ下段中央部及びマップ中央部に設定される。領域Ａ（－１０）は、領域Ａ（０）の下端部を囲むようにマップ下段に設定される。領域Ａ（＋１０）は、領域Ａ（－１０）以外の範囲で領域Ａ（０）を囲むように設定される。さらに、領域Ａ（＋２０）は、領域Ａ（＋１０）を囲むように設定される。
　図１９に示すように、風景撮影用視差マップ７３は、風景撮影により得られるＬ，Ｒ視点画像データを想定した視差マップである。風景撮影用視差マップ７３では、帯状の領域Ａ（－１０）、領域Ａ（０）、領域Ａ（＋１０）、領域Ａ（＋２０）がマップ下段からマップ上段に向かって順に設定されている。
　図１６に戻って、視差マップ出力回路６６は、視差マップ格納部６５内の各視差マップ７１～７３の中から、画像ファイル１５の撮影シーンに最も適した視差マップ（以下、最適視差マップという）を選択して仮想視点画像生成回路６７へ出力する。この視差マップ出力回路６６は、撮影シーン判定部７５を備えている。
　撮影シーン判定部７５は、画像ファイル１５の付帯情報６２を参照して、画像ファイル１５が得られたときの撮影モードの種類を確認することで、画像ファイル１５の撮影シーンのカテゴリが人物撮影、風景撮影、通常撮影のいずれであるかを判定する。
　仮想視点画像生成回路６７は、基本的には第１実施形態の仮想視点画像生成回路３４と同じように仮想視点画像データの生成を行う。ただし、Ｌ，Ｒ視点画像データＩ（Ｌ），（Ｌ）のいずれか一方に撮影障害が発生している場合に、仮想視点設定部７７は第１実施形態とは異なる特殊視点設定処理（以下、特殊視点設定処理Ｘという）を実行し、仮想視点画像生成部７８は第１実施形態とは異なる特殊画像生成処理（以下、特殊画像生成処理Ｘという）を実行する。
　特殊視点設定処理Ｘでは、例えばｎ＝６視点とした場合に（ｎ－１）＝５個の仮想視点Ｖ（１）～Ｖ（５）を設定する（図２２参照）。これは仮想視点画像データの生成に用いる視差マップとして、撮影障害が発生したＬ，Ｒ視点画像データを基に生成された視差マップではなく、予め記憶された視差マップを用いることによる。予め記憶された視差マップを用いて仮想視点画像データを生成する場合には、その仮想視点の位置が撮影障害の発生している側の視点に近くとも撮影障害の影響を受けないためである。
　特殊画像生成処理Ｘでは、Ｌ，Ｒ視点画像データＩ（Ｌ），Ｉ（Ｒ）のいずれに撮影障害が発生しているのかに応じて、下記のＬ特殊画像生成処理Ｘ及びＲ特殊画像生成処理Ｘのいずれかを選択的に実行する。
　Ｌ特殊画像生成処理Ｘでは、Ｌ視点画像データＩ（Ｌ）と最適視差マップとを用いて、各仮想視点Ｖ（１）～Ｖ（５）に対応するＬ仮想視点画像データＩＬ（１）～ＩＬ（５）の生成を行う。また、Ｒ特殊画像生成処理Ｘでは、Ｒ視点画像データＩ（Ｒ）と最適視差マップを用いて、各仮想視点Ｖ（１）～Ｖ（５）に対応するＲ仮想視点画像データＩＲ（１）～ＩＲ（５）の生成を行う。
　以下、図２０に示すフローチャートを用いて上記構成の立体画像プリントシステム５８の画像記録処理について説明を行う。以下の説明では、第１実施形態と同様に６視点の画像データをシート１７に記録する場合（ｎ＝６）について説明を行う。なお、Ｌ，Ｒ視点画像データＩ（Ｌ），Ｉ（Ｒ）の両方に撮影障害が発生している場合の処理、及び両方に撮影障害が発生していない場合の処理は、上記第１実施形態と同じであるため説明は省略する。
　Ｌ，Ｒ視点画像データＩ（Ｌ），Ｉ（Ｒ）のいずれか一方に撮影障害が発生している場合に、ＣＰＵ２１は、視差マップ出力回路６６に対して最適視差マップの出力指令を発する。この指令を受けた視差マップ出力回路６６は、撮影シーン判定部７５を作動させる。撮影シーン判定部７５は、画像読出回路３１内の画像ファイル１５の付帯情報６２に記録された撮影モードの種類を確認する。これにより、撮影シーンのカテゴリが人物撮影、風景撮影、通常撮影のいずれかであると判定される。
　次いで、視差マップ出力回路６６は、視差マップ格納部６５の中から撮影シーン判定部７５の判定結果に対応する最適視差マップを選択し、この最適視差マップを仮想視点画像生成回路６７へ出力する。そして、ＣＰＵ２１は、Ｒ視点画像データＩ（Ｒ）に撮影障害が発生している場合には、Ｌ視差画像データ出力処理を実行する。
［Ｌ視差画像データ出力処理］
　図２１に示すように、Ｌ視差画像データ出力処理の実行が決定すると、視点分割数Ｋが「６」に決定し、仮想視点の設定数が「５」に決定する。次いで、ＣＰＵ２１は、仮想視点設定部４３に対して特殊視点設定指令を発する。
　図２２に示すように、特殊視点設定指令を受けた仮想視点設定部４３は、特殊視点設定処理Ｘを実行して、仮想視点Ｖ（１）～Ｖ（５）を設定する。次いで、ＣＰＵ２１は、仮想視点画像生成部７８に対してＬ特殊画像生成処理Ｘの実行指令を発する。
　ＣＰＵ２１からの指令を受けた仮想視点画像生成部７８は、最適視差マップとＬ視点画像データＩ（Ｌ）とに基づき仮想視点Ｖ（１）～Ｖ（５）に対応するＬ仮想視点画像データＩＬ（１）～ＩＬ（５）を生成する。第１実施形態とは異なり視差マップ３８Ｌを生成する必要がないので、画像処理回路６４の負荷を減らすことができ、さらに第１実施形態よりも処理時間を減らすことができる。また、予め記憶されている視差マップを用いるので、Ｌ，Ｒ視点画像データＩ（Ｌ），Ｉ（Ｒ）の一方に発生した撮影障害領域の面積が大きい場合でも、ある程度は良好な仮想視点画像データが得られる。
　Ｌ仮想視点画像データＩＬ（１）～ＩＬ（５）は、画像出力回路３５に入力される。次いで、ＣＰＵ２１は、画像出力回路３５に対してＬ視差画像データの出力指令を発する。これにより、Ｌ仮想視点画像データＩＬ（１）～ＩＬ（５）と、Ｌ視点画像データＩ（Ｌ）とからなる６視点のＬ視差画像データが画像記録部２７へ出力される。以上でＬ視差画像データ出力処理が完了する。
［Ｒ視差画像データ出力処理］
　図２３に示すように、ＣＰＵ２１は、Ｌ視点画像データＩ（Ｌ）に撮影障害が発生している場合に、Ｒ視差画像データ出力処理を実行する。このＲ視差画像データ出力処理の流れは、上述のＬ視差画像データ出力処理の流れと基本的に同じである。ただし、Ｒ視差画像データ出力処理では、最適視差マップとＲ視点画像データＩ（Ｒ）とに基づき、仮想視点Ｖ（１）～Ｖ（５）に対応するＲ仮想視点画像データＩＲ（１）～ＩＲ（５）が生成される。次いで、Ｒ仮想視点データＩＲ（１）～ＩＲ（５）と、Ｒ視点画像データＩ（Ｒ）とからなる６視点のＲ視差画像データが画像記録部２７へ出力される。以上でＲ視差画像データ出力処理が完了する。
　Ｌ，Ｒ視差画像データの出力以降の処理は第１実施形態と同じであるため、説明は省略する。この第３実施形態においても、撮影障害が発生していない画像データを基に仮想視点画像データを生成するので、良好な立体画像を観察することができる。
　上記第３実施形態では、６視点の視差画像データをシート１７に記録する場合について説明を行ったが、３視点以上の視差画像データをシート１７に記録する場合にも本発明を適用することができる。
　上記第３実施形態では、視差マップ格納部６５に格納されている視差マップとして、通常・人物・風景撮影用視差マップ７１～７３を例に挙げたが、その他の各種撮影シーンに対応した視差マップが格納されていてもよい。さらに、上記第３実施形態では、画像ファイル１５の付帯情報６２に基づき撮影シーンを判定しているが、例えば周知の顔検出処理を行ってＬ，Ｒ視点画像データＩ（Ｌ），Ｉ（Ｒ）における顔の有無やその大きさを検出した結果に基づき、撮影シーンの判定を行ってもよい。
　上記第３実施形態では、６視点のＬ，Ｒ視差画像データ出力処理時に、５個の仮想視点を設定しているが、上記第１実施形態と同様に１０個の仮想視点を設定して５個の仮想視点画像データを生成してもよい。この場合も、視差マップ３８Ｌ，３８Ｒの代わりに最適視差マップを用いる以外は第１実施形態と同様にして仮想視点画像データの生成を行えばよい。
［第４実施形態］
　次に、図２４を用いて本発明の第４実施形態の立体画像プリントシステム８０について説明を行う。上記各実施形態ではプリンタにて仮想視点画像データの生成を行っているが、立体画像プリントシステム８０では複眼カメラにて仮想視点画像データの生成を行う。この立体画像プリントシステム８０は、複眼カメラ８１とプリンタ８２とで構成される。
　複眼カメラ８１は、一対の撮像部１４Ｌ，１４Ｒを備えている。撮像部１４Ｌ，１４Ｒは、撮影レンズ１４ａの他に、図示は省略するがイメージセンサ等を備えている。
　ＣＰＵ８５は、操作部８６からの制御信号に基づき、メモリ８７から読み出した各種プログラム等を逐次実行することで、複眼カメラ８１の各部を統括的に制御する。このＣＰＵ８５には、バス８８を介して、操作部８６、メモリ８７、信号処理回路８９、表示ドライバ９０及びモニタ９１、画像処理回路９２、記録制御回路９３等が接続されている。
　操作部８６は、例えば、電源スイッチ、複眼カメラ８１の動作モード（例えば撮影モード、再生モード等）を切り替えるモード切替スイッチ、シャッタボタン等からなる。
　ＡＦＥ（アナログフロントエンド）９５は、撮像部１４Ｌ，１４Ｒからそれぞれ出力されるアナログの画像信号に対し、ノイズの除去処理、画像信号の増幅処理、デジタル化処理を施して、Ｌ，Ｒ画像信号を生成する。Ｌ，Ｒ画像信号は信号処理回路８９へ出力される。
　信号処理回路８９は、ＡＦＥ９５から入力されたＬ，Ｒ画像信号に対し、階調変換，ホワイトバランス補正処理，γ補正処理、ＹＣ変換処理等の各種画像処理を施してＬ，Ｒ視点画像データＩ（Ｌ），Ｉ（Ｒ）を生成する。信号処理回路８９は、Ｌ，Ｒ視点画像データＩ（Ｌ），Ｉ（Ｒ）をメモリ８７に格納する。
　表示ドライバ９０は、Ｌ，Ｒ視点画像データＩ（Ｌ），Ｉ（Ｒ）がメモリ８７に格納される度に、メモリ８７からＬ，Ｒ視点画像データＩ（Ｌ），Ｉ（Ｒ）読み出して画像表示用の信号を生成し、これを一定のタイミングでモニタ９１へ出力する。これにより、モニタ９１にスルー画像が表示される。
　画像処理回路９２は、操作部８６のシャッタボタンが押下されたときに作動する。画像処理回路９２は、基本的に第１実施形態の画像処理回路２９と同じ構成であるので、その構成については図３を参照されたい。なお、画像処理回路９２の撮影障害検知回路３２は、上記第１実施形態と同様の撮影障害検知方法で撮影障害を検知する。この際に、複眼カメラ８１の製造コストが増加するが、撮影レンズ１４ａの周辺に指などの接触を検知する検知センサ８４Ｌ，８４Ｒを設け、これら検知センサ８４Ｌ，８４Ｒの検知結果に基づき撮影障害の発生を検知してもよい。
　第４実施形態の画像読出回路３１は、メモリ８７に格納されたＬ，Ｒ視点画像データＩ（Ｌ），Ｉ（Ｒ）を読み出す。また、第４実施形態の画像出力回路３５は、６視点の視差画像データまたはＬ，Ｒ視点画像データをメモリ８７に格納する。
　記録制御回路９３は、操作部８６のシャッタボタンが全押しされたときに、メモリ８７に格納された視差画像データまたはＬ，Ｒ視点画像データを読み出し、これらを一つにまとめた画像ファイル９７を形成してメモリカード１６に記録する。
　プリンタ８２は、画像処理回路２９を備えていない点を除けば、上記第１実施形態のプリンタ１２と同じ構成であるので、その構成については図１を参照されたい。プリンタ８２は、メモリカード１６から読み出した視差画像データまたはＬ，Ｒ視点画像データに基づきシート１７に画像記録を行う。
　上記第４実施形態では、上記第１実施形態のプリンタ１０で行われる視差画像データの生成を複眼カメラ８１で行っているが、上記第３実施形態のプリンタ６０で行われる視差画像データの生成も同様に複眼カメラ８１で行うことができる。
　上記各実施形態では、２眼の複眼カメラで得られたＬ，Ｒ視点画像データに基づき仮想視点画像データを生成しているが、３眼以上の複眼カメラで得られた３視点以上の視点画像データのいずれか２つを用いて仮想視点画像データの生成を行う場合にも本発明を適用することができる。また、上記各実施形態では、仮想視点をＬ，Ｒ視点間に設定しているが、Ｌ視点よりも左側あるいはＲ視点よりも右側に仮想視点を設定してもよい。
　上記各実施形態では、仮想視点画像データの生成を行うプリンタや複眼カメラを例に挙げて説明を行ったが、視差画像に基づき立体表示を行う立体画像表示装置や、視差画像を所定の順序で表示する表示装置などの仮想視点画像データの生成を行う各種装置に本発明を適用することができる。
　１０，５８，８０　立体画像プリントシステム
　１１，５９，８１　複眼カメラ
　５２，６０，８２　プリンタ
　２９，６４，９２　画像処理回路
　３２　撮影障害検知回路
　３３　視差マップ生成回路
　３４，６７　仮想視点画像生成回路
　３５　画像出力回路
　５３　面積検知部
　５４　仮想視点設定制御部
　６５　視差マップ格納部
　６６　視差マップ出力回路

Claims (10)

  1. 　被写体を異なる視点から撮影して得られた視差を有する第１視点画像及び第２視点画像を基に、前記視点とは異なる所定数の仮想視点から被写体を見たときの仮想視点画像を生成する画像生成装置において、
    　前記第１視点画像及び第２視点画像に異常があるか否かを検知する検知手段と、
    　前記検知手段の検知結果に基づき、前記第１視点画像及び第２視点画像の一方が異常のある異常画像である場合に、異常のない他方の正常画像の各画素にそれぞれ対応する前記異常画像上の対応点を抽出し、この抽出結果に基づき被写体の奥行き分布を示す視差マップを生成する視差マップ生成手段と、
    　前記視差マップと前記正常画像とに基づき、前記仮想視点画像を生成する仮想視点画像生成手段と、
    　を備えることを特徴とする画像生成装置。
  2. 　前記正常画像と前記仮想視点画像とを、所定の出力先へ出力する画像出力手段を備えること特徴とする請求項１記載の画像生成装置。
  3. 　前記異常画像及び前記正常画像の視点間に前記所定数よりも多くの前記仮想視点を設定する仮想視点設定手段を備え、
    　前記仮想視点画像生成手段は、前記仮想視点設定手段が設定した各仮想視点の中から、前記正常画像の視点に近い側より順に前記所定数の前記仮想視点を選択して、前記仮想視点画像を生成することを特徴とする請求項１または２記載の画像生成装置。
  4. 　前記仮想視点は、被写体を中心に等角度間隔で設定されることを特徴とする請求項３記載の画像生成装置。
  5. 　前記異常画像内で前記異常が発生した領域の面積を検知する面積検知手段を備え、
    　前記仮想視点設定手段は、前記面積が大きくなるのに従って前記仮想視点の設定数を増加させることを特徴とする請求項３または４記載の画像生成装置。
  6. 　被写体を異なる視点から撮影する複数の撮像部を有する撮影装置から、前記第１視点画像及び第２視点画像を取得する画像取得手段を備えることを特徴とする請求項１ないし５いずれか１項記載の画像生成装置。
  7. 　前記異常は、フレア、及び前記撮像部の撮影レンズの少なくとも一部を遮蔽していた障害物の像の少なくともいずれかを含むことを特徴とする請求項６記載の画像生成装置。
  8. 　請求項１ないし７いずれか１項記載の画像生成装置と、
    　前記第１視点画像及び第２視点画像のいずれか一方が前記異常画像であるときに、前記正常画像と前記仮想視点画像とに基づき、立体視が可能な画像を記録媒体に記録する記録手段と、
    　を備えることを特徴とするプリンタ。
  9. 　前記第１視点画像及び第２視点画像の両方に異常がある場合に、その旨を警告表示する警告表示手段を備えることを特徴とする請求項８記載のプリンタ。
  10. 　被写体を異なる視点から撮影して得られた視差を有する第１視点画像及び第２視点画像を基に、前記視点とは異なる所定数の仮想視点から被写体を見たときの仮想視点画像を生成する画像生成方法において、
    　前記第１視点画像及び第２視点画像に異常あるか否かを検知する検知ステップと、
    　前記検知ステップでの検知結果に基づき、前記第１視点画像及び第２視点画像のいずれか一方が異常のある異常画像である場合に、異常のない他方の正常画像の各画素にそれぞれ対応する前記異常画像上の対応点を抽出し、この抽出結果に基づき被写体の奥行き分布を示す視差マップを生成する視差マップ生成ステップと、
    　前記視差マップと前記正常画像とに基づき、前記仮想視点画像を生成する仮想視点画像生成ステップと、
    　を有することを特徴とする画像生成方法。
PCT/JP2011/056561 2010-04-06 2011-03-18 画像生成装置及び方法並びにプリンタ WO2011125461A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN2011800178085A CN102835118A (zh) 2010-04-06 2011-03-18 图像生成装置、方法及打印机
US13/634,539 US20130003128A1 (en) 2010-04-06 2011-03-18 Image generation device, method, and printer
JP2012509388A JPWO2011125461A1 (ja) 2010-04-06 2011-03-18 画像生成装置及び方法並びにプリンタ

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010-087751 2010-04-06
JP2010087751 2010-04-06

Publications (1)

Publication Number Publication Date
WO2011125461A1 true WO2011125461A1 (ja) 2011-10-13

Family

ID=44762417

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/056561 WO2011125461A1 (ja) 2010-04-06 2011-03-18 画像生成装置及び方法並びにプリンタ

Country Status (4)

Country Link
US (1) US20130003128A1 (ja)
JP (1) JPWO2011125461A1 (ja)
CN (1) CN102835118A (ja)
WO (1) WO2011125461A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014006243A (ja) * 2012-05-28 2014-01-16 Ricoh Co Ltd 異常診断装置、異常診断方法、撮像装置、移動体制御システム及び移動体
JP2015005891A (ja) * 2013-06-21 2015-01-08 キヤノン株式会社 撮像装置およびその制御方法

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2461238B1 (en) 2010-12-02 2017-06-28 LG Electronics Inc. Image display apparatus including an input device
US9363504B2 (en) * 2011-06-23 2016-06-07 Lg Electronics Inc. Apparatus and method for displaying 3-dimensional image
KR20130036593A (ko) * 2011-10-04 2013-04-12 삼성디스플레이 주식회사 이미지 중첩 현상을 방지할 수 있는 3ｄ 디스플레이 장치
US10477184B2 (en) * 2012-04-04 2019-11-12 Lifetouch Inc. Photography system with depth and position detection
US10681280B2 (en) * 2017-04-06 2020-06-09 Lenovo (Singapore) Pte. Ltd. Camera component location indicator on display
JP2019103067A (ja) * 2017-12-06 2019-06-24 キヤノン株式会社 情報処理装置、記憶装置、画像処理装置、画像処理システム、制御方法、及びプログラム
US11800056B2 (en) 2021-02-11 2023-10-24 Logitech Europe S.A. Smart webcam system
US11800048B2 (en) 2021-02-24 2023-10-24 Logitech Europe S.A. Image generating system with background replacement or modification capabilities

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001346226A (ja) * 2000-06-02 2001-12-14 Canon Inc 画像処理装置、立体写真プリントシステム、画像処理方法、立体写真プリント方法、及び処理プログラムを記録した媒体
JP2007053621A (ja) * 2005-08-18 2007-03-01 Mitsubishi Electric Corp 画像生成装置
JP2009048033A (ja) * 2007-08-22 2009-03-05 Panasonic Corp 立体画像撮像装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69231667D1 (de) * 1991-04-22 2001-03-08 Canon Kk Druckersteuerprogramm-Übertragungsverfahren und Drucker, geeignet zum Empfangen eines Steuerprogrammes
KR100603601B1 (ko) * 2004-11-08 2006-07-24 한국전자통신연구원 다시점 콘텐츠 생성 장치 및 그 방법
JP4953789B2 (ja) * 2006-12-07 2012-06-13 キヤノン株式会社 画像処理装置、記録装置、画像処理方法、プログラム、および記憶媒体
WO2009023156A2 (en) * 2007-08-15 2009-02-19 Thomson Licensing Method and apparatus for error concealment in multi-view coded video
KR100971730B1 (ko) * 2010-04-15 2010-07-21 (주)에이직뱅크 평행축 입체카메라
KR101291071B1 (ko) * 2010-06-08 2013-08-01 주식회사 에스칩스 입체 영상 오류 개선 방법 및 장치
JP2012023546A (ja) * 2010-07-14 2012-02-02 Jvc Kenwood Corp 制御装置、立体映像撮像装置、および制御方法
JP5489897B2 (ja) * 2010-07-22 2014-05-14 パナソニック株式会社 ステレオ測距装置及びステレオ測距方法
KR101752690B1 (ko) * 2010-12-15 2017-07-03 한국전자통신연구원 변이 맵 보정 장치 및 방법
US20120162386A1 (en) * 2010-12-22 2012-06-28 Electronics And Telecommunications Research Institute Apparatus and method for correcting error in stereoscopic image
KR20130008746A (ko) * 2011-07-13 2013-01-23 삼성전자주식회사 3ｄ 영상변환장치, 그 구현방법 및 그 저장매체
US9076267B2 (en) * 2011-07-19 2015-07-07 Panasonic Intellectual Property Corporation Of America Image coding device, integrated circuit thereof, and image coding method
US9191646B2 (en) * 2011-08-29 2015-11-17 Nokia Technologies Oy Apparatus, a method and a computer program for video coding and decoding
JP5572647B2 (ja) * 2012-02-17 2014-08-13 任天堂株式会社 表示制御プログラム、表示制御装置、表示制御システム、および表示制御方法
JP5948976B2 (ja) * 2012-03-06 2016-07-06 富士ゼロックス株式会社 画像形成装置および情報処理装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001346226A (ja) * 2000-06-02 2001-12-14 Canon Inc 画像処理装置、立体写真プリントシステム、画像処理方法、立体写真プリント方法、及び処理プログラムを記録した媒体
JP2007053621A (ja) * 2005-08-18 2007-03-01 Mitsubishi Electric Corp 画像生成装置
JP2009048033A (ja) * 2007-08-22 2009-03-05 Panasonic Corp 立体画像撮像装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014006243A (ja) * 2012-05-28 2014-01-16 Ricoh Co Ltd 異常診断装置、異常診断方法、撮像装置、移動体制御システム及び移動体
JP2015005891A (ja) * 2013-06-21 2015-01-08 キヤノン株式会社 撮像装置およびその制御方法

Also Published As

Publication number Publication date
JPWO2011125461A1 (ja) 2013-07-08
CN102835118A (zh) 2012-12-19
US20130003128A1 (en) 2013-01-03

Similar Documents

Publication Publication Date Title
WO2011125461A1 (ja) 画像生成装置及び方法並びにプリンタ
JP5982751B2 (ja) 画像処理装置、および画像処理方法、並びにプログラム
CN103493484B (zh) 成像装置和成像方法
JP5299214B2 (ja) 画像処理装置、および画像処理方法、並びにプログラム
JP4657313B2 (ja) 立体画像表示装置および方法並びにプログラム
JP5284306B2 (ja) 立体撮像装置、ゴースト像処理装置およびゴースト像処理方法
US7920176B2 (en) Image generating apparatus and image regenerating apparatus
US20130113888A1 (en) Device, method and program for determining obstacle within imaging range during imaging for stereoscopic display
US8130259B2 (en) Three-dimensional display device and method as well as program
US20120263372A1 (en) Method And Apparatus For Processing 3D Image
JP5295426B2 (ja) 複眼撮像装置、その視差調整方法及びプログラム
US20100315517A1 (en) Image recording device and image recording method
US20130162764A1 (en) Image processing apparatus, image processing method, and non-transitory computer-readable medium
JP5526233B2 (ja) 立体視用画像撮影装置およびその制御方法
JP5978573B2 (ja) 映像信号処理装置および映像信号処理方法
JP2009244502A (ja) 画像処理装置、画像表示装置、撮像装置及び画像処理方法
US20130069864A1 (en) Display apparatus, display method, and program
US8648953B2 (en) Image display apparatus and method, as well as program
EP2717247A2 (en) Image processing apparatus and method for performing image rendering based on orientation of display
JPWO2013065543A1 (ja) 視差調節装置及び方法、撮影装置、再生表示装置
WO2011061973A1 (ja) 立体映像表示装置および動きベクトル導出方法
US20110193937A1 (en) Image processing apparatus and method, and image producing apparatus, method and program
JP2006013851A (ja) 撮像表示装置および撮像表示方法
CN104041026A (zh) 图像输出装置、方法以及程序及其记录介质
CN104054333A (zh) 图像处理装置、方法以及程序及其记录介质

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201180017808.5

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11765363

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2012509388

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 13634539

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 11765363

Country of ref document: EP

Kind code of ref document: A1