WO2013133057A1 - 画像処理装置および方法、並びにプログラム - Google Patents

画像処理装置および方法、並びにプログラム Download PDF

Info

Publication number
WO2013133057A1
WO2013133057A1 PCT/JP2013/054670 JP2013054670W WO2013133057A1 WO 2013133057 A1 WO2013133057 A1 WO 2013133057A1 JP 2013054670 W JP2013054670 W JP 2013054670W WO 2013133057 A1 WO2013133057 A1 WO 2013133057A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
viewpoint
eye
eye image
images
Prior art date
Application number
PCT/JP2013/054670
Other languages
English (en)
French (fr)
Inventor
黒木　義彦
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to CA 2861212 priority Critical patent/CA2861212A1/en
Priority to US14/381,248 priority patent/US20150116202A1/en
Publication of WO2013133057A1 publication Critical patent/WO2013133057A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors

Definitions

  • the present technology relates to an image processing apparatus, method, and program, and more particularly, to an image processing apparatus, method, and program capable of presenting a more natural stereoscopic image.
  • the convergence point of the stereoscopic image obtained by the above-described technique that is, the point where the two optical axes of the photographing unit intersect is one for one stereoscopic image. Therefore, when the user views the obtained stereoscopic image, if the user gazes at a position on the stereoscopic image that is different from the position where the shooting unit is congested, the parallax distribution of the stereoscopic image indicates the actual object. It will be different from what you see, and you will feel uncomfortable.
  • the straight line PL11 is the line-of-sight direction of the user's left eye EL
  • the straight line PL12 is the line-of-sight direction of the user's right eye ER
  • the point P1 is the convergence point.
  • the left side surface SD11 in the drawing of the object OB11 is observed in the left eye EL of the user, but the right side surface SD12 in the drawing of the object OB11 is Not observed. Further, in the user's left eye EL, the left side surface SD13 in the drawing of the object OB12 is observed, but the right side surface SD14 in the drawing of the object OB12 is not observed.
  • the left side SD11 and the right side SD12 of the object OB11 are observed in the right eye ER of the user, and the left side SD13 and the right side SD13 of the object OB12 are observed.
  • Side surface SD14 is observed.
  • the point P2 is the convergence point.
  • the left side surface SD11 and the right side surface SD12 of the object OB11 are observed in the left eye EL of the user, and the left side surface SD13 of the object OB12 is observed.
  • the right side surface SD14 is observed.
  • the right side surface SD12 of the object OB11 is observed in the right eye ER of the user, but the left side surface SD11 of the object OB11 is not observed. Further, the right side surface SD14 of the object OB12 is observed in the right eye ER of the user, but the left side surface SD13 of the object OB12 is not observed.
  • the parallax distribution is different. For example, when the line-of-sight direction changes by 15 degrees, the lens surface of the human eye moves approximately 3.6 mm, and thus such a change in parallax distribution occurs. However, when the user changes the orientation of the face, The amount of movement is further increased, and the change in the parallax distribution is increased accordingly.
  • the parallax distribution varies depending on the position of the convergence point. Therefore, in a single-congestion stereoscopic image, when the user gazes at a position different from the convergence point on the stereoscopic image, the parallax distribution is different from that when an actual object is observed, and the user feels unnatural. .
  • human eyes are highly sensitive to parallax, and such a difference in parallax distribution is perceived by the user.
  • the sensitivity to a person's spatial resolution is on the order of a corner, whereas the sensitivity to a person's parallax is about one order higher than the sensitivity to the spatial resolution.
  • the difference in the parallax distribution when looking at a position different from the convergence point is one factor that causes an unnatural impression due to the difference from the entity.
  • the present technology has been made in view of such a situation, and is capable of presenting a more natural stereoscopic image.
  • An image processing apparatus is an image group including viewpoint images of a plurality of different viewpoints, and the same on the viewpoint image for each viewpoint based on a plurality of image groups having different gazing points.
  • a position determination unit that arranges the viewpoint images on a new coordinate system so that the subjects overlap, and a plurality of viewpoint images arranged on the coordinate system for each viewpoint to generate a combined viewpoint image
  • the image processing apparatus includes a synthesis processing unit that generates a stereoscopic image having a plurality of gazing points, which is composed of the synthesized viewpoint images of the viewpoints.
  • the image group for each gazing point can have one convergence point, each consisting of a pair of viewpoint images.
  • the composition processing unit can generate the composite viewpoint image by applying a weight according to the position in the region where the plurality of viewpoint images overlap and performing an averaging filter process on the viewpoint image.
  • the plurality of the image groups may be taken at the same time.
  • the plurality of the image groups may be taken at different times for each of the image groups.
  • An image processing method or program is an image group including a plurality of viewpoint images from different viewpoints, and is based on the viewpoint image for each viewpoint based on the plurality of image groups having different gazing points.
  • the viewpoint images are arranged on a new coordinate system so that the same subject overlaps, and a plurality of viewpoint images arranged on the coordinate system are synthesized for each viewpoint to generate a synthesized viewpoint image. And generating a stereoscopic image having a plurality of gazing points composed of the combined viewpoint images of the respective viewpoints.
  • the same subject on the viewpoint image overlaps for each viewpoint based on a plurality of image groups including a plurality of viewpoint images from different viewpoints and different gazing points.
  • the viewpoint images are arranged on a new coordinate system, and for each viewpoint, a plurality of the viewpoint images arranged on the coordinate system are synthesized to generate a synthesized viewpoint image, whereby each viewpoint A stereoscopic image having a plurality of gazing points is generated.
  • a more natural stereoscopic image can be presented.
  • the present technology is for generating a natural stereoscopic image that is less uncomfortable when the user observes it. First, generation of a stereoscopic image according to the present technology will be described.
  • the stereoscopic image generated by the present technology includes, for example, a left-eye image observed with the user's left eye and a right-eye image observed with the user's right eye during stereoscopic display.
  • the stereoscopic image may be composed of viewpoint images of three or more different viewpoints.
  • the stereoscopic image is a left-eye image and a right-eye image that are two different viewpoint images. The explanation will be continued on the assumption that
  • a plurality of images with different convergence points are used when generating one stereoscopic image. That is, an image pair including a left eye image and a right eye image having a predetermined convergence point is prepared for each of a plurality of different convergence points. For example, when attention is paid to a right eye image constituting a stereoscopic image, as shown in FIG. 2, four right eye images PC11 to PC14 having different convergence points are combined to generate a final right eye image.
  • the right eye image PC11 to the right eye image PC14 are images obtained by photographing two human bust images OB21 and OB22 as subjects.
  • the right eye image PC11 is an image captured so that the position of the right eye of the bust OB21 is a convergence point
  • the right eye image PC12 is captured so that the position of the left eye of the bust OB21 is a convergence point. It is an image that was made.
  • the right eye image PC13 is an image taken so that the position of the right eye of the bust OB22 is a convergence point
  • the right eye image PC14 is taken so that the position of the left eye of the bust OB22 is a convergence point. It is an image that was made.
  • the four right eye images PC11 to PC14 having different convergence points are arranged on a new coordinate system (plane) so that the same subject on the images overlaps. Then, the superimposed right-eye image PC11 to right-eye image PC14 are combined so as to be smoothly connected to form a final right-eye image (hereinafter also referred to as a right-eye combined image).
  • the right eye image is synthesized with a weight according to the position in the overlapping region.
  • the right-eye image PC11 and the right-eye image PC13 are synthesized, that is, added with weights to generate a right-eye synthesized image.
  • the weight for the right eye image PC11 is made larger than the weight for the right eye image PC13.
  • the position closer to the right eye image PC11 is closer to the center of the right eye image PC11 than the center position of the right eye image PC13, for example. It is considered as a position.
  • a plurality of left eye images having different convergence points are combined to form a final left eye image (hereinafter also referred to as a left eye combined image).
  • FIG. 3 a stereoscopic image composed of the right-eye synthesized image PUR and the left-eye synthesized image PUL is obtained.
  • the same reference numerals are given to the portions corresponding to those in FIG. 2, and description thereof will be omitted as appropriate.
  • the outlines of the bust OB21 and the bust OB22 as subjects are slightly blurred.
  • the outline blur is caused by the parallax between the right eye composite image PUR and the left eye composite image PUL, but the outline blur of the bust OB21 and the bust OB22 in the addition average image PA is small, and the right eye composite image PUR. It can be seen that the parallax of the left-eye synthesized image PUL is an appropriate parallax.
  • the parallax between the right eye composite image PUR and the left eye composite image PUL is the right eye image and the left eye captured with the position of the right eye of the bust OB21 as the convergence point.
  • the value is close to the parallax of the image. That is, in the region near the right eye of the bust OB21 in the stereoscopic image, the parallax distribution is close to that when the user actually watches the right eye of the bust OB21.
  • the parallax between the right eye composite image PUR and the left eye composite image PUL is the same as the right eye image captured with the position of the left eye of the bust OB22 as the convergence point.
  • the value is close to the parallax of the left eye image.
  • the region near the left eye of the bust OB22 in the stereoscopic image has a parallax distribution close to that when the user actually gazes at the left eye of the bust OB22.
  • the right eye composite image PUR and the left eye are synthesized by combining each image so that images with different weight points are weighted and smoothly joined together. This is because the composite image PUL is generated.
  • the convergence point of the right eye image and the left eye image for obtaining the right eye composite image PUR and the left eye composite image PUL is a part of a subject that is likely to be watched by the user.
  • a plurality of right-eye images and left-eye images having different convergence points are obtained, for example, by photographing a plurality of photographing devices arranged in a direction substantially perpendicular to the optical axis of each photographing device, as indicated by an arrow Q31 in FIG. be able to.
  • the photographing device 11R-1, the photographing device 11L-1, the photographing device 11R-2, the photographing device 11L-2, the photographing device 11R-3, and the photographing device 11L-3 are arranged in order.
  • the photographing device 11R-1, the photographing device 11R-2, and the photographing device 11R-3 are photographing devices for photographing right-eye images having different convergence points.
  • the photographing device 11L-1, the photographing device 11L-2, and the photographing device 11L-3 are photographing devices for photographing left-eye images having different convergence points.
  • the imaging device 11R-1 and the imaging device 11L-1, the imaging device 11R-2 and the imaging device 11L-2, and the imaging device 11R-3 and the imaging device 11L-3 have different convergence points. It becomes a device pair.
  • photographing devices 11R-1 to 11R-3 when it is not necessary to particularly distinguish the photographing devices 11R-1 to 11R-3, they are also simply referred to as the photographing device 11R, and it is not necessary to particularly distinguish the photographing devices 11L-1 to 11L-3. Also simply referred to as a photographing device 11L.
  • the photographing device 11R and the photographing device 11L may be arranged separately.
  • a half mirror 12 that transmits half of the light from the direction of the subject and reflects the remaining half is disposed.
  • the photographing device 11L-1, the photographing device 11L-2, and the photographing device 11L-3 are arranged in this order from the back side. Further, in the drawing of the half mirror 12, an imaging device 11R-1, an imaging device 11R-2, and an imaging device 11R-3 are arranged in order from the back side toward the front side.
  • each imaging device 11L captures a left-eye image by receiving the light emitted from the subject and transmitted through the half mirror 12, and each imaging device 11R is emitted from the subject and is transmitted by the half mirror 12.
  • a right eye image is taken by receiving the reflected light.
  • the optical axes of the imaging devices 11R are located between the optical axes of the adjacent imaging devices 11L.
  • the optical axis of the imaging device 11R-1 is located between the optical axis of the imaging device 11L-1 and the optical axis of the imaging device 11L-2.
  • a plurality of right eye images having different convergence points are photographed almost simultaneously by one photographing apparatus 11R-1, and a plurality of left eyes having different convergence points are photographed by one photographing apparatus 11L-1. Images may be taken almost simultaneously.
  • the imaging device 11R-1 and the imaging device 11L-1 have a straight line RT11 or a straight line RT12 that is substantially perpendicular to the optical axis of the imaging devices. As rotated. Thereby, it is possible to perform imaging while moving the convergence point of the imaging device 11R-1 and the imaging device 11L-1 to an arbitrary position at high speed. In this case, for example, an image pair including a right eye image and a left eye image having one convergence point is captured at different times for each convergence point.
  • a camera capable of photographing 240 frames per second is used as the photographing apparatus 11R. -1 and imaging device 11L-1.
  • an electronic shutter may be used together.
  • the viewpoint image includes M viewpoint images (however, 3 ⁇ M) viewpoint images.
  • a plurality of M viewpoint images may be taken for each convergence point (gaze point).
  • each viewpoint image of the m-th viewpoint arranged on the new coordinate system is synthesized to be a synthesized viewpoint image, and a stereoscopic image composed of the synthesized viewpoint images for each of M viewpoints, that is, an M viewpoint image is generated. Is done.
  • FIG. 5 is a diagram illustrating a configuration example of an embodiment of a display processing system to which the present technology is applied.
  • 5 includes a photographing unit 41, an image processing device 42, a display control unit 43, and a display unit 44.
  • the imaging unit 41 captures a right eye image and a left eye image based on the control of the image processing device 42 and supplies the captured images to the image processing device 42.
  • the photographing unit 41 includes a right eye image photographing unit 61, a left eye image photographing unit 62, a wide angle right eye image photographing unit 63, and a wide angle left eye image photographing unit 64.
  • the right-eye image capturing unit 61 and the left-eye image capturing unit 62 are a pair of capturing devices that capture a right-eye image and a left-eye image at a predetermined convergence point.
  • the unit 62 corresponds to the imaging device 11R-1 and the imaging device 11L-1 indicated by the arrow Q33 in FIG.
  • the right-eye image photographing unit 61 includes the photographing devices 11R-1 to 11R-3 indicated by the arrows Q31 and Q32 in FIG. 4, and the left-eye image photographing unit 62 is configured by the arrows Q31 and arrow in FIG.
  • the imaging apparatus 11L-1 to 11L-3 shown in Q32 may be used.
  • the right eye image capturing unit 61 and the left eye image capturing unit 62 capture a plurality of right eye images and left eye images having different convergence points, and supply the obtained right eye image and left eye image to the image processing device 42. .
  • a pair of right eye image and left eye image is taken, and the n th (where 1 ⁇ n ⁇ N) right eye image and left eye image are These are also referred to as right eye image R n and left eye image L n , respectively.
  • An image pair composed of the right eye image R n and the left eye image L n is an image pair having one convergence point.
  • the wide-angle right-eye image capturing unit 63 and the wide-angle left-eye image capturing unit 64 convert the wide-angle images from the right-eye image R n and the left-eye image L n into the wide-angle right-eye image R g and the wide-angle left-eye image L, respectively.
  • the image processing device 42 Based on the right eye image R n and left eye image L n , the wide-angle right eye image R g, and the wide-angle left eye image L g supplied from the imaging unit 41, the image processing device 42 performs the right-eye composite image and the left-eye image L n. An eye composite image is generated and supplied to the display control unit 43.
  • the image processing device 42 includes a position determination unit 71, a composition processing unit 72, and a cutout unit 73.
  • Position determination unit 71 a new coordinate system based on the wide-angle right eye image R g (hereinafter, also referred to as a projected coordinate system) as the right-eye image R n on overlaps the wide right-eye image R g, each determining the position on the projection coordinate system of the right eye image R n.
  • the projection coordinate system based on the wide-angle right eye image R g is a two-dimensional coordinate system with its origin at the center position of the wide-angle right eye image R g.
  • each left eye image L n is wide left on the projection coordinate system based on the wide-angle left eye image L g
  • the position of each left eye image L n on the projection coordinate system is determined so as to overlap with the eye image L g .
  • the synthesis processing unit 72 synthesizes the right eye image R n arranged on the projection coordinate system and synthesizes the left eye image L n arranged on the projection coordinate system.
  • Cutout portion 73 generates the right-eye image by cutting out a predetermined area of the R n the synthetic-obtained image (trimmed with) the right eye synthesized image on the projection coordinate system, the left on the projection coordinate system cut out a predetermined area of an image obtained by synthesizing the eye image L n to generate the left-eye synthesized image.
  • the display control unit 43 supplies the right-eye composite image and the left-eye composite image supplied from the image processing device 42 to the display unit 44, and causes a stereoscopic display.
  • the display unit 44 includes, for example, an autostereoscopic display device, and displays a stereoscopic image by displaying the right eye composite image and the left eye composite image supplied from the display control unit 43.
  • step S11 the photographing unit 41 takes an image and the right eye image R n and the left-eye image L n for each of a plurality of convergence points and a wide right-eye image R g and wide left-eye image L g.
  • the right eye image capturing unit 61 and the left eye image capturing unit 62 capture the right eye image R n and the left eye image L n (where 1 ⁇ n ⁇ N) at N convergence points, respectively, and perform image processing. Supply to device 42. Further, the wide-angle right eye image capturing unit 63 and the wide-angle left eye image capturing unit 64 capture the wide-angle right eye image R g and the wide-angle left eye image L g and supply them to the image processing device 42.
  • the image processing device 42 controls the shooting unit 41, and a portion of a desired subject that is likely to be watched by the user is set as a convergence point.
  • the right eye image R n and the left eye image L n may be taken.
  • the image processing device 42 determines, as the position of the convergence point, a region having a high contrast, that is, a region that is not flat and has some luminance change, from the wide-angle right eye image R g and the wide-angle left eye image L g .
  • the imaging unit 41 is controlled so that the area becomes a convergence point.
  • the image processing apparatus 42 selects the center of both eyes and face of a person as a convergence point You may do it. Further, for example, when a plurality of people are shown in the wide-angle right-eye image Rg and the wide-angle left-eye image Lg , the area of the face located at the center, left or right position of the screen from those people's faces May be selected as a point of convergence. The detection of a human face from the wide-angle right eye image R g and wide-angle left-eye image L g, it is sufficient to use the face recognition function.
  • step S12 the position determining unit 71 arranges the right eye image R n and the left eye image L n on a new projection coordinate system.
  • the position determination unit 71 obtains the correlation between the right eye image R n and the wide angle right eye image R g and the sum of absolute differences, thereby using the wide angle right eye image R g as a reference. On the projection coordinate system, a position where the region of the central portion of the right eye image R n most overlaps with the wide-angle right eye image R g is determined. Then, the position determination unit 71 is arranged at a position that defines the respective right-eye images R n.
  • the right eye and the central portion of the area of the image R n for example, the right-eye image when the height of the R n is h, and the right eye image R n central region of diameter h / 2 of a circle centered on the the And so on.
  • the position determination unit 71 performs, for each left eye image L n , the region of the central portion of the left eye image L n on the projection coordinate system based on the wide-angle left eye image L g. There determines the most overlapping position and angle left eye image L g, arranging the left-eye image L n at that position.
  • the right eye images R n are arranged on the projection coordinate system so that the same subject of each right eye image R n overlaps, and the same subject of each left eye image L n overlaps them.
  • the eye image L n is arranged on the projection coordinate system.
  • step S13 the composition processing unit 72 performs superposition on the right eye image R n and the left eye image L n arranged on the projection coordinate system.
  • the composition processing unit 72 uses a Gaussian filter or the like on the right eye image R n so that overlapping portions of the right eye images R n arranged on the projection coordinate system are smoothly continuous. subjected to averaging filter process had, for synthesizing n pieces of right-eye images R n.
  • the right eye image R n may be transformed by geometric transformation such as affine transformation.
  • the right eye image R n after deformation, superimposed in weighted according to the position within the region where the images overlap with each other. Accordingly, so as not to stand observed boundaries of the right-eye image R n mutually overlapping, the right eye image R n is smoothly synthesized.
  • each part of each right eye image R n overlaps each part of the wide-angle right eye image R g with respect to the right eye image R n .
  • Geometric transformation such as affine transformation may be performed.
  • the composition processing unit 72 causes the left eye image L so that the overlapping portions of the left eye images L n arranged on the projection coordinate system are smoothly continuous.
  • An averaging filter process is performed on n to synthesize N left-eye images L n .
  • step S ⁇ b > 14 the cutout unit 73 generates a stereoscopic image based on the combined right eye image R n and left eye image L n and supplies the stereoscopic image to the display control unit 43.
  • a predetermined region of the image obtained by combining the images is cut out to be a left eye composite image.
  • a stereoscopic image composed of the right eye composite image and the left eye composite image is obtained.
  • step S15 the display control unit 43 supplies the stereoscopic image supplied from the cutout unit 73 to the display unit 44 for display, and the stereoscopic image generation process ends.
  • the stereoscopic image composed of the right eye composite image and the left eye composite image may be a still image or a moving image.
  • the stereoscopic image may be a multi-viewpoint image including three or more viewpoint images.
  • the display processing system synthesizes a plurality of right eye images and left eye images having different convergence points, and generates a three-dimensional image including the right eye synthesized image and the left eye synthesized image.
  • the stereoscopic image obtained in this way has a plurality of convergence points, a more natural stereoscopic image can be presented. That is, when the user observes a stereoscopic image, the difference from the actual parallax distribution is suppressed at each gazing point, and a natural and easy-to-see high-quality stereoscopic image can be presented.
  • the imaging unit 41 and the display control unit 43 are connected to the image processing apparatus 42 .
  • the imaging unit 41 may be provided in the image processing apparatus 42, or display control may be performed.
  • the unit 43 and the display unit 44 may be provided in the image processing device 42.
  • the series of processes described above can be executed by hardware or can be executed by software.
  • a program constituting the software is installed in the computer.
  • the computer includes, for example, a general-purpose personal computer capable of executing various functions by installing a computer incorporated in dedicated hardware and various programs.
  • FIG. 7 is a block diagram showing an example of the hardware configuration of a computer that executes the above-described series of processing by a program.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • An input / output interface 205 is further connected to the bus 204.
  • An input unit 206, an output unit 207, a recording unit 208, a communication unit 209, and a drive 210 are connected to the input / output interface 205.
  • the input unit 206 includes a keyboard, a mouse, a microphone, and the like.
  • the output unit 207 includes a display, a speaker, and the like.
  • the recording unit 208 includes a hard disk, a nonvolatile memory, and the like.
  • the communication unit 209 includes a network interface and the like.
  • the drive 210 drives a removable medium 211 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the CPU 201 loads, for example, the program recorded in the recording unit 208 to the RAM 203 via the input / output interface 205 and the bus 204, and executes the program. Is performed.
  • the program executed by the computer (CPU 201) can be provided by being recorded in the removable medium 211 as a package medium or the like, for example.
  • the program can be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
  • the program can be installed in the recording unit 208 via the input / output interface 205 by attaching the removable medium 211 to the drive 210.
  • the program can be received by the communication unit 209 via a wired or wireless transmission medium and installed in the recording unit 208.
  • the program can be installed in the ROM 202 or the recording unit 208 in advance.
  • the program executed by the computer may be a program that is processed in time series in the order described in this specification, or in parallel or at a necessary timing such as when a call is made. It may be a program for processing.
  • the present technology can take a cloud computing configuration in which one function is shared by a plurality of devices via a network and is jointly processed.
  • each step described in the above flowchart can be executed by one device or can be shared by a plurality of devices.
  • the plurality of processes included in the one step can be executed by being shared by a plurality of apparatuses in addition to being executed by one apparatus.
  • the present technology can be configured as follows.
  • An image processing apparatus comprising: a synthesis processing unit that generates [2] The image processing device according to [1], wherein the image group for each gazing point includes one convergence point that includes a pair of viewpoint images.
  • the synthesis processing unit generates the synthesized viewpoint image by performing weighted average filter processing on the viewpoint image with a weight according to a position in a region where the plurality of viewpoint images overlap [1] or [ 2].
  • [4] The image processing device according to any one of [1] to [3], wherein the plurality of image groups are taken at the same time.
  • [5] The image processing device according to any one of [1] to [3], wherein the plurality of image groups are taken at different times for each of the image groups.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Processing Or Creating Images (AREA)

Abstract

　本技術は、より自然な立体画像を提示できるようにする画像処理装置および方法、並びにプログラムに関する。 撮影ユニットは、右眼画像と左眼画像からなる画像対を複数撮影する。また、撮影ユニットは、各右眼画像の被写体が含まれる広角右眼画像と、各左眼画像の被写体が含まれる広角左眼画像も撮影する。位置決定部は、輻輳点の異なる複数の画像対に基づいて、広角右眼画像を基準とする座標系上に複数の右眼画像を配置するとともに、広角左眼画像を基準とする座標系上に複数の左眼画像を配置する。合成処理部は、座標系上に配置された右眼画像を合成するとともに、座標系上に配置された左眼画像を合成する。これにより、合成された右眼画像と左眼画像とからなる、複数の輻輳点を有する立体画像が得られる。本技術は、画像処理装置に適用することができる。

Description

画像処理装置および方法、並びにプログラム
　本技術は画像処理装置および方法、並びにプログラムに関し、特に、より自然な立体画像を提示できるようにした画像処理装置および方法、並びにプログラムに関する。
　従来、複数の撮影ユニットを利用して、右眼画像と左眼画像を撮影し、それらの右眼画像と左眼画像から立体画像を提示する技術が知られている。
　そのような技術として、２つの撮影ユニットの光軸が平行となるようにして撮影された右眼画像と左眼画像から人の顔を検出し、その検出結果に応じて輻輳角を調整するものが提案されている（例えば、特許文献１参照）。
特開２００８－２２１５０号公報
　ところで、上述した技術により得られる立体画像の輻輳点、すなわち撮影ユニットの２つの光軸が交差する点は、１つの立体画像に対して１つとなる。したがって、得られた立体画像をユーザが観視するときに、立体画像上における、撮影ユニットが輻輳した位置とは異なる位置をユーザが注視した場合には、立体画像の視差分布が実際の物体を見たときのものと異なるものとなり、違和感が生じてしまう。
　例えば、図１に示すように、ユーザが右眼ＥＲと左眼ＥＬで、２つの物体ＯＢ１１と物体ＯＢ１２を観察したとする。
　具体的には、例えば図中、左側に示すようにユーザが物体ＯＢ１１の頂点である点Ｐ１を注視したとする。この例では、直線ＰＬ１１がユーザの左眼ＥＬの視線方向となり、直線ＰＬ１２がユーザの右眼ＥＲの視線方向となるので、点Ｐ１が輻輳点となる。
　この場合、図中、右側の矢印Ｑ１１に示すように、ユーザの左眼ＥＬには、物体ＯＢ１１の図中、左側の側面ＳＤ１１が観察されるが、物体ＯＢ１１の図中、右側の側面ＳＤ１２は観察されない。また、ユーザの左眼ＥＬには、物体ＯＢ１２の図中、左側の側面ＳＤ１３が観察されるが、物体ＯＢ１２の図中、右側の側面ＳＤ１４は観察されない。
　また、図中、右側の矢印Ｑ１２に示すように、ユーザの右眼ＥＲには、物体ＯＢ１１の左側の側面ＳＤ１１と右側の側面ＳＤ１２が観察されるとともに、物体ＯＢ１２の左側の側面ＳＤ１３と右側の側面ＳＤ１４が観察される。
　これに対して、例えばユーザが物体ＯＢ１２の頂点である点Ｐ２を注視したとする。この例では、直線ＰＬ１３がユーザの左眼ＥＬの視線方向となり、直線ＰＬ１４がユーザの右眼ＥＲの視線方向となるので、点Ｐ２が輻輳点となる。
　したがって、この場合、図中、右側の矢印Ｑ１３に示すように、ユーザの左眼ＥＬには、物体ＯＢ１１の左側の側面ＳＤ１１と右側の側面ＳＤ１２が観察されるとともに、物体ＯＢ１２の左側の側面ＳＤ１３と右側の側面ＳＤ１４が観察される。
　また、図中、右側の矢印Ｑ１４に示すように、ユーザの右眼ＥＲには、物体ＯＢ１１の右側の側面ＳＤ１２が観察されるが、物体ＯＢ１１の左側の側面ＳＤ１１は観察されない。また、ユーザの右眼ＥＲには、物体ＯＢ１２の右側の側面ＳＤ１４が観察されるが、物体ＯＢ１２の左側の側面ＳＤ１３は観察されない。
　このように、ユーザの顔が同じ位置にあっても、輻輳点の位置が異なる場合には、ユーザの左右の眼で観察される物体の見え方は異なる。つまり、視差分布が異なる。例えば、視線方向が１５度変化すると人の眼の水晶体表面は、およそ3.6mm移動するため、このような視差分布の変化が生じるが、ユーザが顔の向きを変えた場合には、水晶体表面の移動量はさらに大きくなり、その分だけ視差分布の変化も大きくなる。
　以上のように、ユーザが実際に物体を観察する場合には、輻輳点の位置によって視差分布は異なる。したがって、単一輻輳の立体画像では、ユーザが立体画像上の輻輳点と異なる位置を注視したときには、実際の物体を観察したときと視差分布が異なることになり、ユーザは不自然に感じてしまう。
　特に、人の眼は視差に対する感度が高く、このような視差分布の違いはユーザにより知覚されてしまう。例えば、人の空間分解能に対する感度は角分のオーダーであるのに対し、人の視差に対する感度は、空間分解能に対する感度の場合と比べて１オーダー程度高い。そのため、輻輳点と異なる位置を注視したときの視差分布の違いは、実体との違いにより不自然な印象が生じる１つの要因となる。
　本技術は、このような状況に鑑みてなされたものであり、より自然な立体画像を提示することができるようにするものである。
　本技術の一側面の画像処理装置は、複数の異なる視点の視点画像からなる画像群であって、互いに注視点の異なる複数の画像群に基づいて、前記視点ごとに、前記視点画像上の同じ被写体が重なるように、前記視点画像を新たな座標系上に配置する位置決定部と、前記視点ごとに、前記座標系上に配置された複数の前記視点画像を合成して合成視点画像を生成することで、各前記視点の前記合成視点画像からなる、複数の注視点を有する立体画像を生成する合成処理部とを備える。
　前記注視点ごとの画像群は、それぞれ一対の視点画像からなる、１つの輻輳点を有するようにすることができる。
　前記合成処理部には、複数の前記視点画像が重なる領域内の位置に応じた重みを付けて、前記視点画像に対する加算平均フィルタ処理を行なうことで、前記合成視点画像を生成させることができる。
　前記複数の前記画像群を同一時刻に撮影されたものとすることができる。
　前記複数の前記画像群を、前記画像群ごとに異なる時刻に撮影されたものとすることができる。
　本技術の一側面の画像処理方法またはプログラムは、複数の異なる視点の視点画像からなる画像群であって、互いに注視点の異なる複数の画像群に基づいて、前記視点ごとに、前記視点画像上の同じ被写体が重なるように、前記視点画像を新たな座標系上に配置し、前記視点ごとに、前記座標系上に配置された複数の前記視点画像を合成して合成視点画像を生成することで、各前記視点の前記合成視点画像からなる、複数の注視点を有する立体画像を生成するステップを含む。
　本技術の一側面においては、複数の異なる視点の視点画像からなる画像群であって、互いに注視点の異なる複数の画像群に基づいて、前記視点ごとに、前記視点画像上の同じ被写体が重なるように、前記視点画像が新たな座標系上に配置され、前記視点ごとに、前記座標系上に配置された複数の前記視点画像を合成して合成視点画像を生成することで、各前記視点の前記合成視点画像からなる、複数の注視点を有する立体画像が生成される。
　本技術の一側面によれば、より自然な立体画像を提示することができる。
輻輳点による物体の見え方の違いについて説明する図である。 輻輳点の異なる画像の合成について説明する図である。 立体画像の視差について説明する図である。 輻輳点の異なる複数の画像の撮影について説明する図である。 表示処理システムの構成例を示す図である。 立体画像生成処理について説明するフローチャートである。 コンピュータの構成例を示す図である。
　以下、図面を参照して、本技術を適用した実施の形態について説明する。
〈第１の実施の形態〉
［立体画像の生成について］
　本技術は、ユーザが観察した場合に、より違和感のない自然な立体画像を生成するためのものである。まず、本技術による立体画像の生成について説明する。
　本技術により生成される立体画像は、例えば立体表示時において、ユーザの左眼で観察される左眼画像と、ユーザの右眼で観察される右眼画像とからなる。なお、立体画像は、３以上の異なる視点の視点画像からなるものとしてもよいが、以下では、説明を簡単にするため、立体画像は、２つの異なる視点画像である左眼画像と右眼画像からなるものとして説明を続ける。
　本技術では、１つの立体画像を生成する場合に、輻輳点の異なる複数の画像が用いられる。すなわち、所定の輻輳点を有する左眼画像と右眼画像からなる画像対が、複数の異なる輻輳点ごとに用意される。例えば、立体画像を構成する右眼画像に注目すると、図２に示すように、輻輳点の異なる４つの右眼画像ＰＣ１１乃至右眼画像ＰＣ１４が合成されて、最終的な右眼画像が生成される。
　図２の例では、右眼画像ＰＣ１１乃至右眼画像ＰＣ１４は、２つの人の胸像ＯＢ２１と胸像ＯＢ２２を被写体として撮影することで得られた画像である。
　例えば、右眼画像ＰＣ１１は、胸像ＯＢ２１の右眼の位置が輻輳点となるように撮影された画像であり、右眼画像ＰＣ１２は、胸像ＯＢ２１の左眼の位置が輻輳点となるように撮影された画像である。また、右眼画像ＰＣ１３は、胸像ＯＢ２２の右眼の位置が輻輳点となるように撮影された画像であり、右眼画像ＰＣ１４は、胸像ＯＢ２２の左眼の位置が輻輳点となるように撮影された画像である。
　本技術では、これらの輻輳点の異なる４つの右眼画像ＰＣ１１乃至右眼画像ＰＣ１４が、それらの画像上の同じ被写体が重なるように新たな座標系（平面）上に配置される。そして、それらの重ね合わされた右眼画像ＰＣ１１乃至右眼画像ＰＣ１４が、滑らかにつなぎ合わせられるように合成され、最終的な１つの右眼画像（以下、右眼合成画像とも称する）とされる。
　このとき、例えば複数の右眼画像が互いに重なる領域において、その重なる領域内の位置に応じた重みで右眼画像が合成される。
　具体的には、例えば右眼画像ＰＣ１１と右眼画像ＰＣ１３が合成されて、すなわち重み付き加算されて、右眼合成画像が生成されるとする。このとき、右眼画像ＰＣ１１と右眼画像ＰＣ１３が重なる領域のうち、より右眼画像ＰＣ１１に近い位置では、右眼画像ＰＣ１１に対する重みが、右眼画像ＰＣ１３に対する重みよりもより大きくなるようにされる。ここで、右眼画像ＰＣ１１と右眼画像ＰＣ１３が重なる領域内で、より右眼画像ＰＣ１１に近い位置とは、例えば、右眼画像ＰＣ１３の中心位置よりも、より右眼画像ＰＣ１１の中心に近い位置などとされる。
　右眼画像における場合と同様に、輻輳点の異なる複数の左眼画像が合成されて、最終的な１つの左眼画像（以下、左眼合成画像とも称する）とされる。
　これにより、例えば図３に示すように、右眼合成画像ＰＵＲと左眼合成画像ＰＵＬとからなる立体画像が得られる。なお、図３において図２における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
　輻輳点の異なる複数の画像を合成することで得られた右眼合成画像ＰＵＲと左眼合成画像ＰＵＬとについて、それらの画像上の同じ位置にある画素の平均値を新たな画素とすると、図中、下側に示す加算平均画像ＰＡが得られる。
　この加算平均画像ＰＡでは、被写体としての胸像ＯＢ２１や胸像ＯＢ２２の輪郭がわずかにぼけている。この輪郭のぼけは、右眼合成画像ＰＵＲと左眼合成画像ＰＵＬの視差により生じるものであるが、加算平均画像ＰＡにおける胸像ＯＢ２１や胸像ＯＢ２２の輪郭のぼけの量は少なく、右眼合成画像ＰＵＲと左眼合成画像ＰＵＬの視差が適切な視差であることが分かる。
　例えば、被写体としての胸像ＯＢ２１の右眼近傍の領域では、右眼合成画像ＰＵＲと左眼合成画像ＰＵＬの視差は、胸像ＯＢ２１の右眼の位置を輻輳点として撮影された右眼画像と左眼画像の視差に近い値となる。つまり、立体画像における胸像ＯＢ２１の右眼近傍の領域では、ユーザが実際に胸像ＯＢ２１の右眼を注視したときと近い視差分布となる。
　同様に、例えば被写体としての胸像ＯＢ２２の左眼近傍の領域では、右眼合成画像ＰＵＲと左眼合成画像ＰＵＬの視差は、胸像ＯＢ２２の左眼の位置を輻輳点として撮影された右眼画像と左眼画像の視差に近い値となる。そのため、立体画像における胸像ＯＢ２２の左眼近傍の領域では、ユーザが実際に胸像ＯＢ２２の左眼を注視したときと近い視差分布となる。
　これは、例えば図２を参照して説明したように、重みが付けられて、輻輳点の異なる画像が滑らかにつなぎ合わせられるように各画像を合成することで、右眼合成画像ＰＵＲと左眼合成画像ＰＵＬが生成されるからである。
　このようにして右眼合成画像ＰＵＲと左眼合成画像ＰＵＬを生成することで、立体画像上に複数の輻輳点を設けることができ、ユーザが感じる不自然さの要因となる視差分布の矛盾を軽減させることができる。つまり、立体画像における各部位ごとの視差分布の整合性を向上させ、より自然な立体画像を提示することができる。
　なお、上述したように、本技術では、輻輳点の異なる複数の画像が合成されて右眼合成画像ＰＵＲや左眼合成画像ＰＵＬが生成される。そのため、例えばユーザが立体画像上の１つの輻輳点を注視しているときには、他の輻輳点近傍の領域における視差分布は、実際にユーザが被写体を見たときの視差分布とは異なるものとなる。しかし、ユーザが注視していない領域では、多少の視差分布の誤差があったとしても、周辺視では眼の解像能力が低下しているという生体の性質によって、その誤差によりユーザが不自然さを感じるようなことはない。
　また、右眼合成画像ＰＵＲや左眼合成画像ＰＵＬを得るための右眼画像と左眼画像の輻輳点は、ユーザが注視する可能性の高い被写体の部位などとされる。
　例えば、被写体が人である場合、ユーザは被写体としての人の眼やテクスチャ部分に注目することが多い。そこで、被写体の各部位のうち、ユーザが注視する可能性の高い部位を輻輳点として撮影した右眼画像と左眼画像の対を複数用意し、それらの右眼画像や左眼画像を境界が目立たないように合成して接続し、右眼合成画像および左眼合成画像とすればよい。
［輻輳点の異なる画像の撮影について］
　以上においては、本技術による立体画像を構成する右眼合成画像と左眼合成画像は、それぞれ輻輳点の異なる複数の右眼画像または左眼画像を合成することで生成されると説明した。次に、これらの右眼合成画像と左眼合成画像を生成するのに用いられる右眼画像と左眼画像の撮影について説明する。
　輻輳点の異なる複数の右眼画像や左眼画像は、例えば図４の矢印Ｑ３１に示すように、複数の撮影装置を各撮影装置の光軸とほぼ垂直な方向に並べて撮影を行なうことで得ることができる。
　矢印Ｑ３１に示す例では、図中、奥側から手前方向に、撮影装置１１Ｒ－１、撮影装置１１Ｌ－１、撮影装置１１Ｒ－２、撮影装置１１Ｌ－２、撮影装置１１Ｒ－３、および撮影装置１１Ｌ－３が順番に並べられている。
　ここで、撮影装置１１Ｒ－１、撮影装置１１Ｒ－２、および撮影装置１１Ｒ－３は、互いに輻輳点の異なる右眼画像を撮影するための撮影装置である。また、撮影装置１１Ｌ－１、撮影装置１１Ｌ－２、および撮影装置１１Ｌ－３は、互いに輻輳点の異なる左眼画像を撮影するための撮影装置である。
　つまり、この例では、撮影装置１１Ｒ－１と撮影装置１１Ｌ－１，撮影装置１１Ｒ－２と撮影装置１１Ｌ－２，撮影装置１１Ｒ－３と撮影装置１１Ｌ－３が、それぞれ異なる輻輳点を有する撮影装置対となる。
　なお、以下、撮影装置１１Ｒ－１乃至撮影装置１１Ｒ－３を特に区別する必要のない場合、単に撮影装置１１Ｒとも称し、撮影装置１１Ｌ－１乃至撮影装置１１Ｌ－３を特に区別する必要のない場合、単に撮影装置１１Ｌとも称する。
　また、矢印Ｑ３２に示すように、撮影装置１１Ｒと撮影装置１１Ｌとを分けて配置するようにしてもよい。この例では、被写体の方向からの光の半分を透過させ、残りの半分を反射させるハーフミラー１２が配置されている。
　そして、ハーフミラー１２の図中、右側に、奥側から手前方向に撮影装置１１Ｌ－１、撮影装置１１Ｌ－２、および撮影装置１１Ｌ－３が順番に配置されている。また、ハーフミラー１２の図中、上側に、奥側から手前方向に撮影装置１１Ｒ－１、撮影装置１１Ｒ－２、および撮影装置１１Ｒ－３が順番に配置されている。
　したがって、この場合、各撮影装置１１Ｌは、被写体から発せられ、ハーフミラー１２を透過した光を受光することで左眼画像を撮影し、各撮影装置１１Ｒは、被写体から発せられ、ハーフミラー１２で反射した光を受光することで右眼画像を撮影することになる。
　なお、矢印Ｑ３２に示す例では、撮影装置１１Ｒからハーフミラー１２の方向を見た場合に、各撮影装置１１Ｒの光軸は、互いに隣接する撮影装置１１Ｌの光軸の間に位置している。例えば、撮影装置１１Ｒ－１の光軸は、撮影装置１１Ｌ－１の光軸と撮影装置１１Ｌ－２の光軸の間に位置している。このように撮影装置１１Ｒと撮影装置１１Ｌを配置することで、矢印Ｑ３１における場合と比べて、対となる撮影装置１１Ｒと撮影装置１１Ｌの光軸間の距離をより短くすることができる。また、矢印Ｑ３１と矢印Ｑ３２に示す例では、１つの輻輳点を有する右眼画像と左眼画像からなる画像対が、同一時刻に３つ撮影されることになる。つまり、３つの異なる輻輳点の画像対が同時に撮影される。
　さらに、矢印Ｑ３３に示すように、１つの撮影装置１１Ｒ－１により、輻輳点の異なる複数の右眼画像がほぼ同時に撮影され、１つの撮影装置１１Ｌ－１により、輻輳点の異なる複数の左眼画像がほぼ同時に撮影されるようにしてもよい。
　この場合、輻輳点の異なる右眼画像と左眼画像の撮影のため、撮影装置１１Ｒ－１と撮影装置１１Ｌ－１が、それらの撮影装置の光軸とほぼ垂直な直線ＲＴ１１または直線ＲＴ１２を軸として回転される。これにより、撮影装置１１Ｒ－１と撮影装置１１Ｌ－１の輻輳点を任意の位置に高速に移動させながら、撮影を行なうことができる。この場合、例えば１つの輻輳点を有する右眼画像と左眼画像からなる画像対が、輻輳点ごとに異なる時刻に撮影されることになる。
　例えば、立体画像の１フレーム期間が１／６０秒であり、４つの輻輳点の右眼画像と左眼画像を得ようとする場合には、１秒間に２４０フレーム撮影可能なカメラを撮影装置１１Ｒ－１および撮影装置１１Ｌ－１として用いればよい。撮影装置１１Ｒ－１や撮影装置１１Ｌ－１の移動により画像のぶれが生じる場合には、電子シャッタを併用して対応すればよい。
　なお、以上においては、輻輳点の異なる右眼画像と左眼画像、つまり２視点のステレオ画像が撮影される場合について説明したが、視点の異なるＭ枚（但し３≦Ｍ）の視点画像からなるＭ視点画像が、輻輳点（注視点）ごとに複数撮影されるようにしてもよい。
　そのような場合、右眼画像や左眼画像における場合と同様に、Ｍ個の各視点について、輻輳点（注視点）の異なる複数の第ｍ番目（但し、１≦ｍ≦Ｍ）の視点の視点画像が、それらの視点画像上の同じ被写体が重なるように、新たな座標系上に配置される。そして、新たな座標系上に配置された第ｍ番目の視点の各視点画像が合成されて合成視点画像とされ、Ｍ個の視点ごとの合成視点画像からなる立体画像、つまりＭ視点画像が生成される。
　以下においては、立体画像として、右眼画像と左眼画像を撮影，表示する場合について、さらに説明を続ける。
［表示処理システムの構成例］
　次に、本技術を適用した具体的な実施の形態について説明する。図５は、本技術を適用した表示処理システムの一実施の形態の構成例を示す図である。
　図５の表示処理システムは、撮影ユニット４１、画像処理装置４２、表示制御部４３、および表示部４４から構成される。
　撮影ユニット４１は、画像処理装置４２の制御に基づいて右眼画像や左眼画像を撮影し、画像処理装置４２に供給する。撮影ユニット４１は、右眼画像撮影部６１、左眼画像撮影部６２、広角右眼画像撮影部６３、および広角左眼画像撮影部６４を備えている。
　右眼画像撮影部６１および左眼画像撮影部６２は、所定の輻輳点の右眼画像および左眼画像を撮影する対となる撮影装置であり、例えば右眼画像撮影部６１と左眼画像撮影部６２は、図４の矢印Ｑ３３に示した撮影装置１１Ｒ－１と撮影装置１１Ｌ－１に対応する。
　なお、右眼画像撮影部６１が、図４の矢印Ｑ３１や矢印Ｑ３２に示した撮影装置１１Ｒ－１乃至撮影装置１１Ｒ－３からなり、左眼画像撮影部６２が、図４の矢印Ｑ３１や矢印Ｑ３２に示した撮影装置１１Ｌ－１乃至撮影装置１１Ｌ－３からなるようにしてもよい。
　右眼画像撮影部６１および左眼画像撮影部６２は、輻輳点の異なる複数の右眼画像および左眼画像を撮影し、得られた右眼画像および左眼画像を画像処理装置４２に供給する。
　なお、以下では、Ｎ個の異なる輻輳点について、右眼画像と左眼画像の対が撮影されることとし、ｎ番目（但し、１≦ｎ≦Ｎ）の右眼画像と左眼画像を、それぞれ右眼画像Ｒnおよび左眼画像Ｌnとも称することとする。右眼画像Ｒnと左眼画像Ｌnからなる画像対は、１つの輻輳点を有する画像対である。
　また、広角右眼画像撮影部６３および広角左眼画像撮影部６４は、各右眼画像Ｒnおよび左眼画像Ｌnよりも広角な画像を、広角右眼画像Ｒgおよび広角左眼画像Ｌgとして撮影し、画像処理装置４２に供給する。すなわち、広角右眼画像Ｒgは、各右眼画像Ｒn上にある被写体が全て含まれている画像であり、広角左眼画像Ｌgは、各左眼画像Ｌn上にある被写体が全て含まれている画像である。
　画像処理装置４２は、撮影ユニット４１から供給された右眼画像Ｒnおよび左眼画像Ｌnと、広角右眼画像Ｒgおよび広角左眼画像Ｌgとに基づいて、右眼合成画像および左眼合成画像を生成し、表示制御部４３に供給する。画像処理装置４２は、位置決定部７１、合成処理部７２、および切り出し部７３を備えている。
　位置決定部７１は、広角右眼画像Ｒgを基準とした新たな座標系（以下、投影座標系とも称する）上において各右眼画像Ｒnが広角右眼画像Ｒgと重なるように、各右眼画像Ｒnの投影座標系上の位置を決定する。例えば広角右眼画像Ｒgを基準とする投影座標系は、広角右眼画像Ｒgの中心位置を原点とする２次元座標系である。
　また、位置決定部７１は、左眼画像Ｌnについても右眼画像Ｒnにおける場合と同様に、広角左眼画像Ｌgを基準とした投影座標系上において各左眼画像Ｌnが広角左眼画像Ｌgと重なるように、各左眼画像Ｌnの投影座標系上の位置を決定する。
　合成処理部７２は、投影座標系上に配置された右眼画像Ｒnを合成するとともに、投影座標系上に配置された左眼画像Ｌnを合成する。切り出し部７３は、投影座標系上で右眼画像Ｒnを合成して得られた画像の所定の領域を切り出して（トリミングして）右眼合成画像を生成するとともに、投影座標系上で左眼画像Ｌnを合成して得られた画像の所定の領域を切り出して左眼合成画像を生成する。
　表示制御部４３は、画像処理装置４２から供給された右眼合成画像と左眼合成画像を表示部４４に供給し、立体表示させる。表示部４４は、例えば裸眼方式の立体表示装置などからなり、表示制御部４３から供給された右眼合成画像と左眼合成画像を表示させることで、立体画像を表示する。
［立体画像生成処理の説明］
　ところで、図５の表示処理システムに対して、立体画像の生成および表示が指示されると、表示処理システムは立体画像生成処理を行なって、立体画像を表示する。以下、図６のフローチャートを参照して、表示処理システムによる立体画像生成処理について説明する。
　ステップＳ１１において、撮影ユニット４１は、複数の輻輳点のそれぞれに対する右眼画像Ｒnおよび左眼画像Ｌnと、広角右眼画像Ｒgおよび広角左眼画像Ｌgとを撮影する。
　すなわち、右眼画像撮影部６１および左眼画像撮影部６２は、それぞれＮ個の輻輳点の右眼画像Ｒnおよび左眼画像Ｌn（但し、１≦ｎ≦Ｎ）を撮影して画像処理装置４２に供給する。また、広角右眼画像撮影部６３および広角左眼画像撮影部６４は、広角右眼画像Ｒgおよび広角左眼画像Ｌgを撮影して画像処理装置４２に供給する。
　なお、右眼画像Ｒnおよび左眼画像Ｌnの撮影時において、画像処理装置４２が撮影ユニット４１を制御して、ユーザにより注視される可能性の高い所望の被写体の部位が輻輳点とされて、右眼画像Ｒnおよび左眼画像Ｌnが撮影されるようにしてもよい。
　そのような場合、例えば画像処理装置４２は、広角右眼画像Ｒgや広角左眼画像Ｌgから、コントラストが高い領域、すなわち平坦ではなく何らかの輝度変化のある領域を輻輳点の位置として定め、その領域が輻輳点となるように撮影ユニット４１を制御する。
　また、例えば広角右眼画像Ｒgや広角左眼画像Ｌgに人の顔がアップで映っている場合には、画像処理装置４２が、人の両眼や顔の中央を輻輳点として選択するようにしてもよい。さらに、例えば広角右眼画像Ｒgや広角左眼画像Ｌgに複数の人が映っている場合には、それらの人の顔のなかから、画面の中央、左右などの位置にある顔の領域が、輻輳点として選択されるようにしてもよい。なお、広角右眼画像Ｒgや広角左眼画像Ｌgからの人の顔の検出は、顔認識機能を利用すればよい。
　ステップＳ１２において、位置決定部７１は、右眼画像Ｒnおよび左眼画像Ｌnを、新たな投影座標系上に配置する。
　例えば、位置決定部７１は、各右眼画像Ｒnについて、右眼画像Ｒnと広角右眼画像Ｒgの相関や差分絶対値和を求めることで、広角右眼画像Ｒgを基準とする投影座標系上において、右眼画像Ｒnの中心部分の領域が広角右眼画像Ｒgと最も重なる位置を定める。そして、位置決定部７１は、各右眼画像Ｒnを定めた位置に配置する。
　ここで、右眼画像Ｒnの中心部分の領域とは、例えば右眼画像Ｒnの高さがｈである場合、右眼画像Ｒnの中心を中心とする直径ｈ／２の円の領域などとされる。
　右眼画像Ｒnの場合と同様に、位置決定部７１は各左眼画像Ｌnについて、広角左眼画像Ｌgを基準とする投影座標系上において、左眼画像Ｌnの中心部分の領域が広角左眼画像Ｌgと最も重なる位置を定め、その位置に左眼画像Ｌnを配置する。これにより、各右眼画像Ｒnの同じ被写体が重なるように、それらの右眼画像Ｒnが投影座標系上に配置され、各左眼画像Ｌnの同じ被写体が重なるように、それらの左眼画像Ｌnが投影座標系上に配置されることになる。
　ステップＳ１３において、合成処理部７２は、投影座標系上に配置された右眼画像Ｒnと左眼画像Ｌnについて、重ね合わせを行なう。
　具体的には、合成処理部７２は、投影座標系上に配置された各右眼画像Ｒnの互いに重なる部分が滑らかに連続するように、右眼画像Ｒnに対してガウシアンフィルタ等を用いた加算平均フィルタ処理を施し、Ｎ個の右眼画像Ｒnを合成する。
　なお、投影座標系上において互いに重なる右眼画像Ｒnを合成するときに、それらの右眼画像Ｒnの境界近傍の領域で対応点を探索し、それらの対応点が一致するように（重なるように）、右眼画像Ｒnがアフィン変換等の幾何学変換で変形されてもよい。そのような場合、変形後の各右眼画像Ｒnが、それらの画像が互いに重なる領域内の位置に応じた重みで重ね合わせられる。これにより、互いに重なる右眼画像Ｒnの境界が見立たないように、各右眼画像Ｒnが滑らかに合成される。
　また、各右眼画像Ｒnが投影座標系上に配置されるときに、各右眼画像Ｒnの各部が広角右眼画像Ｒgの各部と重なるように、右眼画像Ｒnに対してアフィン変換等の幾何学変換が施されるようにしてもよい。
　さらに、合成処理部７２は、右眼画像Ｒnの重ね合わせと同様に、投影座標系上に配置された各左眼画像Ｌnの互いに重なる部分が滑らかに連続するように、左眼画像Ｌnに対して加算平均フィルタ処理を施し、Ｎ個の左眼画像Ｌnを合成する。
　ステップＳ１４において、切り出し部７３は、合成された右眼画像Ｒnおよび左眼画像Ｌnに基づいて立体画像を生成し、表示制御部４３に供給する。
　すなわち、切り出し部７３は、投影座標系上で右眼画像Ｒnを合成して得られた画像の所定の領域を切り出して右眼合成画像とするとともに、投影座標系上で左眼画像Ｌnを合成して得られた画像の所定の領域を切り出して左眼合成画像とする。これにより、右眼合成画像と左眼合成画像とからなる立体画像が得られる。
　ステップＳ１５において、表示制御部４３は、切り出し部７３から供給された立体画像を表示部４４に供給して表示させ、立体画像生成処理は終了する。
　なお、右眼合成画像と左眼合成画像とからなる立体画像は、静止画像であってもよいし、動画像であってもよい。また、立体画像は、３以上の視点の画像からなる多視点画像であってもよい。
　以上のようにして、表示処理システムは、輻輳点の異なる複数の右眼画像や左眼画像を合成し、右眼合成画像および左眼合成画像からなる立体画像を生成する。
　このようにして得られた立体画像は複数の輻輳点を有しているので、より自然な立体画像を提示することができる。すなわち、ユーザが立体画像を観察する場合に、各注視点において実際の視差分布との違いが抑えられ、自然で見やすい高品質な立体画像を提示することができる。
　なお、以上においては、画像処理装置４２に撮影ユニット４１や表示制御部４３が接続される場合を例として説明したが、撮影ユニット４１が画像処理装置４２に設けられていてもよいし、表示制御部４３と表示部４４が画像処理装置４２に設けられていてもよい。
　ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
　図７は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
　コンピュータにおいて、CPU（Central Processing Unit）２０１，ROM（Read Only Memory）２０２，RAM（Random Access Memory）２０３は、バス２０４により相互に接続されている。
　バス２０４には、さらに、入出力インターフェース２０５が接続されている。入出力インターフェース２０５には、入力部２０６、出力部２０７、記録部２０８、通信部２０９、及びドライブ２１０が接続されている。
　入力部２０６は、キーボード、マウス、マイクロホンなどよりなる。出力部２０７は、ディスプレイ、スピーカなどよりなる。記録部２０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部２０９は、ネットワークインターフェースなどよりなる。ドライブ２１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア２１１を駆動する。
　以上のように構成されるコンピュータでは、CPU２０１が、例えば、記録部２０８に記録されているプログラムを、入出力インターフェース２０５及びバス２０４を介して、RAM２０３にロードして実行することにより、上述した一連の処理が行われる。
　コンピュータ（CPU２０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア２１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
　コンピュータでは、プログラムは、リムーバブルメディア２１１をドライブ２１０に装着することにより、入出力インターフェース２０５を介して、記録部２０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部２０９で受信し、記録部２０８にインストールすることができる。その他、プログラムは、ROM２０２や記録部２０８に、あらかじめインストールしておくことができる。
　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
　また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
　さらに、本技術は、以下の構成とすることも可能である。
［１］
　複数の異なる視点の視点画像からなる画像群であって、互いに注視点の異なる複数の画像群に基づいて、前記視点ごとに、前記視点画像上の同じ被写体が重なるように、前記視点画像を新たな座標系上に配置する位置決定部と、
　前記視点ごとに、前記座標系上に配置された複数の前記視点画像を合成して合成視点画像を生成することで、各前記視点の前記合成視点画像からなる、複数の注視点を有する立体画像を生成する合成処理部と
　を備える画像処理装置。
［２］
　前記注視点ごとの画像群は、それぞれ一対の視点画像からなる、１つの輻輳点を有する
　［１］に記載の画像処理装置。
［３］
　前記合成処理部は、複数の前記視点画像が重なる領域内の位置に応じた重みを付けて、前記視点画像に対する加算平均フィルタ処理を行なうことで、前記合成視点画像を生成する
　［１］または［２］に記載の画像処理装置。
［４］
　前記複数の前記画像群は同一時刻に撮影されたものである
　［１］乃至［３］の何れかに記載の画像処理装置。
［５］
　前記複数の前記画像群は、前記画像群ごとに異なる時刻に撮影されたものである
　［１］乃至［３］の何れかに記載の画像処理装置。
　４１　撮影ユニット，　４２　画像処理装置，　４３　表示制御部，　４４　表示部，　７１　位置決定部，　７２　合成処理部，　７３　切り出し部

Claims (7)

  1. 　複数の異なる視点の視点画像からなる画像群であって、互いに注視点の異なる複数の画像群に基づいて、前記視点ごとに、前記視点画像上の同じ被写体が重なるように、前記視点画像を新たな座標系上に配置する位置決定部と、
    　前記視点ごとに、前記座標系上に配置された複数の前記視点画像を合成して合成視点画像を生成することで、各前記視点の前記合成視点画像からなる、複数の注視点を有する立体画像を生成する合成処理部と
    　を備える画像処理装置。
  2. 　前記注視点ごとの画像群は、それぞれ一対の視点画像からなる、１つの輻輳点を有する
    　請求項１に記載の画像処理装置。
  3. 　前記合成処理部は、複数の前記視点画像が重なる領域内の位置に応じた重みを付けて、前記視点画像に対する加算平均フィルタ処理を行なうことで、前記合成視点画像を生成する
    　請求項２に記載の画像処理装置。
  4. 　前記複数の前記画像群は同一時刻に撮影されたものである
    　請求項３に記載の画像処理装置。
  5. 　前記複数の前記画像群は、前記画像群ごとに異なる時刻に撮影されたものである
    　請求項３に記載の画像処理装置。
  6. 　複数の異なる視点の視点画像からなる画像群であって、互いに注視点の異なる複数の画像群に基づいて、前記視点ごとに、前記視点画像上の同じ被写体が重なるように、前記視点画像を新たな座標系上に配置し、
    　前記視点ごとに、前記座標系上に配置された複数の前記視点画像を合成して合成視点画像を生成することで、各前記視点の前記合成視点画像からなる、複数の注視点を有する立体画像を生成する
    　ステップを含む画像処理方法。
  7. 　複数の異なる視点の視点画像からなる画像群であって、互いに注視点の異なる複数の画像群に基づいて、前記視点ごとに、前記視点画像上の同じ被写体が重なるように、前記視点画像を新たな座標系上に配置し、
    　前記視点ごとに、前記座標系上に配置された複数の前記視点画像を合成して合成視点画像を生成することで、各前記視点の前記合成視点画像からなる、複数の注視点を有する立体画像を生成する
    　ステップを含む処理をコンピュータに実行させるプログラム。
PCT/JP2013/054670 2012-03-07 2013-02-25 画像処理装置および方法、並びにプログラム WO2013133057A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CA 2861212 CA2861212A1 (en) 2012-03-07 2013-02-25 Image processing device and method, and program
US14/381,248 US20150116202A1 (en) 2012-03-07 2013-02-25 Image processing device and method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012050211 2012-03-07
JP2012-050211 2012-03-07

Publications (1)

Publication Number Publication Date
WO2013133057A1 true WO2013133057A1 (ja) 2013-09-12

Family

ID=49116539

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/054670 WO2013133057A1 (ja) 2012-03-07 2013-02-25 画像処理装置および方法、並びにプログラム

Country Status (3)

Country Link
US (1) US20150116202A1 (ja)
CA (1) CA2861212A1 (ja)
WO (1) WO2013133057A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5982751B2 (ja) 2011-08-04 2016-08-31 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
US10477192B2 (en) * 2016-09-14 2019-11-12 Semiconductor Energy Laboratory Co., Ltd. Display system and electronic device
US11627299B1 (en) * 2019-08-20 2023-04-11 Opic, Inc. Method and apparatus for a stereoscopic smart phone
WO2023235093A1 (en) * 2022-05-31 2023-12-07 Douglas Robert Edwin A method and apparatus for a stereoscopic smart phone

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10262176A (ja) * 1997-03-19 1998-09-29 Teiichi Okochi 映像形成方法
JPH11261797A (ja) * 1998-03-12 1999-09-24 Fuji Photo Film Co Ltd 画像処理方法
JP2003087550A (ja) * 2001-09-12 2003-03-20 Sanyo Electric Co Ltd 画像合成装置、画像合成方法、画像合成処理プログラムを記録したコンピュータ読み取り可能な記録媒体
JP2011035643A (ja) * 2009-07-31 2011-02-17 Fujifilm Corp 多眼撮影方法および装置、並びにプログラム

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100499130B1 (ko) * 2001-11-27 2005-07-04 삼성전자주식회사 조명 변화에 강건한 영상 검색 방법 및 장치
US7097619B2 (en) * 2002-09-03 2006-08-29 Siemens Medical Solutions Usa, Inc. Elevation beam pattern variation for ultrasound imaging
US7466856B2 (en) * 2002-09-26 2008-12-16 Samsung Electronics Co., Ltd. Image retrieval method and apparatus independent of illumination change
JP4318465B2 (ja) * 2002-11-08 2009-08-26 コニカミノルタホールディングス株式会社 人物検出装置および人物検出方法
US20070083114A1 (en) * 2005-08-26 2007-04-12 The University Of Connecticut Systems and methods for image resolution enhancement
JP2008067230A (ja) * 2006-09-08 2008-03-21 Sony Corp 画像処理装置、画像処理方法、及び、プログラム
JP4961965B2 (ja) * 2006-11-15 2012-06-27 株式会社ニコン 被写体追跡プログラム、被写体追跡装置、およびカメラ
JPWO2009001467A1 (ja) * 2007-06-28 2010-08-26 富士通株式会社 低照度環境における撮影画像の明るさを改善する電子機器
JP4811433B2 (ja) * 2007-09-05 2011-11-09 ソニー株式会社 画像選択装置、画像選択方法、およびプログラム
WO2010002070A1 (en) * 2008-06-30 2010-01-07 Korea Institute Of Oriental Medicine Method for grouping 3d models to classify constitution
KR101445185B1 (ko) * 2008-07-10 2014-09-30 삼성전자주식회사 복수 개의 영상촬영유닛을 구비한 플렉시블 영상촬영장치및 그 제조방법
US8472670B2 (en) * 2008-08-08 2013-06-25 Panasonic Corporation Target detection device and target detection method
JP5230376B2 (ja) * 2008-11-28 2013-07-10 三星電子株式会社 撮像装置及び撮像方法
JP2011205374A (ja) * 2010-03-25 2011-10-13 Fujifilm Corp 表示装置
EA201200255A1 (ru) * 2012-02-22 2013-08-30 Закрытое Акционерное Общество "Импульс" Способ подавления шума цифровых рентгенограмм
US8774508B2 (en) * 2012-02-27 2014-07-08 Denso It Laboratory, Inc. Local feature amount calculating device, method of calculating local feature amount, corresponding point searching apparatus, and method of searching corresponding point

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10262176A (ja) * 1997-03-19 1998-09-29 Teiichi Okochi 映像形成方法
JPH11261797A (ja) * 1998-03-12 1999-09-24 Fuji Photo Film Co Ltd 画像処理方法
JP2003087550A (ja) * 2001-09-12 2003-03-20 Sanyo Electric Co Ltd 画像合成装置、画像合成方法、画像合成処理プログラムを記録したコンピュータ読み取り可能な記録媒体
JP2011035643A (ja) * 2009-07-31 2011-02-17 Fujifilm Corp 多眼撮影方法および装置、並びにプログラム

Also Published As

Publication number Publication date
US20150116202A1 (en) 2015-04-30
CA2861212A1 (en) 2013-09-12

Similar Documents

Publication Publication Date Title
KR102054363B1 (ko) 시선 보정을 위한 화상 회의에서 영상 처리를 위한 방법 및 시스템
RU2638776C1 (ru) Устройство генерирования изображения и способ
JP4228646B2 (ja) 立体視画像生成方法および立体視画像生成装置
JP6023801B2 (ja) シミュレーション装置
US9204126B2 (en) Three-dimensional image display device and three-dimensional image display method for displaying control menu in three-dimensional image
JP2019079552A (ja) イメージ形成における及びイメージ形成に関する改良
JP2000354257A (ja) 画像処理装置、画像処理方法、およびプログラム提供媒体
US11962746B2 (en) Wide-angle stereoscopic vision with cameras having different parameters
JP2017505565A (ja) 多面映像の生成方法及びシステム
JP2010033367A (ja) 情報処理装置及び情報処理方法
JP2017204674A (ja) 撮像装置、ヘッドマウントディスプレイ、情報処理システム、および情報処理方法
Blum et al. The effect of out-of-focus blur on visual discomfort when using stereo displays
US20120056885A1 (en) Image generation system, image generation method, and information storage medium
US10885651B2 (en) Information processing method, wearable electronic device, and processing apparatus and system
JP2003284093A (ja) 立体画像処理方法および装置
JP2011176800A (ja) 画像処理装置、立体表示装置及び画像処理方法
WO2019098198A1 (ja) 画像生成装置、ヘッドマウントディスプレイ、画像生成システム、画像生成方法、およびプログラム
US20170171534A1 (en) Method and apparatus to display stereoscopic image in 3d display system
EP3526639A1 (en) Display of visual data with a virtual reality headset
JP2011010126A (ja) 画像処理装置、画像処理方法
WO2013133057A1 (ja) 画像処理装置および方法、並びにプログラム
CN109799899B (zh) 交互控制方法、装置、存储介质和计算机设备
CN112995638A (zh) 自动调节视差的裸眼3d采集和显示系统及方法
JPWO2017141584A1 (ja) 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム
TWI589150B (zh) ３ｄ自動對焦顯示方法及其系統

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13757336

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2861212

Country of ref document: CA

WWE Wipo information: entry into national phase

Ref document number: 14381248

Country of ref document: US

122 Ep: pct application non-entry in european phase

Ref document number: 13757336

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP