WO2011118084A1 - 画像処理装置および画像処理方法 - Google Patents

画像処理装置および画像処理方法 Download PDF

Info

Publication number
WO2011118084A1
WO2011118084A1 PCT/JP2010/070849 JP2010070849W WO2011118084A1 WO 2011118084 A1 WO2011118084 A1 WO 2011118084A1 JP 2010070849 W JP2010070849 W JP 2010070849W WO 2011118084 A1 WO2011118084 A1 WO 2011118084A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
viewpoint
image processing
parallax
viewpoint images
Prior art date
Application number
PCT/JP2010/070849
Other languages
English (en)
French (fr)
Inventor
矢作 宏一
渡辺 幹夫
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to JP2012506769A priority Critical patent/JP5186614B2/ja
Priority to CN201080065705.1A priority patent/CN102812712B/zh
Priority to US13/636,601 priority patent/US8749660B2/en
Publication of WO2011118084A1 publication Critical patent/WO2011118084A1/ja

Links

Images

Classifications

    • G06T5/70
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/40Circuit details for pick-up tubes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/97Determining parameters from multiple pictures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/111Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/128Adjusting depth or disparity

Definitions

  • the present invention relates to an image processing apparatus and an image processing method capable of easily confirming a multi-viewpoint image by flat display.
  • a 3D digital camera stereo imaging device
  • a 3D photo printer stereo image printing device
  • a 3D digital camera captures a subject from two left and right viewpoints to obtain a stereo image (left viewpoint image and right viewpoint image), creates a depth map based on the stereo image, and based on the stereo image and depth map An intermediate viewpoint image is generated, and a multi-viewpoint image obtained by adding the intermediate viewpoint image to the stereo image is printed on a lenticular sheet (see Patent Document 1).
  • Patent Document 2 describes a configuration in which a left viewpoint image and a right viewpoint image are alternately displayed while crossfading.
  • the present invention has been made in view of such circumstances, and an object thereof is to provide an image processing apparatus and an image processing method for easily confirming a multi-viewpoint image.
  • the present invention creates an image acquisition unit for acquiring a multi-viewpoint image generated by imaging a subject from a plurality of viewpoints, and a parallax map indicating a parallax distribution based on the multi-viewpoint image
  • a multi-viewpoint image generation unit that generates a multi-viewpoint image including a plurality of viewpoint images larger than the number of the multi-viewpoint images based on the multi-viewpoint image and the parallax map, and the multi-viewpoint image.
  • an image processing unit that performs image processing on the subject image of the multi-viewpoint image based on the parallax map, and an image processing unit that switches an image processing amount to the subject image according to the parallax, and the image processing unit And an output unit that sequentially switches and outputs the plurality of viewpoint images included in the multi-viewpoint image that has been subjected to image processing by the viewpoint processing.
  • image processing is performed by switching the image processing amount to the subject image according to the parallax for the multi-viewpoint image, and a plurality of viewpoint images included in the multi-viewpoint image are switched in order of the viewpoint and sequentially output. Without using a device, it can be output to a normal display device, and a multi-viewpoint image can be confirmed in advance using a planar image. That is, it is possible to easily check the multi-viewpoint image.
  • the image processing unit includes a display control unit configured to display the plurality of viewpoint images included in the multi-viewpoint image processed by the image processing unit on a display device as the output unit in order of viewpoint and to display the image on a plane. It is characterized by that.
  • a moving image file is generated for displaying the plurality of viewpoint images included in the multi-viewpoint image processed by the image processing unit on the display device serving as the output unit in order of viewpoint and displaying on a plane.
  • a moving image file creation unit is provided.
  • the image processing unit increases a blur amount for a pixel having a larger parallax in the multi-viewpoint image.
  • the image processing unit blurs the viewpoint images at the viewpoint positions on both ends with respect to the blur amount of the viewpoint image at the center viewpoint position among the plurality of viewpoint images included in the multi-viewpoint image. It is characterized by increasing the amount.
  • the image processing unit increases the reduction amount of at least one of saturation, contrast, and sharpness as the parallax is larger in the multi-viewpoint image.
  • the image processing unit includes the viewpoint images at the viewpoint positions at both ends of the plurality of viewpoint images included in the multi-viewpoint image with respect to the reduction amount of the viewpoint image at the viewpoint position on the center side. The reduction amount is increased.
  • the image processing unit refers to the parallax map, and a subject image in each viewpoint image is a near side area or a near side area with reference to a pixel having no parallax. It is characterized in that image processing is performed to reduce the subject image in the heel side region and enlarge the subject image in the near side region.
  • the output unit outputs the viewpoint images at the viewpoint positions at both ends relative to the output time of the viewpoint image at the center viewpoint position among the plurality of viewpoint images included in the multi-viewpoint image. It is characterized by shortening.
  • the present invention provides an image acquisition step of acquiring a multi-viewpoint image generated by imaging a subject from a plurality of viewpoints, and a parallax map generation step of generating a parallax map indicating a parallax distribution based on the multi-viewpoint images.
  • An image processing step of performing image processing on a subject image of a multi-viewpoint image wherein the image processing step switches an image processing amount to the subject image according to the parallax, and the multiple image processed in the image processing step
  • an image processing method comprising: an output step of sequentially switching and outputting the plurality of viewpoint images included in the viewpoint image.
  • a moving image file creation for creating a moving image file for displaying the plurality of viewpoint images included in the multi-viewpoint image subjected to image processing in the image processing step on a display device in order of viewing is displayed on a plane.
  • a process is provided.
  • FIG. 1 is a block diagram showing the overall configuration of an example of an image processing apparatus according to the present invention.
  • the image processing apparatus 2 includes an instruction input unit 21, an image acquisition unit 22, a CPU 23, a storage unit 24, and a display unit 25.
  • the CPU 23 includes a parallax map creation unit 31, a multi-viewpoint image generation unit 32, an image processing unit 33, a 2D moving image file creation unit 34, and a display control unit 35.
  • the instruction input unit 21 is an input device for inputting instructions.
  • it is configured by a keyboard, a pointing device, and the like.
  • a touch sensor may be used.
  • the image acquisition unit 22 is an input device used for inputting image data (hereinafter simply referred to as “image”).
  • image is configured by a recording medium interface that performs data input / output with a removable recording medium such as a memory card, and a network interface that performs data input / output with a network.
  • a stereoscopic image (hereinafter referred to as “two-viewpoint image”) composed of two viewpoint images (left-viewpoint image and right-viewpoint image) generated by imaging the subject at the right viewpoint and the left viewpoint by the image acquisition unit 22 of this example. ) Is entered.
  • the CPU (Central Processing Unit) 23 controls each part of the image processing apparatus 2 and executes various image processing.
  • the storage unit 24 is a storage device that stores various data, and includes a non-volatile memory or a disk.
  • the display unit 25 is a display device such as a liquid crystal display device.
  • the display unit 25 may be capable of 2D display and may not be capable of 3D (stereoscopic) display.
  • the parallax map creation unit 31 creates a parallax map based on the two viewpoint images acquired by the image acquisition unit 22.
  • the parallax map is information indicating the parallax distribution of the two viewpoint images.
  • the parallax a coordinate difference between a pixel in the left viewpoint image and a pixel in the right viewpoint image that have a corresponding relationship is used. Such parallax will be described in detail later.
  • the parallax is information corresponding to the depth of the subject, it may be referred to as “depth information” or “distance information”. A depth amount may be used as the parallax.
  • the multi-viewpoint image generation unit 32 generates a multi-viewpoint image including a plurality of viewpoint images more than the two-viewpoint images based on the two-viewpoint images (right viewpoint image and left viewpoint image) and the parallax map. That is, a multi-viewpoint image is generated as image data for 3D photographic printing with a larger number of viewpoints than two-viewpoint images.
  • an intermediate viewpoint viewpoint image (hereinafter referred to as “intermediate viewpoint image”) is generated based on the two viewpoint images and the parallax map, that is, by adding one or more intermediate viewpoint images to the two viewpoint images.
  • a multi-viewpoint image including three or more viewpoint images is generated. Note that the present invention is also applicable to the case of generating a multi-viewpoint image that does not include the original two-viewpoint image.
  • the image processing unit 33 performs image processing on the multi-viewpoint image based on the multi-viewpoint image and the parallax map so that the stereoscopic effect or the like of the multi-viewpoint image can be confirmed by the 2D display of the later-described 2D moving image file by the display unit 25.
  • image processing include blurring processing, contrast reduction, saturation reduction, sharpness reduction, enlargement / reduction (enlargement / reduction), and the like. These specific examples will be described in detail later.
  • the 2D moving image file creation unit 34 creates a 2D moving image file for displaying a plurality of viewpoint images included in the image-processed multi-viewpoint image on the display unit 25 in the order of viewpoints and displaying them on a plane.
  • the display control unit 35 causes the display unit 25 to switch a plurality of viewpoint images included in the multi-viewpoint image in the order of the viewpoints according to the 2D moving image file and to display them on a plane.
  • the 3D digital camera 1 includes a plurality of imaging systems 11L and 11R that can generate a two-viewpoint image.
  • Each of the imaging systems 11L and 11R includes a photographing optical system having a zoom lens, a focus lens, and a diaphragm, and an imaging element (for example, a CCD image sensor, a CMOS image sensor, or the like).
  • an imaging element for example, a CCD image sensor, a CMOS image sensor, or the like.
  • the baseline length SB interval between the optical axes of the imaging systems 11L and 11R
  • the convergence angle ⁇ c the optical axes of the imaging systems 11L and 11R are The angle formed is assumed to be fixed.
  • Two-viewpoint images (a left-viewpoint image 92L and a right-viewpoint image 92R) are generated by capturing the same subject 91 (a sphere in this example) from a plurality of viewpoints using the plurality of imaging systems 11L and 11R.
  • the generated two viewpoint images 92L and 92R include subject images 93L and 93R on which the same subject 91 is projected, respectively.
  • the stereoscopic image 94 is displayed in 3D (stereoscopic display).
  • a multi-viewpoint image (set of viewpoint images A1 to A6) as shown in FIG. 3 is created from the two viewpoint images.
  • This multi-viewpoint image has a total of six viewpoints, and the viewpoint image A1 at the leftmost viewpoint position corresponds to the left viewpoint image 92L generated by the left imaging system 11L of the 3D digital camera 1 in FIG.
  • the viewpoint image A6 at the position corresponds to the right viewpoint image 92R generated by the right imaging system 11R of the 3D digital camera 1 in FIG. 2, and the viewpoint images A2 to A5 at the intermediate viewpoint positions are changed from the two viewpoint images A1 and A6 to the parallax map. It is the image (intermediate viewpoint image) generated based on it.
  • the multi-viewpoint images A1 to A6 are printed on a lenticular sheet 100 as shown in FIG. 4, for example.
  • a lenticular sheet 110 having a semi-cylindrical shape and a light transmitting property is formed on one surface of the lenticular sheet 100 in FIG. 4, and a receiving layer 120 for receiving ink is formed on the other surface.
  • the multi-viewpoint images A1 to A6 are printed with ink on the strip-like regions 121 to 126 of the receiving layer 120, respectively.
  • the observer observes the multi-viewpoint image printed on the receiving layer 120 side of the lenticular sheet 100 with both eyes from the lenticular lens 110 side, as shown in FIG. 2 (that is, the observer 95 is on the 3D monitor 60).
  • the subject image can be stereoscopically viewed.
  • FIG. 2 when the observer 95 observes the stereoscopic image 94 from both eyes 96L and 96R, a virtual image 97 of the subject appears to pop out.
  • the virtual image 97 since the subject 91 exists at a position closer to the convergence point 99 (cross point) between the optical axes, the virtual image 97 appears to pop out toward the front side, but the subject exists at a position farther than the convergence point 99. If you do, the virtual image will appear to be pulled back.
  • is only the x coordinate, which is expressed as AP. That is, if the base line length SB and the convergence angle ⁇ c are determined, the smaller the subject distance S before the convergence point 99, the larger the AP, and the larger the pop-out amount AD of the virtual image 97 experienced by the observer 95.
  • the pixel depth information in each viewpoint image can be expressed using the AP in FIG. 2 if the base line length SB, the convergence angle ⁇ c, and the focal length are determined.
  • depth information parllax
  • the AP is A value with a negative sign is depth information (parallax).
  • the depth information corresponding to the convergence point 99 is 0 (zero).
  • the depth information is positive, the pop-out amount AD increases as the value increases, and when the depth information is negative, the pull-in amount increases as the absolute value increases. Since the depth information also corresponds to the subject distance S, it can also be expressed using the subject distance S.
  • the base line length SB and the convergence angle ⁇ c are constant has been described as an example.
  • the pop-out amount AD changes according to the convergence angle ⁇ c and the subject distance S.
  • the pop-out amount AD changes according to the base line length SB, the convergence angle ⁇ c, and the subject distance S.
  • the base line length SB and the convergence angle ⁇ c are constant, when the parallax amount AP is changed by shifting the pixels between the two viewpoint images 92L and 92R, the pop-out amount AD also changes.
  • 3D digital camera 1 shown in FIG. 2, for example, when a subject is stereoscopically imaged using a plurality of digital cameras, or when a subject is stereoscopically imaged by pupil division using a single imaging optical system.
  • the present invention is applicable.
  • the 3D photographic print is not particularly limited when printing on a lenticular sheet.
  • the image processing unit 33 enables confirmation of a multi-viewpoint image by 2D moving image display, so that the amount of image processing (for example, blur amount, contrast) (Decrease amount, saturation reduction amount, sharpness reduction amount).
  • FIG. 5 is a flowchart showing a flow of an example of image processing in the image processing apparatus 2 of FIG.
  • step S1 the image acquisition unit 22 acquires the 2-viewpoint image 52 of FIG.
  • the two-viewpoint image 52 includes a left-viewpoint image A1 and a right-viewpoint image A5 that are generated by capturing images of the subject at the two left and right viewpoints.
  • step S2 the parallax map creating unit 31 detects the correspondence between the pixels of the right viewpoint image A5 and the pixels of the left viewpoint image A1 (corresponding point detection) to calculate the parallax between the corresponding pixels, A parallax map indicating the parallax distribution (correspondence between parallax and pixels) in the images A1 and A5 is created.
  • the parallax is expressed, for example, by the difference between the pixel coordinates of the left viewpoint image A1 and the pixel coordinates of the right viewpoint image A5.
  • the parallax map in this example is represented by an array of signed parallaxes. If the sign is positive, it indicates that the subject is located in front of the cross point (convergence point). If the sign is negative, the cross point point is indicated.
  • step S3 the multi-viewpoint image generation unit 32 generates intermediate viewpoint images A2, A3, and A4 based on the two-viewpoint images 52 (A1, A5) and the parallax map, and adds them to the two-viewpoint image 52.
  • the viewpoint images 54 (A1 to A5) are generated.
  • step S4 the image processing unit 33 performs image processing on the multi-viewpoint image 54 and changes the subject image based on the multi-viewpoint image 54 and the parallax map.
  • a process of blurring a larger pixel as the parallax on the parallax map is larger. I do. Pixels with small parallax are not blurred. Pixels without parallax (pixels corresponding to cross points) are not blurred at all.
  • the blurring process is not performed on the human image corresponding to the cross point, and the short-distance flower image and the long-distance tree image according to the magnitude of the parallax. Switch the amount of blur.
  • the image processing unit 33 sets the viewpoint images A1 and A5 at the viewpoint positions at both ends to be larger than the blurring amount of the viewpoint image A3 at the central viewpoint position among the plurality of viewpoint images A1 to A5 included in the multi-viewpoint image 54. Increase the amount of blur. Specifically, the blur amount is increased as the distance from the central viewpoint increases.
  • the case where the multi-viewpoint image 54 is an odd number has been described as an example, but the same applies to the case where the multi-viewpoint image 54 is an even number. That is, the blurring amount of the viewpoint image at the viewpoint positions on both ends is made larger than that of the viewpoint image at the center viewpoint position.
  • the blurring process may be any known method such as Gaussian, moving average, and low-frequency transmission filter, and is not particularly limited.
  • step S6 the 2D moving image file creation unit 34 creates a 2D moving image file for switching the viewpoint images A1 to A5 to the display unit 25 in order of the viewpoint and displaying them in a plane.
  • the file format of the 2D moving image file is not particularly limited as long as the viewpoint images A1 to A5 are edited so as to be displayed in order.
  • a 2D moving image file may be created according to the display time (for example, switching between 0.1 second and 0.5 second) set from the instruction input unit 21 and the display switching method (whether fade-in, fade-out, etc.). .
  • step S7 the display control unit 35 causes the display unit 25 to switch the plurality of viewpoint images A1 to A6 included in the multi-viewpoint image 54 in the order of viewpoints and display them on a plane. For example, after displaying in the normal order of A1-> A2-> A3-> A4-> A5, it displays in the reverse order of A5-> A4-> A3-> A2-> A1, and the display in the normal order and reverse order is repeated until the display stop operation is performed.
  • blur processing has been described as an example of image processing for performing multi-viewpoint image confirmation in 2D moving image display
  • image processing such as contrast change, saturation change, and sharpness change may be used.
  • the amount of decrease in contrast, saturation, or sharpness is increased as the parallax increases. That is, image processing is performed to increase the amount of decrease in visibility as the parallax increases. Further, the amount of decrease in the viewpoint image at the viewpoint positions on both ends is made larger than the viewpoint image at the center viewpoint position.
  • the pixel of the subject in the near side is the subject in the heel side region (in this example) with reference to the pixel of the subject (in this example, a person) having no parallax. Then, image processing for increasing the blurring amount, the contrast reduction amount, the saturation reduction amount, or the sharpness reduction amount may be performed rather than the pixel of the tree).
  • the image processing unit 33 performs subject image enlargement / reduction processing based on the parallax map in the image processing in step S ⁇ b> 4 of FIG. 5.
  • Steps S1 to S3 and S5 to S6 in FIG. 5 are the same as in the first embodiment. Hereinafter, only matters different from the first embodiment will be described.
  • the image processing unit 33 is created from the two-viewpoint images A1 and A5.
  • the parallax map With reference to the parallax map, with reference to pixels without parallax (human pixels in this example), whether other subject images (for example, flowers and trees) in each of the viewpoint images A1 to A5 are on the near side or near side It is determined whether it is a side area, and the subject image (tree in this example) in the heel side area is reduced, and image processing (enlargement / reduction processing) is performed to enlarge the subject image (flower in this example) in the near side area.
  • a subject image in a region that appears to pop out when a 3D photo print is viewed is enlarged, and a subject image in a region that appears to be retracted is reduced. It will be closer to how it looks on the print.
  • the 2D moving image file creation unit 34 of the third embodiment switches the display time based on the viewpoint position in the 2D moving image file creation processing in step S5 of FIG. Steps S1 to S4 and S6 in FIG. 5 are the same as those in the first embodiment. Hereinafter, only matters different from the first embodiment will be described.
  • the 2D moving image file creation unit 34 of the present embodiment performs the viewpoint of the central viewpoint position among the viewpoint images included in the multi-view images A1 to A5.
  • the display time of the viewpoint images A1 and A5 at the viewpoint positions at both ends is set shorter than the display time of the image A3. Specifically, the display time is shortened as the distance from the central viewpoint increases.
  • the display time of the central viewpoint image A3 is 0.3 seconds
  • the display times of the viewpoint images A2 and A4 at both ends are 0.2 seconds
  • the viewpoint images A1 and A5 at both ends are displayed.
  • the display time is 0.1 second.
  • the display time of the viewpoint images at the viewpoint positions on both ends is made shorter than the display time of the viewpoint image at the center viewpoint position.
  • the display time of the both-end viewpoint position where the refraction of the lenticular lens is increased is set shorter than the display time of the central viewpoint position, so Will be closer to the 3D photo print.
  • the output unit is not particularly limited to the display unit 25, and other output devices may be used. It may be used. For example, it may be output to a network by a communication device, or may be output to a printing device.

Abstract

複数視点で被写体を撮像して生成された複数視点画像を取得する画像取得部22と、前記複数視点画像に基づいて視差の分布を示す視差マップを作成する視差マップ作成部31と、前記複数視点画像および前記視差マップに基づいて前記複数視点画像の数よりも多い複数の視点画像を含む多視点画像を生成する多視点画像生成部32と、前記多視点画像および前記視差マップに基づいて前記多視点画像に画像処理を行う画像処理部33であって、前記視差に応じて前記被写体像への画像処理量を切り替える画像処理部33と、画像処理部33により画像処理された多視点画像に含まれる複数の視点画像を視点順に切り替えて順次出力する表示部25とを備えた。

Description

画像処理装置および画像処理方法
 本発明は、多視点画像の確認を平面表示により容易に行えるようにすることができる画像処理装置および画像処理方法に関する。
 複数視点で被写体を撮像する3Dデジタルカメラ(立体撮像装置)、および、3D写真プリントを作成する3D写真プリンタ(立体画像印刷装置)が提供されている。
 例えば、3Dデジタルカメラにより左右の2視点で被写体を撮像してステレオ画像(左視点画像および右視点画像)を取得し、そのステレオ画像に基づいて奥行きマップを作成し、ステレオ画像および奥行きマップに基づいて中間視点画像を生成し、ステレオ画像に中間視点画像を追加した多視点画像をレンチキュラーシートに印刷する(特許文献1を参照)。
 また、特許文献2には、左視点画像及び右視点画像をクロスフェードさせながら交互に表示させる構成が記載されている。
特開2001-346226号公報 特開2005-229560号公報
 多視点画像から3D写真プリントを作成する前に、プリントした場合の立体感や画質、歪等に問題が無いかを通常の表示デバイスで事前に確認したいという要求がある。しかし、そのような3D写真プリントの事前確認を行うためには、3D写真プリントと同じくらい精細なピッチで3D表示可能な特別の表示デバイスを用いない限り困難である。たとえ、3D写真プリントと同様な方法で3D表示可能な特別の表示デバイスを製造したとしても、そのような特別の表示デバイスがない環境(例えばユーザの自宅)では、事前確認を行うことができない。即ち、3D写真プリントの見え方を再現しようとすると大掛かりな設備と時間が必要になる。
 本発明はこのような事情に鑑みてなされたもので、多視点画像の確認を容易に行うための画像処理装置および画像処理方法を提供することを目的とする。
 前記目的を達成するために、本発明は、複数視点で被写体を撮像して生成された複数視点画像を取得する画像取得部と、前記複数視点画像に基づいて視差の分布を示す視差マップを作成する視差マップ作成部と、前記複数視点画像および前記視差マップに基づいて前記複数視点画像の数よりも多い複数の視点画像を含む多視点画像を生成する多視点画像生成部と、前記多視点画像および前記視差マップに基づいて前記多視点画像の被写体像に画像処理を行う画像処理部であって、前記視差に応じて前記被写体像への画像処理量を切り替える画像処理部と、前記画像処理部により画像処理された前記多視点画像に含まれる前記複数の視点画像を視点順に切り替えて順次出力する出力部と、を備えたことを特徴とする画像処理装置を提供する。
 即ち、多視点画像に対し視差に応じて被写体像への画像処理量を切り替えて画像処理を行い、その多視点画像に含まれる複数の視点画像を視点順に切り替えて順次出力するので、特別な表示デバイスを使用することなく、通常の表示デバイスに出力可能となり平面画像により多視点画像の事前確認を行うことができる。即ち、多視点画像の確認を容易に行えるようにすることができる。
 本発明の一態様では、前記画像処理部により画像処理された前記多視点画像に含まれる前記複数の視点画像を前記出力部としての表示デバイスに視点順に切り替えて平面表示させる表示制御部を備えたことを特徴とする。
 本発明の一態様では、前記画像処理部により画像処理された前記多視点画像に含まれる前記複数の視点画像を前記出力部としての表示デバイスに視点順に切り替えて平面表示させるための動画ファイルを作成する動画ファイル作成部を備えたことを特徴とする。
 本発明の一態様にて、前記画像処理部は、前記多視点画像において視差が大きい画素ほど、ぼかし量を大きくすることを特徴とする。
 本発明の一態様にて、前記画像処理部は、前記多視点画像に含まれる複数の視点画像のうち中央側の視点位置の視点画像のぼかし量よりも両端側の視点位置の視点画像のぼかし量を大きくすることを特徴とする。
 本発明の一態様にて、前記画像処理部は、前記多視点画像において前記視差が大きい画素ほど、彩度、コントラスト、シャープネスのうち少なくともいずれかひとつの低下量を大きくすることを特徴とする。
 本発明の一態様にて、前記画像処理部は、前記多視点画像に含まれる複数の視点画像のうち中央側の視点位置の視点画像の前記低下量よりも両端側の視点位置の視点画像の前記低下量を大きくすることを特徴とする。
 本発明の一態様にて、前記画像処理部は、前記視差マップを参照し、視差が無い画素を基準にして、前記各視点画像内の被写体像が奧側領域であるか手前側領域であるかを判定し、奧側領域の被写体像は縮小して、手前側領域の被写体像を拡大する画像処理を行うことを特徴とする。
 本発明の一態様では、前記出力部は、前記多視点画像に含まれる前記複数の視点画像のうち中央側の視点位置の視点画像の出力時間よりも両端側の視点位置の視点画像の出力時間を短くすることを特徴とする。
 また、本発明は、複数視点で被写体を撮像して生成された複数視点画像を取得する画像取得工程と、前記複数視点画像に基づいて視差の分布を示す視差マップを作成する視差マップ作成工程と、前記複数視点画像および前記視差マップに基づいて前記複数視点画像の数よりも多い視点画像を含む多視点画像を生成する多視点画像生成工程と、前記多視点画像および前記視差マップに基づいて前記多視点画像の被写体像に画像処理を行う画像処理工程であって、前記視差に応じて前記被写体像への画像処理量を切り替える画像処理工程と、前記画像処理工程にて画像処理された前記多視点画像に含まれる前記複数の視点画像を視点順に切り替えて順次出力する出力工程と、を備えたことを特徴とする画像処理方法を提供する。
 本発明の一態様では、前記画像処理工程にて画像処理された前記多視点画像に含まれる前記複数の視点画像を表示デバイスに視点順に切り替えて平面表示させるための動画ファイルを作成する動画ファイル作成工程を備えたことを特徴とする。
 本発明によれば、多視点画像の確認を容易に行えるようにすることができる。
画像処理装置の一例の全体構成図 視差の説明に用いる説明図 多視点画像の一例を示す図 レンチキュラーシートを模式的に示す斜視図 画像処理の一例の流れを示すフローチャート 第1実施形態における画像処理の説明に用いる説明図 第2実施形態における画像処理の説明に用いる説明図 第3実施形態における画像処理の説明に用いる説明図
 以下、添付図面に従って、本発明の実施形態について、詳細に説明する。
 図1は、本発明に係る画像処理装置の一例の全体構成を示すブロック図である。
 図1において、画像処理装置2は、指示入力部21、画像取得部22、CPU23、記憶部24、および、表示部25を含んで構成されている。CPU23は、視差マップ作成部31、多視点画像生成部32、画像処理部33、2D動画ファイル作成部34、および、表示制御部35を有する。
 指示入力部21は、指示を入力するための入力デバイスである。例えば、キーボード、ポインティングデバイスなどによって構成される。タッチセンサでもよい。
 画像取得部22は、画像データ(以下単に「画像」という)の入力に用いられる入力デバイスである。例えば、メモリカードなどのリムーバブルな記録メディアとの間でデータ入出力を行う記録メディアインタフェースや、ネットワークとの間でデータ入出力を行うネットワークインタフェースによって構成される。
 本例の画像取得部22により、右視点および左視点で被写体をそれぞれ撮像して生成された2枚の視点画像(左視点画像および右視点画像)からなる立体画像(以下「2視点画像」という)が入力される。
 CPU(Central Processing Unit)23は、画像処理装置2の各部を制御するとともに、各種の画像処理を実行する。
 記憶部24は、各種のデータを記憶する記憶デバイスであり、不揮発性のメモリまたはディスクを含んで構成されている。
 表示部25は、液晶表示デバイスなどの表示デバイスである。本実施形態にて、表示部25は、2D表示可能であればよく、3D(立体)表示可能でなくてもよい。
 視差マップ作成部31は、画像取得部22により取得された2視点画像に基づいて、視差マップを作成する。
 視差マップは、2視点画像の視差の分布を示す情報である。本例では、視差として、互いに対応関係を有する左視点画像内の画素と右視点画像内の画素との座標の差分を用いる。このような視差については後に詳説する。
 なお、視差は、被写体の奥行きに対応する情報であることから、「奥行き情報」あるいは「距離情報」ということもある。視差として、奥行き量を用いてもよい。
 多視点画像生成部32は、2視点画像(右視点画像および左視点画像)および視差マップに基づいて、2視点画像よりも多い複数の視点画像を含む多視点画像を生成する。すなわち、2視点画像よりも視点数を増やした3D写真プリント用の画像データとして多視点画像を生成する。本例では、2視点画像および視差マップに基づいて中間視点の視点画像(以下「中間視点画像」という)を生成することで、即ち2視点画像に1視点以上の中間視点画像を追加することで、3視点以上の視点画像からなる多視点画像を生成する。なお、本発明は、元の2視点画像を含まない多視点画像を生成する場合にも適用可能である。
 画像処理部33は、多視点画像の立体感等を表示部25により後述の2D動画ファイルの2D表示で確認できるようにするため、多視点画像および視差マップに基づいて多視点画像に画像処理を行う。このような画像処理の具体例として、ぼかし処理、コントラスト低下、彩度低下、シャープネス低下、拡大/縮小(拡縮)などが挙げられる。これらの具体例については、後に詳説する。
 2D動画ファイル作成部34は、画像処理された多視点画像に含まれる複数の視点画像を表示部25に視点順に切り替えて平面表示させための2D動画ファイルを作成する。
 表示制御部35は、2D動画ファイルに従って、多視点画像に含まれる複数の視点画像を表示部25に視点順に切り替えて平面表示させる。
 次に、視差量について、図2を用いて説明する。
 図2において、3Dデジタルカメラ1は、2視点画像を生成可能な複数の撮像系11L、11Rを備える。各撮像系11L、11Rは、ズームレンズ、フォーカスレンズおよび絞りを有する撮影光学系と、撮像素子(例えば、CCDイメージセンサ、CMOSイメージセンサ等)を有する。なお、発明の理解を容易にするため、3Dデジタルカメラ1にて、基線長SB(撮像系11L、11Rの光軸の間隔)、及び、輻輳角θc(撮像系11L、11Rの光軸同士が成す角度)は、固定であるものとして説明する。
 複数の撮像系11L、11Rにより、複数の視点で同一の被写体91(本例では球体)をそれぞれ撮像することで、2視点画像(左視点画像92L及び右視点画像92R)が生成される。生成された2視点画像92L、92Rは、同一の被写体91が投影された被写体像93L、93Rを、それぞれ含んでいる。2視点画像92L、92Rを、3Dモニタ60で重ね合わせて表示することで、立体画像94が3D表示(立体表示)される。
 3D写真プリントを行う場合、まず、2視点画像から、図3に示すような多視点画像(視点画像A1~A6のセット)が作成される。この多視点画像は、合計6視点であり、最も左の視点位置の視点画像A1が図2の3Dデジタルカメラ1の左撮像系11Lにより生成された左視点画像92Lに対応し、最も右の視点位置の視点画像A6が図2の3Dデジタルカメラ1の右撮像系11Rにより生成された右視点画像92Rに対応し、中間視点位置の視点画像A2~A5は2視点画像A1,A6から視差マップに基づいて生成された画像(中間視点画像)である。次に、多視点画像A1~A6を、例えば図4に示すようなレンチキュラーシート100に印刷する。図4のレンチキュラーシート100の一方の面には、かまぼこ状で透光性のレンチキュラーレンズ110が形成され、他方の面には、インクを受容する受容層120が形成されている。多視点画像A1~A6は、それぞれ、受容層120の各帯状領域121~126にインクにより印刷される。
 観察者は、レンチキュラーシート100の受容層120側に印刷された多視点画像をレンチキュラーレンズ110側から両眼で観察することで、図2に示した場合(即ち観察者95が3Dモニタ60上の立体画像94を観察した場合)と同様、被写体像を立体視することができる。
 図2にて観察者95が両眼96L、96Rから立体画像94を観察すると、被写体の虚像97が飛び出して見える。尚、図2では、光軸間の輻輳点99(クロスポイント)よりも近い位置に被写体91が存在したので虚像97が手前側に飛び出して見えるが、輻輳点99よりも遠い位置に被写体が存在した場合には虚像が奥側に引き込んで見える。
 図2にて被写体距離Sが輻輳点99までの距離よりも小さい範囲内では、被写体距離Sが小さいほど、被写体像92L、92Rの中心座標XLF、XRFの差分|XLF-XRF|が大きくなる。すなわち、被写体距離Sが小さいほど、視点画像92L、92R間で対応画素同士が離れる。ここで、差分|XLF-XRF|はx座標のみであり、これをAPとして表す。つまり、基線長SB及び輻輳角θcが決まっていれば、輻輳点99よりも前では被写体距離Sが小さいほど、APが大きくなり、観察者95が体感する虚像97の飛び出し量ADも大きくなる。
 各視点画像における画素の奥行き情報は、基線長SB、輻輳角θcおよび焦点距離が定まっていれば、図2のAPを用いて表すことができる。例えば、輻輳点99よりも前に被写体91がある場合には、APに正の符号を付した値が奥行き情報(視差)となり、輻輳点99よりも後に被写体91がある場合には、APに負の符号を付した値が奥行き情報(視差)となる。輻輳点99に対応する奥行き情報は0(ゼロ)である。この場合、奥行き情報が正の場合には、値が大きいほど飛び出し量ADが大きくなり、奥行き情報が負の場合、絶対値が大きいほど引き込み量が大きくなる。なお、奥行き情報は、被写体距離Sにも対応するので、被写体距離Sを用いて表すことも可能である。
 また、基線長SB及び輻輳角θcが一定である場合を例に説明したが、輻輳角θcが可変である構造の場合には、輻輳角θc及び被写体距離Sに応じて、飛び出し量ADが変化する。また、輻輳角θcに加えて基線長SBも可変である構造の場合には、基線長SB及び輻輳角θc及び被写体距離Sに応じて、飛び出し量ADが変化する。また、基線長SB及び輻輳角θcが一定であっても、2視点画像92L、92R間で画素ずらしを行って視差量APを変更した場合には、飛び出し量ADも変わってくる。
 なお、図2~図4は、本発明の理解のために一例を紹介したのであって、このような場合に特に限定されない。図2に示した3Dデジタルカメラ1を用いないで、例えば、複数のデジタルカメラを用いて被写体を立体撮像した場合や、単一の撮影光学系を用いて瞳分割で被写体を立体撮像した場合でも本発明を適用可能である。また、3D写真プリントは、レンチキュラーシートに印刷する場合に特に限定されない。
 以下では、各種の実施形態に分けて、本発明について説明する。
 <第1実施形態>
 まず、第1実施形態について、説明する。
 本実施形態の画像処理部33は、多視点画像の確認を2D動画表示で行えるようにするため、視差の大小に応じ、多視点画像の被写体像への画像処理量(例えば、ぼかし量、コントラスト低下量、彩度低下量、シャープネス低下量)の大小を切り替える。
 図5は、図1の画像処理装置2における画像処理の一例の流れを示すフローチャートである。
 ステップS1にて、画像取得部22により、図6の2視点画像52を取得する。この2視点画像52は、左右の2視点で被写体をそれぞれ撮像して生成された左視点画像A1および右視点画像A5からなる。
 ステップS2にて、視差マップ作成部31により、右視点画像A5の画素と左視点画像A1の画素との対応関係の検出(対応点検出)を行って対応画素間の視差を算出し、両視点画像A1、A5における視差分布(視差と画素との対応関係)を示す視差マップを作成する。視差は、例えば、左視点画像A1の画素の座標と右視点画像A5の画素の座標との差で表される。本例の視差マップは、符号付き視差の配列で表され、正符号であればクロスポイント(輻輳点)よりも手前側に被写体が位置していたことを示し、負符号であればクロスポイント点よりも奧側に被写体が位置していたことを示す。なお、両視点画像A1、A5の画素間で対応関係を検出できないオクルージョン領域については、その周囲の画素の視差に基づいて、視差の補間を行うことが、好ましい。
 ステップS3にて、多視点画像生成部32により、2視点画像52(A1,A5)および視差マップに基づいて中間視点画像A2、A3、A4を生成し2視点画像52に追加することで、多視点画像54(A1~A5)を生成する。
 ステップS4にて、画像処理部33により、多視点画像54および視差マップに基づいて、多視点画像54に画像処理を行って被写体像を変更する。本例では、各視点画像A1、A2、A3、A4、A5ごとに、視差マップ上の視差(左視点画像A1と右視点画像A5との画素のずれ量)が大きい画素ほど、より大きくぼかす処理を行う。視差が小さい画素は、あまりぼかさない。視差が無い画素(クロスポイントに対応する画素)は、全くぼかさない。
 図6に示すように、クロスポイントに対応する人の像に対しては、ぼかし処理を行わず、近距離の花の像および遠距離の木の像に対しては、視差の大小に応じてぼかし量の大小を切り替える。
 また、画像処理部33は、多視点画像54に含まれる複数の視点画像A1~A5のうち、中央の視点位置の視点画像A3のぼかし量よりも、両端の視点位置の視点画像A1,A5のぼかし量を大きくする。詳細には、中央視点から離れるほど、ぼかし量を大きくする。
 なお、発明の理解を容易にするため、多視点画像54が奇数枚である場合を例に説明したが、多視点画像54が偶数枚であっても同様である。即ち、中央側の視点位置の視点画像よりも両端側の視点位置の視点画像のぼかし量を大きくする。
 ぼかし処理は、ガウシアン、移動平均、低周波透過フィルタ等、公知の方法を用いればよく、特に限定されない。
 ステップS6にて、2D動画ファイル作成部34により、視点画像A1~A5を表示部25に視点順に切り替えて平面表示させるための2D動画ファイルを作成する。
 2D動画ファイルのファイル形式は特に限定されず、視点画像A1~A5が順に表示されるように編集されたものであればよい。指示入力部21から設定された表示時間(例えば0.1秒~0.5秒で切り替え)や表示切替方法(フェードイン、フェードアウトの有無など)に従って、2D動画ファイルを作成するようにしてもよい。
 ステップS7にて、表示制御部35により、2D動画ファイルに従って、多視点画像54に含まれる複数の視点画像A1~A6を表示部25に視点順に切り替えて平面表示させる。例えば、A1→A2→A3→A4→A5の正順に表示した後、A5→A4→A3→A2→A1の逆順に表示し、表示停止操作がされるまで、正順および逆順の表示を繰り返す。
 なお、多視点画像の確認を2D動画表示で行うための画像処理として、ぼかし処理を例に説明したが、コントラスト変更、彩度変更、シャープネス変更などの画像処理でもよい。例えば、視差が大きい画素ほど、コントラスト、彩度、または、シャープネスの低下量を大きくする。即ち、視差が大きい画素ほど視認性の低下量を大きくする画像処理を行う。また、中央側の視点位置の視点画像よりも両端側の視点位置の視点画像の低下量を大きくする。
 また、図6に示すように、視差が無い被写体(本例では人)の画素を基準に、手前側の領域の被写体(本例では花)の画素は、奧側の領域の被写体(本例では木)の画素よりも、ぼかし量、コントラスト低下量、彩度低下量、または、シャープネス低下量を大きくする画像処理を行ってもよい。
 <第2実施形態>
 第2実施形態の画像処理部33は、図5のステップS4の画像処理にて、視差マップに基づく被写体像の拡縮処理を行う。図5のステップS1~S3およびS5からS6は、第1実施形態と同じである。以下では、第1実施形態と異なる事項のみ説明する。
 図7に示すように、2視点画像A1,A2に中間視点画像A2~A4を追加して多視点画像A1~A5を生成した場合、画像処理部33は、2視点画像A1,A5から作成された視差マップを参照し、視差が無い画素(本例では人の画素)を基準にして、各視点画像A1~A5内の他の被写体像(例えば花や木)が奧側領域であるか手前側領域であるかを判定し、奧側領域の被写体像(本例では木)は縮小して、手前側領域の被写体像(本例では花)を拡大する画像処理(拡縮処理)を行う。
 本実施形態によれば、3D写真プリントを見た場合に飛び出して見える領域の被写体像が拡大されて、引っ込んで見える領域の被写体像が縮小されるため、2D動画表示での見え方が3D写真プリントでの見え方に近づくことになる。
 <第3実施形態>
 第3実施形態の2D動画ファイル作成部34は、図5のステップS5の2D動画ファイル作成処理にて、視点位置に基づく表示時間の切り替えを行う。図5のステップS1~S4およびS6は、第1実施形態と同じである。以下では、第1実施形態と異なる事項のみ説明する。
 図8に示すように、多視点画像A1~A5が得られた場合、本実施形態の2D動画ファイル作成部34は、多視点画像A1~A5に含まれる視点画像のうち中央の視点位置の視点画像A3の表示時間よりも両端の視点位置の視点画像A1,A5の表示時間を短く設定する。詳細には、中央視点から離れるほど表示時間を短くする。本例では、中央の視点画像A3の表示時間が0.3秒であり、それよりも両端側の視点画像A2およびA4の表示時間が0.2秒であり、両端の視点画像A1、A5の表示時間が0.1秒である。
 なお、発明の理解を容易にするため、多視点画像54が奇数枚である場合を例に説明したが、多視点画像54が偶数枚であっても同様である。即ち、中央側の視点位置の視点画像の表示時間よりも両端側の視点位置の視点画像の表示時間を短くする。
 本実施形態によれば、3D写真プリントを作成した場合にレンチキュラーレンズの屈折が大きくなる両端視点位置の表示時間が中央視点位置の表示時間よりも短く設定されるため、2D動画表示での見え方が3D写真プリントでの見え方に近づくことになる。
 なお、複数の実施形態に分けて説明したが、実施形態同士をどのように組み合わせて実施してもよく、例えば、第2実施形態と第3実施形態とを組み合わせて実施してもよい。
 また、多視点画像に含まれる複数の視点画像を表示部25に視点順に切り替えて順次出力する場合を例に説明したが、出力部は表示部25には特に限定されず、他の出力デバイスを用いてもよい。例えば、通信デバイスによりネットワークに出力するようにしてもよいし、印刷デバイスに出力するようにしてもよい。
 本発明は、本明細書において説明した例や図面に図示された例には限定されず、本発明の要旨を逸脱しない範囲において、各種の設計変更や改良を行ってよいのはもちろんである。
 2…画像処理装置、22…画像取得部、25…表示部、31…視差マップ作成部、32…多視点画像生成部、33…画像処理部、34…2D画像ファイル作成部、35…表示制御部

Claims (11)

  1.  複数視点で被写体を撮像して生成された複数視点画像を取得する画像取得部と、
     前記複数視点画像に基づいて視差の分布を示す視差マップを作成する視差マップ作成部と、
     前記複数視点画像および前記視差マップに基づいて前記複数視点画像の数よりも多い複数の視点画像を含む多視点画像を生成する多視点画像生成部と、
     前記多視点画像および前記視差マップに基づいて前記多視点画像の被写体像に画像処理を行う画像処理部であって、前記視差に応じて前記被写体像への画像処理量を切り替える画像処理部と、
     前記画像処理部により画像処理された前記多視点画像に含まれる前記複数の視点画像を視点順に切り替えて順次出力する出力部と、
     を備えたことを特徴とする画像処理装置。
  2.  前記画像処理部により画像処理された前記多視点画像に含まれる前記複数の視点画像を前記出力部としての表示デバイスに視点順に切り替えて平面表示させる表示制御部を備えたことを特徴とする請求項1に記載の画像処理装置。
  3.  前記画像処理部により画像処理された前記多視点画像に含まれる前記複数の視点画像を前記出力部としての表示デバイスに視点順に切り替えて平面表示させるための動画ファイルを作成する動画ファイル作成部を備えたことを特徴とする請求項1または2に記載の画像処理装置。
  4.  前記画像処理部は、前記多視点画像において視差が大きい画素ほど、ぼかし量を大きくすることを特徴とする請求項1ないし3のうちいずれか1項に記載の画像処理装置。
  5.  前記画像処理部は、前記多視点画像に含まれる複数の視点画像のうち中央側の視点位置の視点画像のぼかし量よりも両端側の視点位置の視点画像のぼかし量を大きくすることを特徴とする請求項4に記載の画像処理装置。
  6.  前記画像処理部は、前記多視点画像において前記視差が大きい画素ほど、彩度、コントラスト、シャープネスのうち少なくともいずれかひとつの低下量を大きくすることを特徴とする請求項1に記載の画像処理装置。
  7.  前記画像処理部は、前記多視点画像に含まれる複数の視点画像のうち中央側の視点位置の視点画像の前記低下量よりも両端側の視点位置の視点画像の前記低下量を大きくすることを特徴とする請求項6に記載の画像処理装置。
  8.  前記画像処理部は、前記視差マップを参照し、視差が無い画素を基準にして、前記各視点画像内の被写体像が奧側領域であるか手前側領域であるかを判定し、奧側領域の被写体像は縮小して、手前側領域の被写体像を拡大する画像処理を行うことを特徴とする請求項1ないし7のうちいずれか1項に記載の画像処理装置。
  9.  前記出力部は、前記多視点画像に含まれる前記複数の視点画像のうち中央側の視点位置の視点画像の出力時間よりも両端側の視点位置の視点画像の出力時間を短くすることを特徴とする請求項1ないし8のうちいずれか1項に記載の画像処理装置。
  10.  複数視点で被写体を撮像して生成された複数視点画像を取得する画像取得工程と、
     前記複数視点画像に基づいて視差の分布を示す視差マップを作成する視差マップ作成工程と、
     前記複数視点画像および前記視差マップに基づいて前記複数視点画像の数よりも多い視点画像を含む多視点画像を生成する多視点画像生成工程と、
     前記多視点画像および前記視差マップに基づいて前記多視点画像の被写体像に画像処理を行う画像処理工程であって、前記視差に応じて前記被写体像への画像処理量を切り替える画像処理工程と、
     前記画像処理工程にて画像処理された前記多視点画像に含まれる前記複数の視点画像を視点順に切り替えて順次出力する出力工程と、
    を備えたことを特徴とする画像処理方法。
  11.  前記画像処理工程にて画像処理された前記多視点画像に含まれる前記複数の視点画像を表示デバイスに視点順に切り替えて平面表示させるための動画ファイルを作成する動画ファイル作成工程を備えたことを特徴とする請求項10に記載の画像処理方法。
PCT/JP2010/070849 2010-03-24 2010-11-24 画像処理装置および画像処理方法 WO2011118084A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2012506769A JP5186614B2 (ja) 2010-03-24 2010-11-24 画像処理装置および画像処理方法
CN201080065705.1A CN102812712B (zh) 2010-03-24 2010-11-24 图像处理设备和图像处理方法
US13/636,601 US8749660B2 (en) 2010-03-24 2010-11-24 Image recording apparatus and image processing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010068237 2010-03-24
JP2010-068237 2010-03-24

Publications (1)

Publication Number Publication Date
WO2011118084A1 true WO2011118084A1 (ja) 2011-09-29

Family

ID=44672668

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/070849 WO2011118084A1 (ja) 2010-03-24 2010-11-24 画像処理装置および画像処理方法

Country Status (4)

Country Link
US (1) US8749660B2 (ja)
JP (2) JP5186614B2 (ja)
CN (1) CN102812712B (ja)
WO (1) WO2011118084A1 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013126243A (ja) * 2011-12-16 2013-06-24 Canon Inc 画像処理装置、画像処理方法、撮像装置および表示装置
CN103686124A (zh) * 2012-09-26 2014-03-26 三星电子株式会社 用于处理多视点图像的设备和方法
JP2014150506A (ja) * 2013-02-04 2014-08-21 Canon Inc 撮像装置およびその制御方法
JP2015033016A (ja) * 2013-08-02 2015-02-16 セイコーエプソン株式会社 三次元画像表示用のプログラム及び印刷装置
JP2016184922A (ja) * 2016-04-06 2016-10-20 キヤノン株式会社 画像処理装置、画像処理方法、撮像装置および表示装置
JP2017135543A (ja) * 2016-01-27 2017-08-03 エフ・エーシステムエンジニアリング株式会社 2次元映像の立体映像化表示装置
JP2018101982A (ja) * 2015-03-10 2018-06-28 キヤノン株式会社 画像処理装置
JPWO2018163843A1 (ja) * 2017-03-08 2020-01-09 ソニー株式会社 撮像装置、および撮像方法、並びに画像処理装置、および画像処理方法

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5412692B2 (ja) * 2011-10-04 2014-02-12 株式会社モルフォ 画像処理装置、画像処理方法、画像処理プログラム及び記録媒体
US20150033157A1 (en) * 2013-07-25 2015-01-29 Mediatek Inc. 3d displaying apparatus and the method thereof
WO2016143913A1 (en) * 2015-03-10 2016-09-15 Canon Kabushiki Kaisha Image processing method, image processing device, and image pickup apparatus
WO2016175046A1 (ja) * 2015-04-28 2016-11-03 ソニー株式会社 画像処理装置及び画像処理方法
CN105072342B (zh) * 2015-08-12 2018-01-12 珠海全志科技股份有限公司 图像合成装置及方法
US9762893B2 (en) * 2015-12-07 2017-09-12 Google Inc. Systems and methods for multiscopic noise reduction and high-dynamic range
US11516374B2 (en) * 2019-06-05 2022-11-29 Synaptics Incorporated Under-display image sensor
US11153513B2 (en) 2019-08-19 2021-10-19 Synaptics Incorporated Light source for camera
US11076080B2 (en) 2019-12-05 2021-07-27 Synaptics Incorporated Under-display image sensor for eye tracking

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61144192A (ja) * 1984-12-17 1986-07-01 Nippon Hoso Kyokai <Nhk> 立体テレビジヨン画像表示装置
JPH01279696A (ja) * 1988-04-30 1989-11-09 Nec Home Electron Ltd 表示装置
JP2001346226A (ja) * 2000-06-02 2001-12-14 Canon Inc 画像処理装置、立体写真プリントシステム、画像処理方法、立体写真プリント方法、及び処理プログラムを記録した媒体
JP2007110360A (ja) * 2005-10-13 2007-04-26 Ntt Comware Corp 立体画像処理装置およびプログラム
JP2008167064A (ja) * 2006-12-27 2008-07-17 Fujifilm Corp 画像生成装置及び画像再生装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3276931B2 (ja) * 1996-08-07 2002-04-22 三洋電機株式会社 3次元映像の立体感調整方法及び立体感調整装置
JP4320271B2 (ja) 2003-11-28 2009-08-26 博文 伊藤 立体画像表示方法
FR2917845B1 (fr) * 2007-06-19 2011-08-19 Christophe Brossier Procede de visualisation d'une sequence d'images produisant une sensation de relief
WO2009149413A1 (en) * 2008-06-06 2009-12-10 Real D Blur enhancement of stereoscopic images

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61144192A (ja) * 1984-12-17 1986-07-01 Nippon Hoso Kyokai <Nhk> 立体テレビジヨン画像表示装置
JPH01279696A (ja) * 1988-04-30 1989-11-09 Nec Home Electron Ltd 表示装置
JP2001346226A (ja) * 2000-06-02 2001-12-14 Canon Inc 画像処理装置、立体写真プリントシステム、画像処理方法、立体写真プリント方法、及び処理プログラムを記録した媒体
JP2007110360A (ja) * 2005-10-13 2007-04-26 Ntt Comware Corp 立体画像処理装置およびプログラム
JP2008167064A (ja) * 2006-12-27 2008-07-17 Fujifilm Corp 画像生成装置及び画像再生装置

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013126243A (ja) * 2011-12-16 2013-06-24 Canon Inc 画像処理装置、画像処理方法、撮像装置および表示装置
CN103686124A (zh) * 2012-09-26 2014-03-26 三星电子株式会社 用于处理多视点图像的设备和方法
JP2014150506A (ja) * 2013-02-04 2014-08-21 Canon Inc 撮像装置およびその制御方法
JP2015033016A (ja) * 2013-08-02 2015-02-16 セイコーエプソン株式会社 三次元画像表示用のプログラム及び印刷装置
JP2018101982A (ja) * 2015-03-10 2018-06-28 キヤノン株式会社 画像処理装置
JP2017135543A (ja) * 2016-01-27 2017-08-03 エフ・エーシステムエンジニアリング株式会社 2次元映像の立体映像化表示装置
JP2016184922A (ja) * 2016-04-06 2016-10-20 キヤノン株式会社 画像処理装置、画像処理方法、撮像装置および表示装置
JPWO2018163843A1 (ja) * 2017-03-08 2020-01-09 ソニー株式会社 撮像装置、および撮像方法、並びに画像処理装置、および画像処理方法
JP7136080B2 (ja) 2017-03-08 2022-09-13 ソニーグループ株式会社 撮像装置、および撮像方法、並びに画像処理装置、および画像処理方法

Also Published As

Publication number Publication date
US20130016256A1 (en) 2013-01-17
JP2013138442A (ja) 2013-07-11
CN102812712A (zh) 2012-12-05
JP5186614B2 (ja) 2013-04-17
US8749660B2 (en) 2014-06-10
JPWO2011118084A1 (ja) 2013-07-04
JP5426785B2 (ja) 2014-02-26
CN102812712B (zh) 2015-04-08

Similar Documents

Publication Publication Date Title
JP5186614B2 (ja) 画像処理装置および画像処理方法
US7983477B2 (en) Method and apparatus for generating a stereoscopic image
JP4835659B2 (ja) 集積映像背景を有する2次元−3次元兼用ディスプレイ方法及び装置
JP6021541B2 (ja) 画像処理装置及び方法
JP3944188B2 (ja) 立体画像表示方法、立体画像撮像方法及び立体画像表示装置
EP2340649B1 (en) Three-dimensional display device and method as well as program
JP5450330B2 (ja) 画像処理装置および方法、ならびに立体画像表示装置
US9338426B2 (en) Three-dimensional image processing apparatus, three-dimensional imaging apparatus, and three-dimensional image processing method
JP2011176800A (ja) 画像処理装置、立体表示装置及び画像処理方法
JP5695395B2 (ja) 立体画像生成方法及びその装置
JP2011211551A (ja) 画像処理装置および画像処理方法
JP6113411B2 (ja) 画像処理装置
JP2011176822A (ja) 画像処理装置、立体表示装置及び画像処理方法
JP5492311B2 (ja) 視点画像生成装置、視点画像生成方法及び立体画像印画装置
JP2007288229A (ja) 画像撮影装置
JP2013242378A (ja) 撮像装置、表示方法、およびプログラム
KR100939080B1 (ko) 합성 영상 생성 방법 및 장치, 합성 영상을 이용한 디스플레이 방법 및 장치
JP2015046695A (ja) 画像処理装置、画像処理方法及びプログラム
JP5243562B2 (ja) 画像処理装置および方法並びにプログラム
WO2012108405A1 (ja) 立体画像印画装置及び立体画像印画方法
JP2007078851A (ja) 3d空間を感じせしめるカメラ位置の撮影位置設定方式及び結果画像の自動生成システム

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201080065705.1

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10848476

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2012506769

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 13636601

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 10848476

Country of ref document: EP

Kind code of ref document: A1