JP5699609B2 - Image processing apparatus and image processing method - Google Patents

Image processing apparatus and image processing method Download PDF

Info

Publication number
JP5699609B2
JP5699609B2 JP2011001401A JP2011001401A JP5699609B2 JP 5699609 B2 JP5699609 B2 JP 5699609B2 JP 2011001401 A JP2011001401 A JP 2011001401A JP 2011001401 A JP2011001401 A JP 2011001401A JP 5699609 B2 JP5699609 B2 JP 5699609B2
Authority
JP
Japan
Prior art keywords
image
viewpoint
image processing
viewpoint images
synthesis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2011001401A
Other languages
Japanese (ja)
Other versions
JP2012147046A (en
JP2012147046A5 (en
Inventor
真一郎 田尻
真一郎 田尻
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to JP2011001401A priority Critical patent/JP5699609B2/en
Publication of JP2012147046A publication Critical patent/JP2012147046A/en
Publication of JP2012147046A5 publication Critical patent/JP2012147046A5/en
Application granted granted Critical
Publication of JP5699609B2 publication Critical patent/JP5699609B2/en
Application status is Expired - Fee Related legal-status Critical
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/282Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/111Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/128Adjusting depth or disparity
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/144Processing image signals for flicker reduction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/207Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/218Image signal generators using stereoscopic image cameras using a single 2D image sensor using spatial multiplexing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/207Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/232Image signal generators using stereoscopic image cameras using a single 2D image sensor using fly-eye lenses, e.g. arrangements of circular lenses
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, TV cameras, video cameras, camcorders, webcams, camera modules for embedding in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/225Television cameras ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, camcorders, webcams, camera modules specially adapted for being embedded in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/2251Constructional details
    • H04N5/2254Mounting of optical parts, e.g. lenses, shutters, filters or optical parts peculiar to the presence or use of an electronic image sensor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, TV cameras, video cameras, camcorders, webcams, camera modules for embedding in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/225Television cameras ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, camcorders, webcams, camera modules specially adapted for being embedded in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/2259Means for changing the camera field of view without moving the camera body, e.g. nutating or panning optics or image-sensors

Description

本発明は、 立体映像表示等に用いられる視点画像を生成する画像処置装置および画像処理方法に関する。 The present invention relates to an image treatment apparatus and an image processing method for generating a viewpoint image used for three-dimensional image display or the like.

従来、様々な撮像装置が提案され、開発されている(特許文献1〜4,非特許文献1)。 Conventionally been proposed various image pickup apparatuses have been developed (Patent Documents 1 to 4, Non-Patent Document 1). また、撮像データに対し、所定の画像処理を施して出力するようにした撮像装置も提案されている。 Further, with respect to the imaging data, there has been proposed an imaging apparatus that outputs by performing predetermined image processing. 例えば、特許文献1および非特許文献1には、「Light Field Photography」と呼ばれる手法を用いた撮像装置が提案されている。 For example, Patent Document 1 and Non-Patent Document 1, an image pickup apparatus using a technique called "Light Field Photography" is proposed. この撮像装置は、撮像レンズの焦点面にレンズアレイを配置し、更にこのレンズアレイの焦点面にイメージセンサを設けたものである。 The imaging device is a lens array placed in the focal plane of the imaging lens is further that provided an image sensor in the focal plane of the lens array. これにより、レンズアレイ上に結像する被写体の映像を、イメージセンサにおいて、各視点方向の光線に分割しつつ受光し、同時刻に多視点の画像を取得することができる。 Thus, an image of a subject to be imaged onto the lens array, the image sensor, receives while divided into rays of the view direction, it is possible to obtain an image of the multi-view at the same time.

国際公開第06/039486号パンフレット International Publication No. 06/039486 pamphlet 特公平5−76234号公報 Kokoku 5-76234 Patent Publication No. 特公平7−8055号公報 Kokoku 7-8055 Patent Publication No. 特許第3182009号公報 Patent No. 3182009 Publication

上記のような撮像装置では、レンズアレイにおける1つのレンズに、イメージセンサ上の複数の画素が割り当てられ(各レンズの縦横の寸法がそれぞれ、画素ピッチの整数倍に等しく)、そのレンズに割り当てられた画素数分の視点画像を取得可能である。 In the imaging apparatus as described above, the one lens of the lens array, a plurality of pixels are allocated on the image sensor (height and width of each lens respectively, equal to an integer multiple of the pixel pitch), assigned to the lens You can acquire several minutes viewpoint images pixels. 例えば、1つのレンズが3×3の画素に割り当てられている(レンズの縦横の寸法がそれぞれ3画素分のピッチに等しい)場合には、縦方向および横方向にそれぞれ3視点の画像(合計9視点分の画像)を取得することができる。 For example, if one lens is assigned to pixels of 3 × 3 (vertical and horizontal dimensions of the lens is equal to the pitch of each 3 pixels), the vertical direction and respectively in the transverse direction 3 viewpoint picture (total 9 it is possible to acquire an image) of the perspectives. このようにして取得された視点画像のうち例えば左右2つの視点画像を所定のディスプレイを用いて表示することにより、例えば立体映像表示を実現できる。 By displaying in this way, for example, two left and right viewpoint images among the acquired viewpoint images by using a predetermined display can be realized, for example, a stereoscopic image display.

ところが、立体映像表示の際には、表示する映像によっては、左右の視点画像間における視差量が大きくなり過ぎて、人間の立体知覚限界を超えてしまうことがある。 However, when the stereoscopic image display, depending on the video to be displayed, it is possible to parallax amount is too large between left and right viewpoint images, exceed the human stereo perception limit. このように知覚限界を超えてしまうと、2つの視点画像が2重像となって認識される。 With such exceeds perceptual limit, the two view image is recognized a double image. この場合、そのような映像を見続けると眼精疲労等を引き起こす虞があるため、このような視差過大による視認性への影響を軽減する手法の実現が望まれている。 In this case, since there is a possibility of causing such Staring at the image eyestrain or the like, realization of a technique for reducing the effect of the visibility due to such disparity excessive is desired.

ちなみに、特許文献2では、撮影画像毎に絞り条件を変えて撮影を行うことで、ぼけをつくり(輪郭をぼかし)、上記2重象による影響を緩和する手法が提案されている。 Incidentally, in Patent Document 2, by performing the photographing under different conditions aperture for each captured image, creating a blur (blur outline) technique to mitigate the effects of the double elephants it has been proposed. しかしながら、この手法では、絞り条件が画像毎に異なるために、動画に対応しにくい。 However, in this method, in order to stop conditions are different for each image, hardly compatible with moving picture. また、特許文献3には、立体映像のデフォーカスした被写体画像の画質を低下させることが記載され、特許文献4の手法では、注目画素の周辺の画素の平均を取る処理を行うことによりぼけを形成している。 Further, Patent Document 3, it is described that reduce the quality of defocused object image of a stereoscopic image, in the patent document 4 approach, the blur by performing the processing of taking the average of pixels around the pixel of interest It is formed.

本発明はかかる問題点に鑑みてなされたもので、その目的は、立体映像表示の際に良好な視認性をもたらす視点画像を生成可能な画像処理装置および画像処理方法を提供することにある。 The present invention has been made in view of the above problems, its object is to provide a good product image processing apparatus capable viewpoint images provide visibility and image processing method in the stereoscopic image display.

本発明の画像処理装置は、 単一の撮像レンズと撮像レンズの結像面に配置されたレンズアレイとの通過光線に基づいて取得された撮像データに基づいて複数の視点画像を生成する視点画像生成部と、視点画像生成部により生成された複数の視点画像を、 撮像データに基づいて得られる視差情報または奥行き情報を用いて重み付けをしつつ合成する画像合成処理部とを備えたものである。 The image processing apparatus of the present invention, the viewpoint to generate a plurality of viewpoint images based on the imaging data obtained on the basis of the passage rays between the lens array disposed on the image plane of a single imaging lens and the imaging lens image a generating unit, a plurality of viewpoint images generated by the viewpoint image generation unit, in which an image synthesis processing unit to synthesize while weighting using the disparity information or depth information obtained based on the imaging data .

本発明の画像処理装置では、 単一の撮像レンズとその結像面に配置されたレンズアレイとの通過光線に基づいて取得された撮像データに基づいて複数の視点画像を生成し、これら複数の視点画像を撮像データに基づいて得られる視差情報または奥行き情報を用いて重みづけをしつつ合成する。 In the image processing apparatus of the present invention generates a plurality of viewpoint images based on the imaging data obtained on the basis of the passage rays between the lens arrays arranged in a single imaging lens and its image plane, a plurality of these synthesized while weighting using the disparity information or depth information obtained on the basis of the viewpoint image on the imaging data. 合成後の視点画像では、被写体の画像の位置がシフトすると共に、よりデフォーカスしたような(輪郭がぼけたような)画像となる。 The viewpoint images after the synthesis, together with the position of the image of the subject is shifted, it becomes more defocused like (such as contours blurred) images.

本発明の画像処理方法は、 単一の撮像レンズとその結像面に配置されたレンズアレイとの通過光線に基づいて取得された撮像データに基づいて複数の視点画像を生成し、生成された複数の視点画像を、 撮像データに基づいて得られる視差情報または奥行き情報を用いて重み付けをしつつ合成するものである。 The image processing method of the present invention generates a plurality of viewpoint images based on the imaging data obtained on the basis of the passage rays between the lens arrays arranged in a single imaging lens and its image plane, it is generated a plurality of viewpoint images, is to synthesize while weighting using the disparity information or depth information obtained based on the imaging data.

本発明の画像処理装置によれば、 単一の撮像レンズとその結像面に配置されたレンズアレイとの通過光線に基づいて取得された撮像データに基づいて複数の視点画像を生成し、生成された複数の視点画像を、 撮像データに基づいて得られる視差情報または奥行き情報を用いて重み付けをしつつ合成する。 According to the image processing apparatus of the present invention, to generate a plurality of viewpoint images based on the imaging data obtained on the basis of the passage ray single imaging lens and a lens array disposed on the imaging plane, produces a plurality of viewpoint images, synthesizes while weighting using the disparity information or depth information obtained based on the imaging data. これにより、ある視点画像の位置をシフトしつつ、その輪郭をぼかすことができる。 Thus, while shifting the position of a viewpoint image, it is possible to blur the contours. そのため、例えば左右2つの(合成後の)視点画像を用いて立体映像表示を行った場合、これらの視点画像における視差量抑制とぼけによる効果によって、人間の知覚限界を超えるような過大視差を軽減し、眼精疲労等を緩和することができる。 Therefore, for example, when the display stereoscopic images using the two left and right viewpoint images (after synthesis), the effect of the parallax amount suppression and blurring in these viewpoint images, reduce excessive parallax that exceeds the human perception limit , it is possible to alleviate the eye strain and the like. 即ち、立体映像表示の際に良好な視認性をもたらす視点画像を取得可能となる。 That is, the viewpoint images to provide good visibility in the stereoscopic image display can be obtained.

本発明の画像処理方法によれば、 視差情報または奥行き情報を含む撮像データに基づいて複数の視点画像を生成し、 生成された複数の視点画像を、 視差情報または奥行き情報に基づいて重み付けをしつつ合成する。 According to the image processing method of the present invention, based on the imaging data including disparity information or depth information to generate a plurality of viewpoint images, a plurality of viewpoint images generated, weighted on the basis of the disparity information or depth information while the synthesis. これにより、例えば左右2つの(合成後の)視点画像を用いて立体映像表示を行った場合、これらの視点画像における視差量抑制とぼけによる効果によって、人間の知覚限界を超えるような過大視差を軽減し、眼精疲労等を緩和することができる。 Thus, for example, when the display stereoscopic images using the two left and right viewpoint images (after synthesis), reduced by the effect of parallax amount suppression and blurring in these viewpoint images, the excessive parallax that exceeds the human perception limit and, it is possible to alleviate the eye strain and the like. 即ち、立体映像表示の際に良好な視認性をもたらす視点画像を取得可能となる。 That is, the viewpoint images to provide good visibility in the stereoscopic image display can be obtained.

本発明の一実施の形態に係る撮像装置の全体構成を表す図である。 Is a diagram illustrating the overall configuration of an imaging apparatus according to an embodiment of the present invention. レンズアレイとイメージセンサの配置関係を表す模式図である。 It is a schematic diagram showing the arrangement of a lens array and an image sensor. 図1に示した画像処理部における詳細構成を表す機能ブロック図である。 It is a functional block diagram illustrating a detailed configuration of an image processing section illustrated in FIG. 視点方向毎の光線分割について説明するための模式図である。 It is a schematic diagram for explaining beam splitting in each viewing direction. 図1に示した撮像装置により取得される撮像データの模式図である。 It is a schematic view of an imaging data acquired by the imaging apparatus shown in FIG. 図5に示した撮像データから得られる各視点画像データの模式図である。 It is a schematic diagram of each viewpoint image data obtained from the imaging data shown in FIG. 図6に示した視点画像データに対応する視点画像の一例を表す模式図である。 Is a schematic view illustrating an example of a viewpoint image corresponding to the viewpoint image data shown in FIG. 視点画像間の視差量について説明するための模式図である。 It is a schematic diagram for explaining a parallax amount between viewpoint images. 画像合成処理動作について説明するための模式図である。 It is a schematic diagram for explaining the image synthesis processing operation. 比較例1に係る視点画像に対して合成処理を行った場合の見え方について説明するための模式図である。 When performing the combining processing to the viewpoint images according to Comparative Example 1 is a schematic view for explaining a visibility of. 実施の形態に係る視点画像に対して合成処理を行った場合の見え方について説明するための模式図である。 It is a schematic diagram for explaining a appearance in the case of performing combining processing to the viewpoint images according to the embodiment. 実施の形態に係る視点画像に対して比率を変えて合成処理を行った場合の見え方について説明するための模式図である。 It is a schematic view for describing the appearance of the case of performing the synthesis process by changing the ratio to the viewpoint images according to the embodiment. 変形例1に係る画像処理部の詳細構成を表す機能ブロック図である。 It is a functional block diagram illustrating a detailed configuration of an image processing unit according to the first modification. 図13に示した画像処理部による画像合成処理動作を説明するための模式図である。 It is a schematic diagram for explaining the image synthesis processing operation by the image processing unit shown in FIG. 13.

以下、本発明の実施の形態について、図面を参照して詳細に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. 尚、説明は以下の順序で行う。 The description will be made in the following order.
1. 1. 実施の形態(視点画像の合成処理を画像面一括で行う場合の例) Embodiment (example in the case of performing the composition processing of the viewpoint images at image plane batch)
2. 2. 変形例(奥行き情報に応じて、合成処理を画像面内の選択的な領域毎に行う場合の例) Modification (example in which in accordance with the depth information, performs composition processing for each selective region in the image plane)

<実施の形態> <Embodiment>
[全体構成] [overall structure]
図1は、本発明の一実施の形態に係る撮像装置(撮像装置1)の全体構成を表すものである。 Figure 1 shows the overall configuration of an imaging apparatus according to an embodiment of the present invention (imaging apparatus 1). 撮像装置1は、1つの撮像レンズを用いて撮影を行う、いわゆる単眼方式のカメラであり、被写体2を撮像して所定の画像処理を施すことにより、視点画像としての画像データDoutを出力するものである。 Imaging apparatus 1 performs imaging by using a single image pickup lens, a camera of the so-called monocular type, by by imaging an object 2 performs predetermined image processing, and outputs the image data Dout as viewpoint images it is. この撮像装置1は、撮像レンズ11と、レンズアレイ12と、イメージセンサ13と、画像処理部14と、イメージセンサ駆動部15と、制御部16とを備える。 The imaging apparatus 1 includes an imaging lens 11, a lens array 12, an image sensor 13, an image processing unit 14, an image sensor driver 15, and a control unit 16. 尚、以下では、光軸をZとし、光軸Zに直交する面内において、水平方向(横方向)をX、垂直方向(縦方向)をYとする。 In the following, the optical axis is Z, in a plane perpendicular to the optical axis Z, the horizontal direction (lateral direction) X, a vertical direction (longitudinal direction) and Y. 尚、本実施の形態の画像処理部14あるいは撮像装置1が、本発明の画像処理装置の一具体例に相当する。 The image processing unit 14 or the image pickup apparatus 1 of the present embodiment corresponds to a specific example of the image processing apparatus of the present invention. また、本発明の画像処理方法は、画像処理部14の構成および動作によって具現化されるものであるため、その説明を省略する。 In the image processing method of the present invention, because it is intended to be embodied by the configuration and operation of the image processing unit 14, description thereof is omitted.

撮像レンズ11は、被写体2を撮像するためのメインレンズであり、例えば、ビデオカメラやスチルカメラ等で使用される一般的な撮像レンズにより構成されている。 The image pickup lens 11 is a main lens for picking up an image of an object 2, for example, a typical image pickup lens used in a video camera, a still camera or the like. この撮像レンズ11の光入射側(または光出射側)には、開口絞り10が配設されている。 The light incident side of the imaging lens 11 (or light emitting side), the aperture stop 10 is disposed.

レンズアレイ12は、撮像レンズ11の焦点面(結像面)に配置され、例えばガラスなどの基板上に複数のレンズ(マイクロレンズ)12aがX方向およびY方向に沿って2次元配置されたものである。 Lens array 12 is disposed at the focal plane of the imaging lens 11 (imaging plane), for example, a plurality of lenses on a substrate such as a glass (micro lens) which 12a are arranged two-dimensionally along the X and Y directions it is. これら複数のレンズ12aは、フォトレジスト等の樹脂材料よりなり、ガラスやプラスチック等よりなる基板上に、例えばレジストリフロー法やナノインプリント法を用いて、形成されたものである。 The plurality of lenses 12a is made of a resin material such as a photoresist, on a substrate made of glass or plastic, such as those using the reflow method or a nanoimprint method, it was formed. あるいは、基板表面にエッチング処理を施して形成されたものであってもよい。 Alternatively, or it may be formed by etching the substrate surface. このレンズアレイ12の焦点面には、イメージセンサ13が配設されている。 The focal plane of the lens array 12, the image sensor 13 is disposed.

イメージセンサ13は、レンズアレイ12を通過した光線を受光して撮像データD0を取得するものである。 The image sensor 13 is to obtain image pickup data D0 by receiving light passing through the lens array 12. このイメージセンサ13は、複数の画素がマトリクス状に(X方向およびY方向に沿って)配置したものであり、CCD(Charge Coupled Device:電荷結合素子)またはCMOS(Complementary Metal-Oxide Semiconductor)などの固体撮像素子により構成されている。 The image sensor 13 is for a plurality of pixels (along the X and Y directions) in a matrix arranged, CCD (Charge Coupled Device: charge-coupled device) or CMOS (Complementary Metal-Oxide Semiconductor), such as It is constituted by a solid-state imaging device.

図2は、レンズアレイ12とイメージセンサ13の配置構成について模式的に表したものである。 Figure 2 is a representation schematically showing the arrangement of the lens array 12 and the image sensor 13. レンズアレイ12およびイメージセンサ13は、光軸Zに沿って所定の間隔(レンズアレイ12の焦点距離分)をあけて、1つのレンズ12aに、イメージセンサ13におけるm×nの画素領域Uが割り当てられるように配置されている。 Lens array 12 and the image sensor 13, at predetermined intervals (the focal length worth of the lens array 12) along the optical axis Z, the one lens 12a, the pixel region U m × n in the image sensor 13 is assigned It is arranged to be. レンズ12aのXY平面形状は、例えばm×nの画素領域Uに等しい方形状である。 XY planar shape of the lens 12a is a rectangular shape equal to the pixel area U, for example m × n. 尚、m,nは1以上の整数であり、m×nの値が大きくなるに従って、即ち1つのマイクロレンズに割り当てられる画素の数が多くなるに従って、視点画像数(視点数)が多くなる。 Incidentally, m, n is an integer of 1 or more, according to the value of m × n is large, i.e., in accordance with the number of pixels allocated to one microlens increases, the viewpoint image number (the number of viewpoints) increases. 一方、レンズへの割り当て画素数が少なくなる(m×nの値が小さくなる)に従って、各視点画像における画素数(解像度)が高くなる。 On the other hand, as the number of allocated pixels of the lens becomes less (the value of m × n is small), the number of pixels in each viewpoint image (resolution) is high. このように、視点画像における視点数と解像度とはトレードオフの関係となっている。 Thus, it has become a trade-off relationship between the viewpoint numbers and resolution in the viewpoint image. 以下では、1つのレンズ12aに3×3(m=n=3)の画素領域Uが割り当てられている場合を例に挙げて説明する。 Hereinafter will be described with a case where the pixel region U 3 × 3 (m = n = 3) is assigned to one lens 12a as an example.

イメージセンサ13の受光面上には、図示しないカラーフィルタが設けられていてもよい。 On the light receiving surface of the image sensor 13, a color filter may be provided (not shown). カラーフィルタとしては、例えば、赤(R:Red)、緑(G:Green)および青(B:Blue)の各色のフィルタが例えば1:2:1の比率で配列(ベイヤー配列)してなるものを用いることができる。 The color filter, for example, red (R: Red), green (G: Green), and blue (B: Blue) colors of the filter, for example, 1: 2: 1 of the sequence in a ratio (Bayer) was formed by those it can be used.

画像処理部14は、イメージセンサ13において取得された撮像データD0に対して所定の画像処理を施し、例えば視点画像としての画像データDoutを出力するものである。 The image processing section 14 performs predetermined image processing on the image pickup data D0 obtained in the image sensor 13, and outputs the image data Dout as e.g. viewpoint images.
図3に、画像処理部14の詳細構成について示す。 Figure 3 shows a detailed configuration of the image processing unit 14. 画像処理部14は、例えば、 視点画像生成部140、画像合成処理部141および画像補正処理部142を有している。 The image processing unit 14 has, for example, the viewpoint image generating unit 140, an image synthesis processing unit 141 and the image correction processing unit 142. この画像処理部14の具体的な画像処理動作については後述する。 The specific image processing operation in the image processing unit 14 will be described later.

イメージセンサ駆動部15は、イメージセンサ13を駆動してその露光や読み出しの制御を行うものである。 The image sensor driving unit 15 is configured to drive the image sensor 13 performs the control of the exposure and reading.

制御部16は、画像処理部14およびイメージセンサ駆動部15の動作を制御するものであり、例えばマイクロコンピュータなどにより構成されている。 Control unit 16 is for controlling the operation of the image processing unit 14 and the image sensor driving unit 15, for example, is constituted by a microcomputer.

[作用、効果] [Action, effect]
(1.撮像データの取得) (1. acquisition of imaging data)
撮像装置1では、撮像レンズ11およびイメージセンサ13間の所定の位置にレンズアレイ12が設けられていることにより、イメージセンサ13において、被写体2からの光線は、その強度分布に加え進行方向(視点方向)についての情報が保持された光線ベクトルとして記録される。 In the imaging apparatus 1, by the lens array 12 is provided at a predetermined position between the imaging lens 11 and the image sensor 13, the image sensor 13, light from the object 2, the traveling direction (viewpoint addition to its intensity distribution information about the direction) is recorded as a light vector retained. 即ち、レンズアレイ12を通過した光線は、視点方向毎に分割され、イメージセンサ13の異なる画素において受光される。 That is, light passing through the lens array 12 is divided for each view direction, it received at the different pixels of the image sensor 13. 例えば、図4に示したように、レンズ12aの通過光線のうち、ある視点方向(第1視点)からの光線(光束)LAは画素「A」、それとは異なる視点方向(第2,3視点)からの光線LB,LCは、画素「B」「C」において、それぞれ受光される。 For example, as shown in FIG. 4, of the passage ray lens 12a, light (light flux) LA pixel "A" from a certain viewpoint direction (first viewpoint), different viewpoint direction (second and third viewpoint from that beam LB from), LC, at the pixel "B", "C", are respectively received. このように、レンズ12aに割り当てられた画素領域Uでは、互いに異なる視点方向からの光線が、互いに異なる画素において受光される。 Thus, in the pixel region U allocated to the lens 12a, the light rays from different viewing directions from each other, are received in different pixels from each other. イメージセンサ13では、イメージセンサ駆動部15による駆動動作に応じて、例えばライン順次に読み出しが行われ、撮像データD0が取得される。 In the image sensor 13, in response to the driving operation by the image sensor driving unit 15, for example, reading is performed sequentially line, image pickup data D0 is obtained.

図5に、撮像データD0における画素データ配列について模式的に示す。 Figure 5 schematically illustrates a pixel data array in the image pickup data D0. 本実施の形態のように、1つのレンズ12aに3×3の画素領域Uが割り当てられている場合、イメージセンサ13では、その画素領域U毎に、計9つの視点方向からの光線が受光され、3×3のA〜Iの画素データが取得される。 As in this embodiment, when the pixel region U 3 × 3 to one lens 12a is assigned, the image sensor 13, the each pixel region U, light rays from a total of nine viewpoints direction is received , a to I of the pixel data of 3 × 3 is obtained. 尚、図5では、簡便化のため、イメージセンサ13の9×9の画素領域(9つの画素領域U)から得られる撮像データについて示している。 In FIG. 5, for simplicity, it shows the imaging data obtained from the pixel area of ​​9 × 9 of the image sensor 13 (nine pixel areas U). また、イメージセンサ13の受光面側に、カラーフィルタが配置されている場合には、撮像データD0は、このカラーフィルタの色配列に対応したカラーデータとして記録される。 Further, the light receiving surface side of the image sensor 13, when a color filter is disposed, the image pickup data D0 is recorded as the color data corresponding to the color arrangement of the color filter. 上記のようにして得られた撮像データD0は、画像処理部14へ出力される。 Image pickup data D0 obtained as described above is output to the image processing unit 14.

(2.視点画像生成) (2. viewpoint image generation)
画像処理部14は、図3に示したように、視点画像生成部140、画像合成処理部141および画像補正処理部142を有し、イメージセンサ13から出力された撮像データD0に基づいて撮像データD0に基づいて、所定の画像処理を行い、視点画像としての画像データDoutを出力する。 The image processing unit 14, as shown in FIG. 3, the viewpoint image generation unit 140 includes an image synthesis processing unit 141 and the image correction processing unit 142, the imaging data based on the image pickup data D0 outputted from the image sensor 13 based on D0, it performs predetermined image processing, and outputs the image data Dout as a viewpoint image.

具体的には、まず、視点画像生成部140が、撮像データD0に基づいて複数の視点画像を生成する処理を行う。 Specifically, first, the viewpoint image generating unit 140 performs a process of generating a plurality of viewpoint images based on the imaging data D0. 即ち、図5に示した撮像データD0に対し、同一の視点方向の画素データ(画素領域U間において互いに同一の位置にある画素から抽出される画素データ)同士を合成する。 That is, for the image pickup data D0 shown in FIG. 5, is synthesized with each other (pixel data extracted from pixels located at the same position to each other between the pixel regions U) the same view direction pixel data. 例えば、撮像データD0の中から全ての画素データ「A」を抽出してこれらを合成する(図6(A))。 For example, by extracting the "A" all the pixel data from the image pickup data D0 synthesizing these (Fig. 6 (A)). 他の画素データ「B」〜「I」についても同様の処理を行う(図6(B)〜(I))。 The same processing is performed for another pixel data "B" - "I" (FIG. 6 (B) - (I)). このようにして、視点画像生成部140は、撮像データD0に基づいて、複数の視点画像(ここでは、第1〜9視点の計9つの視点画像)を生成する。 In this way, the viewpoint image generation unit 140, based on the imaging data D0, (in this case, a total of nine viewpoint images of the ninth viewpoint) plurality of viewpoint images to generate. これらの視点画像は、視点画像データD1として、画像合成処理部141へ出力される。 These viewpoint images, as the viewpoint image data D1, and output to the image synthesis processing unit 141.

(3.画像合成処理) (3. image synthesis processing)
画像合成処理部141は、入力された視点画像データD1における複数の視点画像に対し、以下に説明するような画像合成処理を施す。 Image synthesis processing unit 141, the plurality of viewpoint images at the viewpoint image data D1 inputted, performs image synthesis processing as described below.

図7(A)〜(I)に示した視点画像R1〜R9は、図6(A)〜(I)のデータ配列に対応する視点画像の一具体例である。 Viewpoint image R1~R9 shown in FIG. 7 (A) ~ (I) is a specific example of a corresponding viewpoint image data array of FIG. 6 (A) ~ (I). ここでは、被写体2の画像として、奥行き方向において互いに異なる位置に配置された3つの被写体「人」,「山」,「花」の画像Ra,Rb,Rcを例に挙げて説明する。 Here, as the image of the object 2, the three subjects "human", which are arranged at different positions in the depth direction, will be described as an image Ra, Rb, and Rc example of "mountain", "flower". 視点画像R1〜R9は、上記3つの被写体のうち「人」に撮像レンズの焦点が合うようにして撮影されたものであり、「人」よりも奥にある「山」の画像Rbと、「人」よりも手前にある「花」の画像Rcとについてはデフォーカスした画像となっている。 Viewpoint image R1~R9 has been taken as the focal point of the imaging lens fits "person" among the three subjects, and the image Rb of the "mountain" on the back than "person", " there in front of the people "for the image Rc of the" flower "has become a defocused image. このような視点画像R1〜R9は、1つの撮像レンズを用いた単眼方式のカメラで撮影したものであるので、フォーカス面(焦点面)にある「人」の画像Raは、視点が変わってもシフトしないが、デフォーカスした画像Rb,Rcは、視点毎に互いに異なる位置にシフトする。 Such viewpoint image R1~R9 because one imaging lens is obtained by photographing by the camera of the monocular type using, in the focus plane (focal plane) image Ra of "person" also changes viewpoint Although not shifted, the image Rb, Rc defocused shifts to different positions for each viewpoint. 尚、図7(A)〜(I)では、各視点画像間の位置シフト(画像Rb,Rcの位置シフト)を誇張して示している。 In FIG. 7 (A) ~ (I), is shown in an exaggerated position shift between the viewpoint images (image Rb, position shift Rc).

上記のような9つの視点画像R1〜R9のうち、例えば左右2つの視点画像を用いて立体映像表示を行う場合、表示される映像の立体感は、それら2つの視点画像間の視差量に応じたものとなる。 Of the nine viewpoint images R1~R9 as described above, for example, when performing a stereoscopic video display with two left and right viewpoint images, the stereoscopic effect of the image displayed, depending on the amount of parallax between the two viewpoint images the thing was. 例えば、図7(D)に示した視点画像R4と、図7(F)に示した視点画像R6とを上記2つの視点画像として選択した場合、表示映像における立体感は、次のようなものとなる。 For example, the viewpoint image R4 shown in FIG. 7 (D), if the viewpoint images R6 shown were selected as the two viewpoint images in FIG. 7 (F), three-dimensional effect in the displayed image is as follows to become. 即ち、「山」は「人」よりも奥まって見えるが、その度合いは、図8(A),(B)に示したように、視点画像R4における画像Rb4と視点画像R6における画像Rb6との位置ずれ量(視差量)Wbに応じたものとなる。 That is, "mountain" may seem recessed than a "person", the degree, as shown in FIG. 8 (A), (B), the image Rb6 the image Rb4 and the viewpoint image R6 in the viewpoint image R4 positional deviation amount becomes one corresponding to (parallax amount) Wb. 一方、「花」は「人」よりも手前に飛び出して見えるが、その度合いは、視点画像R4における画像Rc4と視点画像R6における画像Rc6との位置ずれ量Wcに応じたものとなる。 On the other hand, "flower" may seem protrudes in front of the "person", the degree becomes one corresponding to the displacement amount Wc of image Rc6 the image Rc4 and the viewpoint image R6 in the viewpoint image R4. そして、位置ずれ量Wb,Wcが大きければ大きい程、「山」はより奥まって、「花」はより飛び出して、それぞれ観察されることとなる。 The positional deviation amount Wb, as Wc is larger the, recessed more "mountain" is "flower" is more pop-out, so that the observed respectively.

ところが、これらの視差量が大き過ぎる場合、人間の知覚限界を超えてしまい、それぞれの画像が2重像として見え、立体映像として認識されないことがある。 However, when the amount of these parallax is too large, exceeds the human perception limit, each image is seen as a double image, it may not be recognized as a stereoscopic image. あるいは、立体映像として認識されたとしても、そのような知覚限界に近い映像を継続して見ることで眼精疲労を生じ易くなる。 Alternatively, even if they are recognized as a stereoscopic image, easily occurs eyestrain by looking to continue an image close to such perception limit.

そこで、本実施の形態では、上記のような眼精疲労を招く過大視差を軽減する目的で、2以上の視点画像を所定の合成比率で合成する(足し合わせる)処理(以下、合成処理という)を行う。 Therefore, in the present embodiment, in order to reduce the excessive parallax lead to eye strain as described above, to synthesize two or more viewpoint images in a predetermined synthesis ratio (summing) processing (hereinafter, referred combining process) I do. つまり、2以上の視点画像同士の合成処理を、視点画像毎に重みづけをして行う。 That is, two or more synthesis process of the viewpoint images with each other, carried by the weighting for each viewpoint image. この合成処理は、以下の式(1)のように表すことができる。 The synthetic process can be expressed as the following equation (1). 但し、Rnを合成処理後の視点画像とし、α,β,γ,δ,ε,ζ,η,θ,ιはそれぞれ合成比率を表す係数とする。 However, the Rn and viewpoint images after the synthesis process, α, β, γ, δ, ε, ζ, η, θ, ι is a coefficient representing each combination ratio. これらの係数は0(ゼロ)であってもよい。 These coefficients may be 0 (zero). 即ち、全ての視点画像を合成してもよいし、選択的な視点画像のみを合成するようにしてもよい。 That may be synthesized all the viewpoint images may be synthesized only selected perspective image. また、このような合成処理は、面データ毎、ラインデータ毎、画素データ毎のいずれによっても行うことができる。 Moreover, such synthetic processes, each surface data, each line data can be carried out by any of each pixel data. 但し、本実施の形態では、合成比率が各画像面内において一律であるため、面一括で合成処理を行うことができる。 However, in this embodiment, since the synthesis ratio is uniform within each image plane, it is possible to perform the synthesis process in terms collectively.
Rn=(α×R1+β×R2+γ×R3+δ×R4+ε×R5+ζ×R6+η×R7+θ×R8+ι×R9) ………(1) Rn = (α × R1 + β × R2 + γ × R3 + δ × R4 + ε × R5 + ζ × R6 + η × R7 + θ × R8 + ι × R9) ......... (1)

(視差軽減の原理) (Principle of parallax reduction)
このような合成処理による視差軽減の原理を、図9〜図12を参照して説明する。 The principle of the parallax mitigation by such combining processing will be described with reference to Figs. ここでは、簡便化のため、視点画像R4と視点画像R5とを合成する場合(上記係数のうちα,β,γ,ζ,η,θ,ιがいずれも0、δ=1、0<ε<1である場合)を例に挙げる。 Here, for simplicity, the case of synthesizing the viewpoint image R4 and the viewpoint image R5 (among the coefficients α, β, γ, ζ, η, θ, both ι is 0, δ = 1,0 <ε <cited which case) 1 as an example. 図9(A)〜(C)は、視点画像の合成処理を画像イメージとして表したものである。 Figure 9 (A) ~ (C) is a representation of the synthesis process of the viewpoint image as a picture image. このように、視点画像R4と、係数εを乗じた視点画像R5とを足し合わせると、デフォーカスした「山」および「花」の画像位置がシフトする。 In this way, the viewpoint image R4, when added together and the viewpoint image R5 multiplied by the coefficient ε, the image position of the de-focus "mountain" and "flower" is shifted. 具体的には、「花」に着目した場合、視点画像R4における画像Rc4の位置S4と、視点画像R5における画像Rc5の位置S5との間の位置Snにシフトする。 Specifically, when focusing on "flower", and the position S4 in the image Rc4 in the viewpoint image R4, it shifts the position Sn between the position S5 in the image Rc5 in viewpoint image R5. また、合成処理後の画像Rcnは、その輪郭がぼやけたような画像となる。 The image Rcn after the synthesis process, the image as the outline is blurred. これは、「山」の画像についても同様で、合成処理後の画像Rbnは、画像Rb4,Rb5の各位置の間の位置にシフトすると共に、その輪郭がぼやけたような(よりデフォーカスしたような)画像となる。 This also applies to the image of the "mountain", the image Rbn after the synthesis process, as well as shifts in the position between the position of the image Rb4, Rb5, as (more defocused such that its contour blurred the Do) image.

ちなみに、2眼式のカメラで撮影した視点画像を用いて、上記と同様の合成処理を行った場合には、本実施の形態のように画像位置をシフトしつつ画像自体をぼかすことは困難である。 Incidentally, by using the viewpoint images captured by the binocular-type camera, when subjected to the same synthetic process as described above, it blurring the image itself while shifting the image position as in this embodiment is difficult is there. ここで、図10(A)〜(C)に、本実施の形態の比較例として2眼式のカメラで撮影した視点画像同士を合成する場合の信号強度分布(デフォーカス画像の輪郭部分のコントラスト)を模式的に示す。 Here, figure 10 (A) ~ (C), the contrast of the contour portion of the signal intensity distribution (defocus image when synthesizing the viewpoint images with each other as a comparative example of the present embodiment taken with binocular cameras ) it is shown schematically. 比較例では、デフォーカス領域であっても、画像自体がシャープなため、異なる視点画像同士を足し合わせた場合、2重像となってしまう。 In the comparative example, even defocused area, since the image itself is sharp, if the sum of the different viewpoint images with each other, becomes double image. 具体的には、図10(A),(B)に示したように、コントラストの幅(広がり)H100が小さいため、互いに異なる位置S100,S101にピークを有するコントラストA100,B100同士を合成した場合、図10(C)に示したように、合成後のコントラストC100は、2箇所(S100,S101)にピークを有する分布となってしまう。 Specifically, FIG. 10 (A), the as shown (B), the the width of the contrast (spread) H100 is small, if the synthesized contrast A100, B100 each having a peak in a different position S100, S101 to each other as shown in FIG. 10 (C), the contrast C100 after synthesis becomes distribution having a peak at two locations (S100, S101). また、2眼方式では、図示はしないが、フォーカス面にある被写体の画像の位置が、視点画像間において異なるため、本実施の形態のような画像全面一括の合成処理を行うことは難しい(フォーカス面での画像位置を合わせる処理等が必要となる)。 Further, in the binocular system, although not shown, the position of the image of the subject in the focus plane, since the different between the viewpoint images, it is difficult to perform the synthesis process of the entire image simultaneously, such as in the present embodiment (focus processing for aligning the image position in terms made it necessary).

これに対し、本実施の形態では、上述のように合成処理によって位置シフトおよび輪郭ぼかしを行うことができるが、これは、次のような理由による。 In contrast, in the present embodiment, it is possible to perform the position shifting and contour blurring by synthesis processing as described above, this is due to the following reason. ここで、図11(A)〜(C)に、撮像装置1により取得された視点画像を用いて合成処理を行う場合の信号強度分布(デフォーカス画像の輪郭部分のコントラスト)を模式的に示す。 Here, in FIG. 11 (A) ~ (C), the signal intensity distribution in the case of performing the composition processing (contrast of the contour portion of the defocused image) is shown schematically with reference to viewpoint images obtained by the imaging device 1 . 但し、この例では、各視点画像の合成比率を互いに同一とした場合を示している。 However, in this example, shows a case where the same as each other, the mixing ratio of the respective viewpoint images. このように、本実施の形態では、デフォーカス領域においては、コントラストの幅Hが広いため、互いに異なる位置S4,S5にピークを有するコントラストA,B(例えば、視点画像R4,R5における画像Rc4,Rc5に相当)同士を合成した場合、図11(C)に示したように、合成後のコントラストCでは、2箇所(S4,S5)のピークが消えて、より緩やかな分布となる(2重像が生じない)。 Thus, in the present embodiment, the defocus regions, the width H of the contrast is large, the contrast A, B (e.g., an image at the viewpoint image R4, R5 Rc4 having peaks at different positions S4, S5 with each other, corresponds to rc5) when synthesized with each other, as shown in FIG. 11 (C), the contrast C after synthesis, disappears two peaks (S4, S5), a more gradual distribution (double image does not occur). 従って、本実施の形態では、合成処理によって、上述のようにデフォーカス画像の位置をシフトさせつつ、輪郭をぼかす(ぼやかす)ことができる。 Thus, in this embodiment, by combining the processing, while shifting the position of the defocused image as described above, it is possible to blur the contours (blur). また、上記2眼式のカメラで撮影した視点画像と異なり、フォーカス面にある被写体の画像位置が視点画像間で同一となるため、合成処理に際して比較例のような位置合わせ処理が不要である。 Unlike the viewpoint images captured by the two-eye type camera, the image position of the object in the focal plane are the same between the viewpoint images, it is unnecessary registration process such as a Comparative Example in the synthesis process. 加えて、生成した視点画像同士を重みづけして足し合わせるだけでよいので、処理負荷も小さくて済む。 In addition, since the generated viewpoint image among it is only summed and weighted, it requires only a smaller processing load.

また、図12(A)〜(C)には、上記本実施の形態の合成処理において、合成比率を視点画像毎に変えた場合の信号強度分布について模式的に示す。 Further, FIG. 12 (A) ~ (C), in the synthesis process of the present embodiment, schematically shown for the signal intensity distribution when changing the synthesis ratio for each viewpoint image. この場合も、上記と同様、互いに異なる位置S4,S5にピークを有するコントラストA,B1(例えば、画像Rc4,Rc5に相当、但し(R4の合成比率)<(R5の合成比率))同士を合成した場合、合成後のコントラストC1では、2重像が生じない。 In this case, as described above, the contrast A, B1 having a peak in a different position S4, S5 with each other (e.g., image Rc4, corresponds to Rc5, except (mixing ratio of the R4) <(R5 mixing ratio of the)) synthesized with each other If it, in contrast C1 after synthesis, double image does not occur. 従って、デフォーカス画像の位置をシフトさせつつ、輪郭をぼかすことができる。 Thus, while shifting the position of the defocus image can blur the contours. 但し、視点画像毎に重みづけがなされているため、コントラストC1のピーク位置Sn'は、位置S5側に片寄る。 However, because the weighting is performed for each viewpoint image, the peak position Sn of the contrast C1 'is biased to the position S5 side.

このように、2つの視点画像を合成した場合を例に挙げて説明したが、3以上の視点画像を合成する場合も同様である。 Thus, the case of combining two viewpoint images is described as an example, the same applies to the case of synthesizing the three or more viewpoint images. また、合成比率を視点画像毎に変える(重みづけを行う)ことによって、所定の範囲内で自在に画像位置をシフトすることが可能である。 Also, changing the synthesis ratio for each viewpoint image by (performing weighting), it is possible to shift the freely image position within a predetermined range. 即ち、合成処理前では、デフォーカス画像が視点数に対応する9つの位置で表現されるが、上記合成処理を行うことにより、それら9つの位置の間の任意の位置に画像をシフトさせ、かつその輪郭をぼかすことができる。 That is, in the pre-combination processing, but defocused image is represented in the corresponding nine positions to the number of viewpoints, by carrying out the above synthetic process shifts the image to any position between those nine positions, and it can be blurred its outline. 従って、視差量抑制の効果と画像のぼやけの効果とにより、過大視差を軽減することが可能となる。 Accordingly, the effect of blurring effect and the image of the parallax amount suppression, it is possible to reduce the excessive parallax.

上記のような合成処理後の視点画像は、視点画像データD2として、画像補正処理部142へ出力される。 Viewpoint image after the synthesis processing as described above, as the viewpoint image data D2, and output to the image correction processing unit 142. 画像補正処理部142は、視点画像データD2に対し、例えばデモザイク処理等のカラー補間処理やホワイトバランス調整処理、ガンマ補正処理等を施し、それらの画像処理後の視点画像データを画像データDoutとして出力する。 Image correction processing unit 142, to the viewpoint image data D2, for example demosaicing color interpolation processing, white balance adjustment processing, such as processing, subjected to gamma correction processing and the like, outputs the viewpoint image data after their image processing as the image data Dout to. この画像データDoutは、撮像装置1の外部へ出力されるようにしてもよいし、撮像装置1の内部に設けられた記憶部(図示せず)に記憶するようにしてもよい。 The image data Dout may be so as to be output to the outside of the imaging apparatus 1, may be stored in the storage unit provided inside the imaging apparatus 1 (not shown).

尚、上記視点画像データD2および画像データDoutは、合成処理によって生成された視点画像に対応するデータのみであってもよいし、合成処理の施されていない元々の視点画像(ここでは9つの視点画像)に対応するデータを含んでいてもよい。 Note that the viewpoint image data D2 and the image data Dout is may be only data corresponding to the viewpoint image generated by the synthesis process, the original is not subjected to the synthesis processing viewpoint image (nine here viewpoint it may include data corresponding to the image). あるいは、これらの合成処理前後の視点画像に対応するデータが混在して含まれていてもよいし、元々の視点画像が、合成処理によって生成された視点画像に置き換えられていてもよい。 Alternatively, to data corresponding to these synthetic processes before and after the viewpoint images may be included in mixed original viewpoint images may be replaced with a view image created by the composition processing. また、合成処理によって生成される視点画像は1枚であってもよいし、複数枚であってもよい。 Further, the viewpoint image generated by the synthesis process may be the one, or may be a plurality.

以上のように本実施の形態では、撮像レンズ11、レンズアレイ12およびイメージセンサ13を用いて取得された撮像データD0に基づいて複数の視点画像を生成し、これらのうち2以上の視点画像を合成する。 In this embodiment as described above, the imaging lens 11, on the basis of the lens array 12 and the image sensor 13 pickup data D0 obtained by using the generated multiple viewpoint images, two or more viewpoint images of these synthesized. これにより、ある視点画像の位置をシフトしつつ、その輪郭をぼかすことができる。 Thus, while shifting the position of a viewpoint image, it is possible to blur the contours. そのため、例えば左右2つの視点画像を用いて立体映像表示を行う際には、これらの視点画像における視差量抑制とぼけによる効果によって、人間の知覚限界を超えるような過大視差を軽減し、眼精疲労等を緩和することができる。 Therefore, for example, when displaying a stereoscopic image using the right and left two viewpoint images, the effect of the parallax amount suppression and blurring in these viewpoint images, reduce excessive parallax that exceeds the human perception limit, eyestrain and the like can be alleviated. 即ち、立体映像表示の際に良好な視認性を有する視点画像を取得可能となる。 That is, it is possible get the viewpoint images having good visibility in stereoscopic image display.

以下、上記実施の形態の変形例について説明する。 Hereinafter, a description will be given of modifications of the above embodiment. 尚、上記実施の形態と同様の構成要素については同一の符号を付し、適宜説明を省略する。 Incidentally, the same reference numerals are given to components similar to the above embodiment, description of them is appropriately omitted.

<変形例> <Modification>
図13は、変形例に係る画像処理部14Aの詳細構成を表す機能ブロック図である。 Figure 13 is a functional block diagram illustrating a detailed configuration of the image processing section 14A according to a modification. 画像処理部14Aは、上記実施の形態の画像処理部14と同様、撮像レンズ11、レンズアレイ12およびイメージセンサ13によって取得された撮像データD0に対して、所定の画像処理を施し、画像データDoutを出力するものである。 The image processing unit 14A is similar to the image processing unit 14 in the above embodiment, the imaging lens 11, image pickup data D0 obtained by the lens array 12 and the image sensor 13, performs predetermined image processing, the image data Dout and it outputs a. 但し、本変形例では、画像処理部14Aが、視点画像生成部140、画像合成処理部141および画像補正処理部142に加えて奥行き情報取得部143を備えており、画像合成処理部141が、奥行き情報に応じた合成処理を行うようになっている。 However, in this modification, the image processing portion 14A, the viewpoint image generating unit 140 includes a depth information acquisition unit 143 in addition to the image synthesis processing unit 141 and the image correction processing unit 142, an image synthesis processing unit 141, and it performs a combining process corresponding to the depth information.

具体的には、画像処理部14Aでは、まず視点画像生成部140が、撮像データD0に基づき、上記実施の形態と同様にして複数の視点画像(例えば第1〜第9視点の視点画像R1〜R9)を生成する(視点画像データD1を出力する)。 Specifically, the image processing unit 14A, first, the viewpoint image generation unit 140, based on the image pickup data D0, a plurality of viewpoint images in the same manner as the above-described embodiment (e.g., first to ninth viewpoint viewpoint images R1~ R9) to produce a (outputs the viewpoint image data D1).

一方、奥行き情報取得部143が、撮像データD0から奥行き情報、例えばディスパリティマップ等の被写体の深度を表す情報を取得する。 On the other hand, the depth information acquisition section 143 acquires depth information from the image data D0, for example, information indicating the depth of an object such as a disparity map. 具体的には、奥行き情報取得部143が、例えばステレオマッチング法により複数の視点画像間のディスパリティ(disparity:位相差、位相ずれ)を画素毎に算出し、算出したディスパリティを各画素に対応づけたマップを生成する。 Specifically, the depth information acquisition unit 143, for example, disparity between a plurality of viewpoint images by the stereo matching method (disparity: phase difference, phase shift) was calculated for each pixel, corresponding the calculated disparity in each pixel to generate a map that was marked. 但し、ディスパリティマップとしては、上記のような画素単位で生成したものに限らず、所定数の画素からなる画素ブロック毎にディスパリティを求め、求めたディスパリティを各画素ブロックに対応付けて保持したものでもよい。 However, as the disparity map, not limited to those produced in pixel units as described above, determine the disparity in pixels for each block composed of a predetermined number of pixels, in association with disparity determined in each pixel block retaining it may be obtained by. 生成されたディスパリティマップは、奥行き情報DDとして、画像合成処理部141へ出力される。 The generated disparity map, as the depth information DD, is output to the image synthesis processing unit 141.

次いで、画像合成処理部141が、入力された複数の視点画像R1〜R9と、奥行き情報DDとを用いて合成処理を行う。 Then, the image synthesis processing unit 141, a plurality of viewpoint images R1~R9 input, performs composition processing using the depth information DD. 具体的には、複数の視点画像R1〜R9のうちの2枚以上の視点画像において、奥行き情報DDに応じて、画像面内における選択的な領域毎に重みづけをして合成処理を行う。 Specifically, it carried out in two or more viewpoint image among the plurality of viewpoint images R1 to R9, in accordance with the depth information DD, the synthesizing process by a selective weighting for each area in the image plane. 詳細には、画像面内においてフォーカス面により近い被写体の画像については合成比率をより小さく、フォーカス面からより離れた被写体の画像については合成比率をより大きくして、選択的な領域毎に合成処理を行う。 Specifically, the image of the object is closer to the focus plane in the image plane is smaller, the mixing ratio, the more distant image of the object from the focus surface is made larger, the mixing ratio, the synthetic process for selective for each area I do.

図14(A)〜(C)に、本変形例における画像合成処理の一例について示す。 FIG 14 (A) ~ (C), showing an example of image synthesis process in this modification. 尚、ここでは、説明のため、フォーカス面にある「人」の画像Raと、この「人」よりも手前にある2つの「花」の画像Rc41,Rc42について示している。 Here, for explanation, in the focus plane and the image Ra of "human" indicates the image Rc41, Rc42 of the two in front of the "human", "flower". また、これらの画像Rc41,Rc42のうち、画像Rc41よりも画像Rc42の方が手前側で観察される画像となっている(画像Rc41よりも画像Rc42の方がよりデフォーカスした画像であり、フォーカス面からより離れた「花」の画像である)。 Further, among these images Rc41, Rc42, an image towards the image Rc42 than the image Rc41 is that more defocused better image Rc42 than to have (image Rc41 a image observed at the front side, the focus is an image of "flower" that was more distant from the surface). このような場合には、例えば視点画像R4と視点画像R5を合成する際に、以下の式(2),(3)に示すような画像Rc41,Rc42毎の合成処理を行う。 In such a case, for example, in the synthesis of viewpoint images R4 and the viewpoint image R5, the following equation (2), performs the synthesis process for each image Rc41, Rc42, such as shown in (3). 但し、合成比率をε1<ε2とする。 However, the combined ratio and ε1 <ε2.
Rc41+ε1×Rc51=Rcn1 ………(2) Rc41 + ε1 × Rc51 = Rcn1 ......... (2)
Rc42+ε2×Rc52=Rcn2 ………(3) Rc42 + ε2 × Rc52 = Rcn2 ......... (3)

これにより、図14(C)に示したように、合成処理後の視点画像Rnでは、上述の図11(A)〜(C)に示した原理により、「花」の画像Rcn1は、画像Rc41,Rc51の各位置の間の位置にシフトし、輪郭もぼやける。 Thus, as shown in FIG. 14 (C), the viewpoint image Rn after synthesis process, the principle shown in the above FIG. 11 (A) ~ (C), image Rcn1 of "flower", the image Rc41 , shifted to a position between the positions of Rc51, the contour is also blurred. 「花」の画像Rcn2についても同様で、画像Rc42,Rc52の各位置の間にシフトし輪郭がぼやける。 The same applies to the image Rcn2 of "flower" image Rc42, shifted contour between each position of Rc52 is blurred. 但し、画像Rc41,Rc42間で重みづけを変えている(ε1<ε2)ので、上述の図12(A)〜(C)に示した原理により、画像Rcn1よりも画像Rcn2の方が、シフト量が大きくなる。 However, the image Rc41, are changing weighting between Rc42 (ε1 <ε2), so according to the principle shown in the above FIG. 12 (A) ~ (C), towards the image Rcn2 than image Rcn1 is, the shift amount It increases. 詳細には、画像Rcn1の位置が画像Rc51の位置に近づく度合いよりも、画像Rcn2の位置が画像Rc52の位置に近づく度合いの方が大きくなる。 Specifically, than the degree to which the position of the image Rcn1 approaches the position of the image Rc51, towards degree of position of the image Rcn2 approaches the position of the image Rc52 is increased. これにより、よりフォーカス面から離れた画像(よりデフォーカスした画像)では、他の視点画像との間の視差量が大きくなるが、そのようなデフォーカス画像に対して、よりシフト量を増大させることができる。 Thus, the image away from the more focus plane (more defocused image), but the amount of parallax between the other viewpoint images is large, for such defocused image, increases the more the shift amount be able to. 即ち、画像面内の視差量に応じて視差量を抑制しつつ、画像の輪郭をぼかすことができる。 That is, while suppressing the amount of parallax in accordance with the parallax amount of the image plane, it is possible to blur the contours of the image. これにより、例えば、視差量のさほど大きくない画像については、そのまま位置シフトや輪郭ぼかしを行わず、視差量の大きな画像についてのみ位置をシフトして輪郭をぼかす、といった合成処理を行うことが可能となる。 Thus, for example, for not very large image of the parallax amount is directly without position shift or contour blurring, blurring the contour by shifting the position for a large image of the parallax amount only can be performed such synthesis process and Become.

このような合成処理後の複数の視点画像は、視点画像データD2として画像補正処理部142へ出力され、上記と同様の画像補正処理が施された後、画像データDoutとして出力される。 A plurality of viewpoint images after such synthesis processing is output to the image correction processing unit 142 as a viewpoint image data D2, after the same image correction processing and the is performed, is outputted as image data Dout.

変形例のように、画像合成処理部142において、奥行き情報に基づいて、画像面内の選択的な領域毎に合成処理を行うようにしてもよい。 As modifications, the image synthesis processing unit 142, based on the depth information, may be performed combining processing for each selective region in the image plane. このような場合であっても、上記実施の形態と同様の効果を得ることができる。 Even in such a case, it is possible to obtain the same effect as the above embodiment. また、奥行き情報を用いることで、画像面内の深度(視差量)が異なる被写体の画像に対し、その視差量に応じた視差抑制を行いつつ、画像の輪郭をぼかすことができる。 Further, by using the depth information, the image of the object depth of the image plane (parallax amount) are different, while performing parallax suppression in accordance with the parallax amount, it is possible to blur the contours of the image. よって、より自然な立体映像表示を実現可能となる。 Thus, it is possible to realize a more natural three-dimensional image display.

以上、実施の形態および変形例を挙げて本発明を説明したが、本発明は上記実施の形態に限定されるものではなく、種々の変形が可能である。 Although the present invention has been described by the embodiment and the modifications, the present invention is not limited to the above embodiments, and various modifications are possible. 例えば、上記実施の形態では、レンズ割り当て画素(画素領域)m×n=3×3である場合を例に挙げて説明したが、各レンズに割り当てられる画素領域は、これに限定されず、例えばm,nが1,2または4以上であってもよい。 For example, in the above embodiment, although the case where the lens-assignment pixels (pixel region) m × n = 3 × 3 is described as an example, the pixel region assigned to each lens are not limited to, for example, m, n may also be two or four or more.

また、上記変形例では、奥行き情報としてディスパリティマップを生成して、これを用いて画像合成処理を行う場合を例に挙げたが、奥行き情報は、そのようなディスパリティマップに限らず、他の手法により取得した情報であってもよい。 Further, in the above modification, and generate a disparity map as the depth information, is taken as an example a case in which the image combination process using the depth information is not limited to such a disparity map, other of it may be the information obtained by the technique. 例えば、フォーカス面からの距離に応じて被写体の画像の解像度が異なるため、解像度に基づいて、各画像の奥行き情報を取得してもよい。 For example, the resolution of the image of the subject according to the distance from the focus plane is different, based on the resolution may obtain depth information of each image. 具体的には、フォーカス面にある「人」の画像は高解像度となる一方、「山」や「花」はフォーカス面から離れているため、その画像はデフォーカスしており低解像度となる。 More specifically, in the focal plane image of the "people" whereas a high resolution, "mountain" and "flower" because you are away from the focus plane, the image is a low resolution and defocusing.

更に、上記実施の形態等では、本発明の画像処理方法の一例(画像処理部14によって具現化される画像処理方法)では、撮像レンズ、レンズアレイおよびイメージセンサを有する1つの撮像装置内において撮像データを取得し、この撮像データに基づいて所定の画像処理を行うようにしたが、画像処理対象となる撮像データは、必ずしも1つの装置内で取得されたものでなくともよい。 Further, in the embodiment and the like, in an example of the image processing method of the present invention (image processing method is implemented by the image processing unit 14), the imaging in the one imaging device having an imaging lens, a lens array and an image sensor get the data has been to perform predetermined image processing on the basis of the imaging data, the imaging data to be image processed may not necessarily ones that have been acquired necessarily in one device. 即ち、複数の視点画像に対応する撮像データを、外部から取得するようにしてもよく、外部から取得した撮像データに対して、所定の画像処理を施してもよい。 That is, the imaging data corresponding to a plurality of viewpoint images may be acquired from the outside, the imaging data acquired from the outside, may be subjected to predetermined image processing.

1…撮像装置、11…撮像レンズ、12…レンズアレイ、12a…レンズ、13…イメージセンサ、14…画像処理部、15…イメージセンサ駆動部、16…制御部、140…視点画像生成部、141…画像合成処理部、142…画像補正処理部、143…奥行き情報取得部、2…被写体、D0…撮像データ、D1,D2,D3…視点画像データ、DD…奥行き情報、Dout…画像データ、R1〜R9…視点画像。 1 ... imaging apparatus, 11 ... imaging lens, 12 ... lens array, 12a ... lens, 13 ... image sensor, 14 ... image processing unit, 15 ... image sensor driving unit, 16 ... control unit, 140 ... viewpoint image generator, 141 ... image synthesis processing unit, 142 ... image correction processing unit, 143 ... distance information acquisition unit, 2 ... subject, D0 ... imaging data, D1, D2, D3 ... viewpoint image data, DD ... depth information, Dout ... image data, R1 ~R9 ... viewpoint image.

Claims (12)

  1. 単一の撮像レンズと前記撮像レンズの結像面に配置されたレンズアレイとの通過光線に基づいて取得された撮像データに基づいて、複数の視点画像を生成する視点画像生成部と、 Based on the imaging data obtained on the basis of the passage rays between the lens array disposed on the imaging plane of the imaging lens and a single imaging lens, and the viewpoint image generation unit for generating a plurality of viewpoint images,
    前記視点画像生成部により生成された複数の視点画像を、 前記撮像データに基づいて得られる視差情報または奥行き情報を用いて重みづけをしつつ合成する画像合成処理部と を備えた画像処理装置。 The image processing apparatus and an image synthesis processing unit for combining said plurality of viewpoint images generated by the viewpoint image generating unit, while the weighting using the disparity information or depth information obtained on the basis of the imaging data.
  2. 前記画像合成処理部は、前記視点画像毎に前記重みづけを行う 請求項1に記載の画像処理装置。 The image synthesis processing section, the image processing apparatus according to claim 1 for the weighting for each of the viewpoint images.
  3. 前記画像合成処理部は、画像面内の領域ブロック毎に前記重みづけを行う 請求項1に記載の画像処理装置。 The image synthesis processing section, the image processing apparatus according to claim 1 for the weighting for each domain block in the image plane.
  4. 前記画像合成処理部は、焦点面からより離れた位置にある被写体の画像に対して、合成比率をより大きく設定する 請求項3に記載の画像処理装置。 The image synthesis processing section, the image processing apparatus according to claim 3 in which the subject of the image in a position more distant from the focal plane is set larger the mixing ratio.
  5. 前記画像合成処理部は、焦点面により近い位置にある被写体の画像に対して、合成比率をより小さく設定する 請求項3に記載の画像処理装置。 The image synthesis processing section, the image processing apparatus according to claim 3 in which the image of the object at a position closer to the focal plane is set smaller the mixing ratio.
  6. 前記撮像データに基づいて生成された複数の視点画像を、これらの視点画像間の位置合わせを行うことなく合成する 請求項に記載の画像処理装置。 The image processing apparatus according to claim 1 in which a plurality of viewpoint images generated based on the imaging data, synthesized without performing alignment between these viewpoint images.
  7. 単一の撮像レンズと前記撮像レンズの結像面に配置されたレンズアレイとの通過光線に基づいて取得された撮像データに基づい複数の視点画像を生成し、 Generating a plurality of viewpoint images based on the imaging data obtained on the basis of the passage rays between the lens array disposed on the imaging plane of the imaging lens and a single imaging lens,
    生成された複数の視点画像を、 前記撮像データに基づいて得られる視差情報または奥行き情報を用いて重みづけをしつつ合成する 画像処理方法。 An image processing method for synthesizing while the weighting using a plurality of viewpoint images generated, the disparity information or depth information obtained on the basis of the imaging data.
  8. 前記視点画像毎に前記重みづけを行う 請求項に記載の画像処理方法。 The image processing method according to claim 7 for the weighting for each of the viewpoint images.
  9. 画像面内の領域ブロック毎に前記重みづけを行う 請求項に記載の画像処理方法。 The image processing method according to claim 7 for the weighting for each domain block in the image plane.
  10. 焦点面からより離れた位置にある被写体の画像に対して、合成比率をより大きく設定する 請求項に記載の画像処理方法。 The image processing method according to claim 9 in which the subject of the image in a position more distant from the focal plane, to set larger the mixing ratio.
  11. 焦点面により近い位置にある被写体の画像に対して、合成比率をより小さく設定する 請求項に記載の画像処理方法。 The image processing method according to claim 9 in which the subject image at a position closer to the focal plane, sets smaller the mixing ratio.
  12. 前記撮像データに基づいて生成された複数の視点画像を、これらの視点画像間の位置合わせを行うことなく合成する 請求項に記載の画像処理方法。 The image processing method according to claim 7 in which a plurality of viewpoint images generated based on the imaging data, synthesized without performing alignment between these viewpoint images.
JP2011001401A 2011-01-06 2011-01-06 Image processing apparatus and image processing method Expired - Fee Related JP5699609B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011001401A JP5699609B2 (en) 2011-01-06 2011-01-06 Image processing apparatus and image processing method

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2011001401A JP5699609B2 (en) 2011-01-06 2011-01-06 Image processing apparatus and image processing method
EP11194456A EP2475162A3 (en) 2011-01-06 2011-12-20 Image pickup apparatus and image processing method
US13/339,949 US8842201B2 (en) 2011-01-06 2011-12-29 Image capturing device including lens array and processing
CN201110461328.XA CN102595170B (en) 2011-01-06 2011-12-30 The image pickup apparatus and an image processing method
US14/310,116 US9432656B2 (en) 2011-01-06 2014-06-20 Image capturing device including lens array and processing

Publications (3)

Publication Number Publication Date
JP2012147046A JP2012147046A (en) 2012-08-02
JP2012147046A5 JP2012147046A5 (en) 2014-01-23
JP5699609B2 true JP5699609B2 (en) 2015-04-15

Family

ID=45491260

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011001401A Expired - Fee Related JP5699609B2 (en) 2011-01-06 2011-01-06 Image processing apparatus and image processing method

Country Status (4)

Country Link
US (2) US8842201B2 (en)
EP (1) EP2475162A3 (en)
JP (1) JP5699609B2 (en)
CN (1) CN102595170B (en)

Families Citing this family (60)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8866920B2 (en) 2008-05-20 2014-10-21 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
CN103501416B (en) 2008-05-20 2017-04-12 派力肯成像公司 Imaging System
US8514491B2 (en) 2009-11-20 2013-08-20 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
JP5848754B2 (en) 2010-05-12 2016-01-27 ペリカン イメージング コーポレイション Architecture for the imaging device array and array camera
JP5699609B2 (en) 2011-01-06 2015-04-15 ソニー株式会社 Image processing apparatus and image processing method
WO2012155119A1 (en) 2011-05-11 2012-11-15 Pelican Imaging Corporation Systems and methods for transmitting and receiving array camera image data
US20130265459A1 (en) 2011-06-28 2013-10-10 Pelican Imaging Corporation Optical arrangements for use with an array camera
WO2013043761A1 (en) 2011-09-19 2013-03-28 Pelican Imaging Corporation Determining depth from multiple views of a scene that include aliasing using hypothesized fusion
JP6140709B2 (en) 2011-09-28 2017-05-31 ペリカン イメージング コーポレイション System and method for encoding and decoding the bright-field image file
US9412206B2 (en) 2012-02-21 2016-08-09 Pelican Imaging Corporation Systems and methods for the manipulation of captured light field image data
US9707892B2 (en) * 2012-04-25 2017-07-18 Gentex Corporation Multi-focus optical system
US9210392B2 (en) 2012-05-01 2015-12-08 Pelican Imaging Coporation Camera modules patterned with pi filter groups
JP5677366B2 (en) * 2012-05-21 2015-02-25 キヤノン株式会社 Imaging device
CN104508681B (en) 2012-06-28 2018-10-30 Fotonation开曼有限公司 A camera for detecting a defective array, an optical system and method and device array sensors
US20140002674A1 (en) 2012-06-30 2014-01-02 Pelican Imaging Corporation Systems and Methods for Manufacturing Camera Modules Using Active Alignment of Lens Stack Arrays and Sensors
JP6039301B2 (en) * 2012-08-09 2016-12-07 キヤノン株式会社 Imaging apparatus, an imaging system, a control method of the imaging apparatus, a program, and storage medium
AU2013305770A1 (en) 2012-08-21 2015-02-26 Pelican Imaging Corporation Systems and methods for parallax detection and correction in images captured using array cameras
WO2014032020A2 (en) 2012-08-23 2014-02-27 Pelican Imaging Corporation Feature based high resolution motion estimation from low resolution images captured using an array source
KR20140036969A (en) * 2012-09-18 2014-03-26 삼성전자주식회사 Three dimensional image capture system with image conversion mechanism and method of operation thereof
WO2014052974A2 (en) * 2012-09-28 2014-04-03 Pelican Imaging Corporation Generating images from light fields utilizing virtual viewpoints
JP5820794B2 (en) * 2012-10-05 2015-11-24 オリンパス株式会社 Imaging device
JP6070061B2 (en) * 2012-10-26 2017-02-01 株式会社ニコン The image processing apparatus, imaging apparatus, image processing method, and program
US9143711B2 (en) 2012-11-13 2015-09-22 Pelican Imaging Corporation Systems and methods for array camera focal plane control
KR20140094395A (en) * 2013-01-22 2014-07-30 삼성전자주식회사 photographing device for taking a picture by a plurality of microlenses and method thereof
JP6089742B2 (en) * 2013-02-04 2017-03-08 カシオ計算機株式会社 The image processing apparatus, an imaging apparatus, an image processing method, and program
JP6159097B2 (en) * 2013-02-07 2017-07-05 キヤノン株式会社 The image processing apparatus, an imaging apparatus, a control method, and program
JP6055332B2 (en) * 2013-02-12 2016-12-27 キヤノン株式会社 The image processing apparatus, an imaging apparatus, a control method, and program
DE112014000874T5 (en) 2013-02-18 2015-11-26 Sony Corporation An electronic device, method for forming an image and filter assembly
US9462164B2 (en) 2013-02-21 2016-10-04 Pelican Imaging Corporation Systems and methods for generating compressed light field representation data using captured light fields, array geometry, and parallax information
US9374512B2 (en) 2013-02-24 2016-06-21 Pelican Imaging Corporation Thin form factor computational array cameras and modular array cameras
WO2014138697A1 (en) 2013-03-08 2014-09-12 Pelican Imaging Corporation Systems and methods for high dynamic range imaging using array cameras
US8866912B2 (en) 2013-03-10 2014-10-21 Pelican Imaging Corporation System and methods for calibration of an array camera using a single captured image
WO2014165244A1 (en) 2013-03-13 2014-10-09 Pelican Imaging Corporation Systems and methods for synthesizing images from image data captured by an array camera using restricted depth of field depth maps in which depth estimation precision varies
US9106784B2 (en) 2013-03-13 2015-08-11 Pelican Imaging Corporation Systems and methods for controlling aliasing in images captured by an array camera for use in super-resolution processing
US9888194B2 (en) 2013-03-13 2018-02-06 Fotonation Cayman Limited Array camera architecture implementing quantum film image sensors
US9124831B2 (en) 2013-03-13 2015-09-01 Pelican Imaging Corporation System and methods for calibration of an array camera
WO2014159779A1 (en) 2013-03-14 2014-10-02 Pelican Imaging Corporation Systems and methods for reducing motion blur in images or video in ultra low light with array cameras
US10122993B2 (en) 2013-03-15 2018-11-06 Fotonation Limited Autofocus system for a conventional camera that uses depth information from an array camera
JP2016524125A (en) 2013-03-15 2016-08-12 ペリカン イメージング コーポレイション System and method for three-dimensional imaging using the camera array
US9497429B2 (en) 2013-03-15 2016-11-15 Pelican Imaging Corporation Extended color processing on pelican array cameras
US9497370B2 (en) 2013-03-15 2016-11-15 Pelican Imaging Corporation Array camera architecture implementing quantum dot color filters
US9445003B1 (en) 2013-03-15 2016-09-13 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using image deconvolution based on motion and depth information
US9898856B2 (en) 2013-09-27 2018-02-20 Fotonation Cayman Limited Systems and methods for depth-assisted perspective distortion correction
US9426365B2 (en) * 2013-11-01 2016-08-23 The Lightco Inc. Image stabilization related methods and apparatus
US9264592B2 (en) 2013-11-07 2016-02-16 Pelican Imaging Corporation Array camera modules incorporating independently aligned lens stacks
WO2015074078A1 (en) 2013-11-18 2015-05-21 Pelican Imaging Corporation Estimating depth from projected texture using camera arrays
US9456134B2 (en) 2013-11-26 2016-09-27 Pelican Imaging Corporation Array camera configurations incorporating constituent array cameras and constituent cameras
EP2879372A1 (en) * 2013-11-29 2015-06-03 Thomson Licensing Method and device for processing a raw image acquired with a plenoptic camera
JP6452360B2 (en) * 2013-12-19 2019-01-16 キヤノン株式会社 The image processing apparatus, an imaging apparatus, an image processing method and program
CN103647960B (en) * 2013-12-24 2016-01-20 北京邮电大学 A method of synthesizing three-dimensional images
US10089740B2 (en) 2014-03-07 2018-10-02 Fotonation Limited System and methods for depth regularization and semiautomatic interactive matting using RGB-D images
KR20150107571A (en) * 2014-03-13 2015-09-23 삼성전자주식회사 Image pickup apparatus and image pickup method of generating image having depth information
US9521319B2 (en) 2014-06-18 2016-12-13 Pelican Imaging Corporation Array cameras and array camera modules including spectral filters disposed outside of a constituent image sensor
EP3467776A1 (en) 2014-09-29 2019-04-10 Fotonation Cayman Limited Systems and methods for dynamic calibration of array cameras
WO2016073986A1 (en) * 2014-11-07 2016-05-12 Eye Labs, LLC Visual stabilization system for head-mounted displays
JP6486149B2 (en) * 2015-03-03 2019-03-20 キヤノン株式会社 The image processing apparatus, an imaging apparatus, an image processing method, program, and storage medium
US9942474B2 (en) 2015-04-17 2018-04-10 Fotonation Cayman Limited Systems and methods for performing high speed video capture and depth estimation using array cameras
EP3088954A1 (en) * 2015-04-27 2016-11-02 Thomson Licensing Method and device for processing a lightfield content
JP2016225811A (en) * 2015-05-29 2016-12-28 キヤノン株式会社 Image processing apparatus, image processing method, and program
CN108050937A (en) * 2018-01-08 2018-05-18 浙江大学 Method and device for detecting mid-frequency errors of large-aperture optical elements

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0576234B2 (en) 1984-08-13 1993-10-22 Nippon Denki Home Electronics
JPH0576234A (en) 1992-02-26 1993-03-30 Seirei Ind Co Ltd Fitting structure of transporting part in reaping part of combine
JPH078055B2 (en) 1992-10-21 1995-01-30 幹次 村上 Three-dimensional imaging support device
JP3182009B2 (en) 1992-12-24 2001-07-03 日本電信電話株式会社 Binocular stereoscopic device
JPH1013860A (en) * 1996-04-26 1998-01-16 Victor Co Of Japan Ltd Stereoscopic picture interpolating device and its method
US6084979A (en) * 1996-06-20 2000-07-04 Carnegie Mellon University Method for creating virtual reality
US20040223071A1 (en) 2003-05-08 2004-11-11 David Wells Multiple microlens system for image sensors or display units
JP3729353B2 (en) 2003-06-18 2005-12-21 松下電器産業株式会社 A solid-state imaging device and manufacturing method thereof
US7936392B2 (en) 2004-10-01 2011-05-03 The Board Of Trustees Of The Leland Stanford Junior University Imaging arrangements and methods therefor
US20060131683A1 (en) 2004-12-17 2006-06-22 Eastman Kodak Company Microlens array
JP4334495B2 (en) 2005-03-29 2009-09-30 株式会社東芝 Three-dimensional image display device
JP4555722B2 (en) * 2005-04-13 2010-10-06 株式会社 日立ディスプレイズ Stereoscopic image generating apparatus
EP1887399A4 (en) * 2005-05-30 2011-03-23 Nikon Corp Image formation state detection device
JP4826152B2 (en) 2005-06-23 2011-11-30 株式会社ニコン Image composition method and an imaging apparatus
US7470556B2 (en) 2005-06-28 2008-12-30 Aptina Imaging Corporation Process for creating tilted microlens
KR100730406B1 (en) 2005-11-16 2007-06-19 광운대학교 산학협력단 Three-dimensional display apparatus using intermediate elemental images
US8248515B2 (en) * 2006-02-07 2012-08-21 The Board Of Trustees Of The Leland Stanford Junior University Variable imaging arrangements and methods therefor
KR100821480B1 (en) 2006-12-22 2008-04-11 동부일렉트로닉스 주식회사 Image senser and method for menufacturing of the same
WO2009008864A1 (en) * 2007-07-12 2009-01-15 Thomson Licensing System and method for three-dimensional object reconstruction from two-dimensional images
JP4695664B2 (en) * 2008-03-26 2011-06-08 富士フイルム株式会社 Stereoscopic video processing apparatus and method, and program
ES2389401T3 (en) 2008-06-17 2012-10-25 Huawei Device Co., Ltd. Method, apparatus and communication system via video
US8106924B2 (en) * 2008-07-31 2012-01-31 Stmicroelectronics S.R.L. Method and system for video rendering, computer program product therefor
JP4538766B2 (en) * 2008-08-21 2010-09-08 ソニー株式会社 Imaging device, a display device and an image processing apparatus
JP2010057067A (en) 2008-08-29 2010-03-11 Sony Corp Image pickup apparatus and image processing apparatus
CN101662694B (en) * 2008-08-29 2013-01-30 华为终端有限公司 Method and device for presenting, sending and receiving video and communication system
JP4737573B2 (en) * 2009-02-05 2011-08-03 富士フイルム株式会社 3-dimensional image output apparatus and method
JP4706882B2 (en) * 2009-02-05 2011-06-22 ソニー株式会社 Imaging device
JP5246424B2 (en) * 2009-05-11 2013-07-24 ソニー株式会社 Imaging device
KR101590767B1 (en) * 2009-06-09 2016-02-03 삼성전자주식회사 Image processing apparatus and method
JP4966431B2 (en) * 2009-09-18 2012-07-04 株式会社東芝 Image processing apparatus
US8400555B1 (en) 2009-12-01 2013-03-19 Adobe Systems Incorporated Focused plenoptic camera employing microlenses with different focal lengths
JP5387377B2 (en) * 2009-12-14 2014-01-15 ソニー株式会社 Image processing apparatus, image processing method, and program
CN101840071A (en) * 2010-05-13 2010-09-22 上海交通大学 Three-dimensional monitor based on liquid crystal lens
CN101902657B (en) * 2010-07-16 2011-12-21 浙江大学 Method for generating virtual multi-viewpoint images based on depth image layering
JP5699609B2 (en) 2011-01-06 2015-04-15 ソニー株式会社 Image processing apparatus and image processing method
JP5716465B2 (en) 2011-03-09 2015-05-13 ソニー株式会社 Imaging device

Also Published As

Publication number Publication date
EP2475162A2 (en) 2012-07-11
US20140300705A1 (en) 2014-10-09
CN102595170B (en) 2016-07-06
US9432656B2 (en) 2016-08-30
JP2012147046A (en) 2012-08-02
CN102595170A (en) 2012-07-18
US8842201B2 (en) 2014-09-23
US20120176506A1 (en) 2012-07-12
EP2475162A3 (en) 2013-01-16

Similar Documents

Publication Publication Date Title
JP5411350B2 (en) Digital imaging system, plenoptic optical device, and an image data processing method
US9204067B2 (en) Image sensor and image capturing apparatus
JP4483951B2 (en) Imaging device
JP5425554B2 (en) Stereoscopic imaging apparatus and a stereoscopic imaging method
JP4826152B2 (en) Image composition method and an imaging apparatus
US20140226041A1 (en) Image processing apparatus, image pickup apparatus, image processing method, and non-transitory computer-readable storage medium
US9100639B2 (en) Light field imaging device and image processing device
US8325241B2 (en) Image pickup apparatus that stores adjacent and contiguous pixel data before integration of same
JP5831105B2 (en) An imaging apparatus and an imaging method
US8237843B2 (en) Imaging device
CN101738840B (en) Image pickup apparatus
JP4967873B2 (en) Imaging device
EP2804370B1 (en) Image pickup apparatus and image processing apparatus
US20080225113A1 (en) Three-dimensional image display device, method for displaying three-dimensional image, and structure of three-dimensional image data
JP5628913B2 (en) An imaging apparatus and an imaging method
JP5915537B2 (en) The imaging device, and imaging apparatus
JP5192096B2 (en) Stereoscopic imaging apparatus
JP2010050707A (en) Image pickup apparatus, display apparatus, and image processing apparatus
WO2002078324A2 (en) Stereoscopic camera with only one digital image sensor
JP4941332B2 (en) Imaging device
JP2008015754A (en) Image pickup device, image processor and image processing method
JP5246424B2 (en) Imaging device
JP2009290157A (en) Imaging element, and imaging device
US8456565B2 (en) Imaging device
JP5224124B2 (en) Imaging device

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131129

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20131129

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140409

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140423

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140514

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20141023

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141112

A911 Transfer of reconsideration by examiner before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20141224

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150120

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150202

LAPS Cancellation because of no payment of annual fees