JP6186573B2 - Image processing apparatus and image processing method - Google Patents

Image processing apparatus and image processing method

Info

Publication number
JP6186573B2
JP6186573B2 JP2013163110A JP2013163110A JP6186573B2 JP 6186573 B2 JP6186573 B2 JP 6186573B2 JP 2013163110 A JP2013163110 A JP 2013163110A JP 2013163110 A JP2013163110 A JP 2013163110A JP 6186573 B2 JP6186573 B2 JP 6186573B2
Authority
JP
Grant status
Grant
Patent type
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013163110A
Other languages
Japanese (ja)
Other versions
JP2015033072A (en )
Inventor
理弘 小林
理弘 小林
健 三浦
健 三浦
平賀 督基
督基 平賀
Original Assignee
株式会社モルフォ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Grant date

Links

Images

Description

本発明は、画像処理装置及び画像処理方法に関する。 The present invention relates to an image processing apparatus and an image processing method.

従来、携帯電話等の小型の装置で画像の撮影を可能とするために、撮影のための装置の小型化が望まれている。 Conventionally, in order to enable the captured images in small devices such as mobile phones, miniaturization of the apparatus for photographing it is desired. また、携帯電話等の小型の装置により、高解像度であり且つ広範囲の画像を取得することも望まれている。 Further, the small device such as a mobile phone, it is also desired to and a high resolution to obtain a wide range of images. 小型化したレンズ及びセンサ素子をアレイ状に配置し、各センサ素子により取得される画像を合成して、高解像度且つ広範囲の画像を取得する技術が知られている(例えば、特許文献1参照)。 The lens and sensor element is miniaturized and arranged in an array, by combining the images obtained by the sensor elements, a technology is known to obtain a high resolution and a wide range of images (for example, see Patent Document 1) .

国際公開2009/151903号 WO 2009/151903

上記従来技術のように、複数のわずかに異なる撮影位置から同シーンについて撮影した画像から高解像度の画像を構成する技術は、超解像技術として知られている。 As mentioned above prior art, a technique for constituting a high-resolution image from the image captured for the same scene from different photographing positions to a plurality of small is known as super-resolution technique. しかしながら、出力される画像の解像度を高めるために、同シーンについての撮影回数を多くする等して、出力される画像のための情報量を多く用意したとしても、ノイズや点広がり関数の推定、位置合わせの精度などの影響により、無制限に高解像度化することは困難である。 However, in order to increase the resolution of an image to be output, the estimation of the like, the amount of information even if many prepared, noise and point spread function for the image output to increase the number of imaging operations for the same scene, the influence of the alignment accuracy, it is difficult to high resolution indefinitely.
この制限は、“Fundamental Limits of Reconstruction-Based SuperresolutionAlgorithms under Local Translation”、[online]、[平成25年7月18日検索]、インターネット<URL:http://research.microsoft.com/pubs/69073/2004-TPAMI-SR.pdf> に述べられているように、個々のセンサ素子の解像度の1.6倍が、理論上及び実用上の限界とされている。 This restriction, "Fundamental Limits of Reconstruction-Based SuperresolutionAlgorithms under Local Translation", [online], [2013 July 18, the search], Internet <URL: http: //research.microsoft.com/pubs/69073/ as he described in 2004-TPAMI-SR.pdf>, 1.6 times the individual sensor elements resolutions have been theoretically and practical limitations.

また、上記従来技術では、レンズ及びセンサ素子からなるカメラを多く用いるため、製造工程における歩留まりが低下する。 Further, in the conventional art, for using many cameras consisting of a lens and a sensor element, the yield in the manufacturing process is reduced.

そこで、本発明は、歩留まりの低下を防止しながら、レンズ及びイメージセンサからなるカメラを複数配列することにより高解像度の画像を取得する画像処理装置及び画像処理方法を提供することを目的とする。 Accordingly, an object of the present invention to provide an image processing apparatus and image processing method for obtaining a high-resolution image by while preventing reduction in yield, arranging a plurality of cameras consisting of a lens and an image sensor.

本発明の一側面に係る画像処理装置は、レンズ及びイメージセンサからなるカメラモジュールを複数含むカメラアレイと、カメラアレイの各カメラモジュールから出力される複数の画像を合成して合成画像を出力する出力部と、備え、カメラアレイは、複数のカメラモジュールからなるモジュールブロックを複数含み、一のモジュールブロックに含まれる複数のカメラモジュールのレンズは略同方向の光軸を有し、各モジュールブロックのカメラモジュールのレンズの光軸方向は互いに異なる。 The image processing apparatus according to an aspect of the present invention outputs a camera array comprising a plurality of camera module including a lens and an image sensor, a synthesized and combined image a plurality of image output from the camera module of the camera array output and parts, with the camera array includes a plurality of modules blocks comprising a plurality of camera modules, having an optical axis substantially in the same direction of the lens plurality of camera module included in one module block, each module block cameras optical axis direction of the module of the lens are different from each other.

本発明の一側面に係る画像処理方法は、レンズ及びイメージセンサからなるカメラモジュールを複数含むカメラアレイを備える画像処理装置であって、カメラアレイは、複数のカメラモジュールからなるモジュールブロックを複数含む、画像処理装置における画像処理方法であって、カメラモジュールの各々が画像を取得する取得ステップと、モジュールブロックに含まれる各カメラモジュールから出力される複数の画像を超解像処理により合成して、該カメラモジュールが出力する画像の解像度より高い解像度を有する超解像画像を該モジュールブロックごとに生成ステップと、複数のモジュールブロックに対応する複数の超解像画像を2次元的に配した合成画像を出力する出力ステップと、を有し、一のモジュールブロックに含まれる複 Image processing method according to an aspect of the present invention is an image processing apparatus including a camera array comprising a plurality of camera module including a lens and an image sensor, the camera array includes a plurality of modules blocks comprising a plurality of camera modules, an image processing method in an image processing apparatus, an acquisition step of each camera module acquires the image, a plurality of image output from the camera module included in the module block synthesized by super-resolution processing, the a generation step of super-resolution image having a higher resolution of the image to the camera module output resolution for each said module block, a composite image which arranged a plurality of super-resolution images corresponding to a plurality of modules blocks two-dimensionally has an output step of outputting, a multi included in one module block のカメラモジュールのレンズは略同方向の光軸を有し、各モジュールブロックのカメラモジュールのレンズの光軸方向は互いに異なる。 The camera module lens substantially has an optical axis in the same direction, the optical axis direction of the lens of the camera module of each module blocks are different from each other.

上記側面によれば、一のモジュールブロックに含まれる複数のカメラモジュールが、略同方向の光軸を有するので、それらのカメラモジュールから出力される複数の画像に基づき、いわゆる超解像の画像を生成できる。 According to the above aspect, a plurality of camera module included in one module block, since substantially has an optical axis in the same direction, based on a plurality of image output from those of the camera module, an image of the so-called super-resolution It can be generated. また、各モジュールブロックのカメラモジュールの光軸方向が互いに異なるので、モジュールブロックごとに生成された超解像の画像を2次元に配列して合成するいわゆるスティッチングにより広範囲な画像を出力できる。 Further, since the optical axis of the camera module of each module blocks are different from each other, it outputs a wide range of images by a so-called stitching that by arranging the image of the super-resolution image is generated for each module block in the two-dimensional synthesized. 即ち、カメラアレイのカメラモジュールから出力される複数の画像を合成することにより、広範囲かつ高解像度の画像を取得できる。 That is, by combining the images output from the camera module of the camera array, can acquire an image of wide range and high resolution. また、略同方向の光軸を有するカメラモジュールを複数有するので、撮像対象に対する距離の測定が可能になる。 Further, since a plurality of substantially camera module having an optical axis in the same direction, it is possible to measure the distance to the imaging object. また、複数のカメラモジュールが配列されたカメラアレイにより撮像するので、一のカメラモジュールによる撮像と比較して、より多くの光量を得ることが可能となる。 Further, since the plurality of camera modules are captured by the camera array arranged, as compared to imaging according to one of the camera module, it is possible to get more light amount.

別の側面に係る画像処理装置では、モジュールブロックは、赤色情報を取得可能な赤色カメラモジュール、緑色情報を取得可能な緑色カメラモジュール、青色情報を取得可能な青色カメラモジュール、及びベイヤ配列のカラーフィルタを有するベイヤ型カメラモジュールを少なくとも一つずつ含む。 The image processing apparatus according to another aspect, the module block, which can be red camera module acquires red information, green information obtainable green camera module, a blue information obtainable blue camera module, and a color filter of the Bayer array including one at least a Bayer type camera module having.

この側面によれば、一のモジュールブロックが、赤、緑及び青のそれぞれの色情報を取得可能なカメラモジュール並びにベイヤ配列カラーフィルタを有するカメラモジュールから構成されるので、これらのカメラモジュールから合成される超解像画像の各画素において、十分なR,G,Bの各色情報を得ることができる。 According to this aspect, one module block is red, because it is composed of a camera module having a green and each camera module and a Bayer array color filter capable acquires color information of the blue, are synthesized from these camera module that in each pixel of the super-resolution image can be obtained sufficient R, G, each color information of B.

さらに別の側面に係る画像処理装置では、出力部は、モジュールブロックに含まれる各カメラモジュールから出力される複数の画像を超解像処理により合成して、該カメラモジュールが出力する画像の解像度より高い解像度を有する超解像画像を該モジュールブロックごとに生成し、複数のモジュールブロックに対応する複数の超解像画像を2次元的に配した合成画像を出力する。 In still image processing apparatus according to another aspect, the output unit, a plurality of image output from the camera module included in the module block synthesized by super-resolution processing, than the resolution of the image to the camera module outputs the super-resolution image having a high resolution is generated for each said module block, and outputs a composite image which arranged a plurality of super-resolution image two-dimensionally corresponding to a plurality of modules blocks.

この側面によれば、一のモジュールブロックに含まれる複数のカメラモジュールから出力される複数の画像に基づき超解像画像が生成され、生成された超解像画像を配列した合成画像が生成されるので、カメラアレイの複数のカメラモジュールからの画像に基づき、広範囲かつ高解像度の画像を出力できる。 According to this aspect, the super-resolution image is generated based on the plurality of images output from a plurality of camera modules included in one module block, the composite image is generated in which an array of super-resolution image generated since, based on the images from multiple camera modules of the camera array, can output an image of a wide range and high resolution.

別の側面に係る画像処理装置では、各モジュールブロックにおけるカメラモジュールに欠陥があることを示す欠陥情報をモジュールブロックごとに取得する取得部と、取得部により取得された欠陥情報を記憶する記憶部と、をさらに備え、出力部は、記憶部に記憶された欠陥情報に応じて、欠陥を有するカメラモジュール以外のカメラモジュールから出力される画像により欠陥を有するカメラモジュールからの画像を補完する補完処理を行う。 The image processing apparatus according to another aspect, an acquisition unit that acquires defect information for each module block that indicates that there is a defect in the camera module in each module block, a storage unit for storing the defect information acquired by the acquisition unit , further comprising a output unit, in accordance with the stored defect information in the storage unit, the complementary processing to supplement the images from the camera module having a defect by the image output from the camera module other than the camera module having a defective do.

別の側面に係る画像処理方法では、各モジュールブロックにおけるカメラモジュールに欠陥があることを示す欠陥情報をモジュールブロックごとに取得する欠陥情報取得ステップと、取得ステップにおいて取得された欠陥情報に応じて、欠陥を有するカメラモジュール以外のカメラモジュールから出力される画像により欠陥を有するカメラモジュールからの画像を補完する補完処理を行う補完ステップと、を更に有する。 The image processing method according to another aspect, the defect information acquisition step of acquiring defect information for each module block that indicates that there is a defect in the camera module in each module block, in accordance with the obtained defect information in acquiring step, further comprising a complementary step of performing interpolation processing for complementing the image from the camera module having a defect by the image output from the camera module other than the camera module having a defect, a.

この側面によれば、カメラモジュールの欠陥情報に応じて、欠陥を有するカメラモジュール以外のカメラモジュールから出力される画像により補完処理を行いながら適切に超解像画像を生成可能であるので、カメラモジュールに欠陥がある場合であっても、必ずしも当該装置が不良品にならない。 According to this aspect, according to the defect information of the camera module, properly since it is capable of generating a super-resolution image while the complementary processing by the image output from the camera module other than the camera module having a defect, a camera module even if there is a defect in, necessarily the device does not become defective. したがって、当該装置の歩留まりが向上する。 Thus, the yield of the device is improved. 特に、一のモジュールブロックに含まれる各カメラモジュールが、ベイヤ型カメラモジュール並びに赤色、緑色及び青色カメラモジュールにより構成される場合には、欠陥情報に応じて、欠陥があるカメラモジュール以外の他のカメラモジュールからの画像に基づき適切に補完が行われるので、生成される画像の画質の低下が最小限に抑えながら、歩留まりの向上が図られる。 In particular, each camera module included in one module block, Bayer type camera module and red, when the green and constituted by blue camera module in accordance with the defect information, other cameras than the camera module is defective since the image properly complemented based on from the module is carried out, degradation in image quality of an image to be generated while minimizing, improvement of the yield can be improved.

さらに別の側面に係る画像処理装置では、カメラアレイは、モジュールブロック間のカメラモジュールのレンズの光軸方向を異ならせるための非対称型のレンズを有するカメラモジュールを含み、カメラアレイに含まれる複数のカメラモジュールは、同一平面上に構成される。 In still image processing apparatus according to another aspect, the camera array includes a camera module having an asymmetric lens for varying the optical axis of the camera module lens between modules blocks, a plurality included in the camera array the camera module is configured in the same plane.

この側面によれば、カメラアレイが、カメラモジュールのレンズの光軸の方向を異ならせるために非対称型のレンズを有するカメラモジュールを含んで構成される。 According to this aspect, the camera array is configured to include a camera module having an asymmetric lens in order to vary the direction of the optical axis of the camera module lens. これにより、カメラアレイの複数のカメラモジュールを同一平面上に構成できる。 This enables to configure multiple camera module of the camera array on the same plane. 従って、当該画像処理装置を薄型化できる。 Therefore, thinning the image processing apparatus.

さらに別の側面に係る画像処理装置では、モジュールブロックは、第1の方向及び該第1の方向に略直交する第2の方向の2列ずつ2次元的に配列された4つのカメラモジュールにより構成され、カメラアレイは、第1の方向及び第2の方向に2列ずつ2次元的に配列された4つのモジュールブロックにより構成される。 In still image processing apparatus according to another aspect, the module block is constituted by the first and second directions four camera module are two-dimensionally arranged by two rows of substantially orthogonal to the first direction is, the camera array is composed of a first direction and by a second two rows in the direction of the two-dimensionally arranged four modules blocks.

この側面によれば、各モジュールブロックにおいて第1及び第2の方向に2列ずつ2次元に配列された4つのカメラモジュールにより出力される画像に基づき超解像画像が生成され、各モジュールブロックに対応する4つの超解像画像が第1及び第2の方向に2列ずつ2次元に配列された合成画像が出力される。 According to this aspect, the first and second directions in the super-resolution image based on the image output by the four cameras modules arranged two-dimensionally by two columns are generated in each module block, each module block four corresponding composite image super resolution image are arranged in a two-dimensional by two rows in the first and second directions are output.

本発明によれば、歩留まりの低下を防止しながら、レンズ及びイメージセンサからなるカメラを複数配列することにより高解像度の画像を取得する画像処理装置及び画像処理方法を提供できる。 According to the present invention, while preventing reduction in yield, it is possible to provide an image processing apparatus and image processing method for obtaining a high-resolution image by arranging a plurality of cameras consisting of a lens and an image sensor.

画像処理装置の機能的校正を示すブロック図である。 It is a block diagram showing a functional calibration of the image processing apparatus. モジュールブロック及びカメラアレイの構成を模式的に示す図である。 The configuration of the module block and the camera array is a diagram schematically illustrating. カメラモジュールのレンズの光軸方向に略直行する方向からカメラアレイ2の一部を見た様子を模式的に示す図である。 The picture obtained by viewing a portion of the camera array 2 from a direction substantially perpendicular to the optical axis of the camera module lens is a diagram schematically illustrating. 超解像処理部により実施される超解像処理の例を模式的に示す図である。 Examples of super-resolution processing performed by the super-resolution processing unit is a diagram schematically illustrating. スティッチング処理部により実施されるスティッチング処理の例を模式的に示す図である。 Examples of stitching process performed by the stitching unit is a diagram schematically illustrating. 欠陥を有するカメラモジュールが含まれない一のモジュールブロックに対応する超解像画像の生成の例を模式的に示す図である。 An example of generation of the super-resolution image corresponding to one module block that does not include a camera module having a defect is a diagram schematically illustrating. 赤色カメラモジュールが欠陥を有する一のモジュールブロックに対応する超解像画像の生成の例を模式的に示す図である。 An example of generation of the super-resolution image red camera module corresponds to one module block having a defect is a diagram schematically illustrating. 一のモジュールブロックにおいて発生しうるカメラモジュールのレンズの欠陥パターンごとの、当該欠陥パターンの発生確率、当該欠陥パターン発生時の画像の質、当該欠陥パターン発生時における画像の質の期待値を示すテーブルである。 Table indicating for each defect pattern of one module of a camera module that can occur at block lens, occurrence probability of the defect pattern, the quality of the image at the time of the defective pattern generation, the expected value of the image quality at the time of the defective pattern generator it is. 実施形態にかかる画像処理装置の動作を示すフローチャートである。 Is a flowchart showing the operation of the image processing apparatus according to the embodiment.

本発明の知見は、例示として示された添付図面を参照して以下の詳細な記述を考慮することによって容易に理解できる。 Findings of the present invention can be readily understood by considering the following detailed description with reference to the accompanying drawings shown as examples. 引き続いて、添付図面を参照しながら、本発明の画像処理装置及び画像処理方法の実施の形態を説明する。 Referring to the accompanying drawings, an embodiment of the image processing apparatus and an image processing method of the present invention. 可能な場合には、同一の部分には同一の符号を付する。 When possible, the same portions will be denoted by the same reference numerals.

図1は、本実施形態に係る画像処理装置を示すブロック図である。 Figure 1 is a block diagram showing an image processing apparatus according to this embodiment. 図1に示すように、画像処理装置1は、カメラアレイ2及び出力部3を含む。 As shown in FIG. 1, the image processing apparatus 1 includes a camera array 2 and the output section 3.

カメラアレイ2は、複数のカメラモジュールを含むモジュールブロック21を4つ含む。 Camera array 2 includes four modules block 21 including a plurality of camera module. なお、図1に示す例では、カメラアレイ2は、4つのモジュールブロック21を含むこととしているが、カメラアレイ2に含まれるモジュールブロックの数は4つに限定されない。 In the example shown in FIG. 1, the camera array 2 has an include four modules block 21, the number of modules blocks included in the camera array 2 is not limited to four. 一のモジュールブロック21は、後に図2等を参照して説明するように、4つのカメラモジュール22を含む。 One module block 21, as will be described later with reference to FIG. 2 and the like, including four camera modules 22. カメラモジュール22は、レンズ及びイメージセンサからなり、撮像対象の画像を取得する。 The camera module 22 is made of a lens and the image sensor acquires an image of the imaging object.

画像処理装置1は、ホワイトバランス処理部WBを含む。 The image processing apparatus 1 includes a white balance processing unit WB. ホワイトバランス処理部WBは、カメラアレイ2の各モジュールブロック21のカメラモジュールから出力される画像情報に対して、ホワイトバランス処理を適宜実施する。 The white balance processing unit WB, to the image information output from the camera module for each module block 21 of the camera array 2, as appropriate implement white balance processing. また、ホワイトバランス処理部WBは、各モジュールブロック21から出力される画像情報に対して、ガンマ補正処理を適宜実施できる。 Also, the white balance processing unit WB, to the image information output from each module block 21 can be suitably carried out gamma correction processing. ホワイトバランス処理部WBは、各モジュールブロック21のカメラモジュールから出力される画像に対して適宜処理を実施し、処理後の画像情報を出力部3における、各モジュールブロック21に対応する超解像処理部SRに送出する。 White balance processing section WB is appropriately processing performed on the image output from the camera module for each module block 21, at the output 3 of the image information after the super-resolution processing corresponding to each module block 21 and it sends it to the department SR.

出力部3は、カメラアレイの各カメラモジュールから出力される複数の画像を合成して合成画像を出力する部分であって、超解像処理部SR及びスティッチング処理部STを含む。 The output unit 3 is a part that a plurality of image output from the camera module of the camera array synthesis and outputs a composite image, including the super-resolution processing unit SR and stitching processing unit ST.

超解像処理部SRは、モジュールブロック21に含まれる複数のカメラモジュールからの各画像情報に基づき超解像処理を実施して、当該カメラモジュールが出力する画像の解像度よりも高い解像度を有する超解像画像を生成する部分である。 Super-resolution processing unit SR is ultra having to implement the super-resolution processing based on the image information from a plurality of camera modules included in the module block 21, a resolution higher than the resolution of the image to which the camera module outputs a part for generating the resolution image. 本実施形態では、一のモジュールブロックはカメラモジュールを4つ含むので、超解像処理部SRは、各カメラモジュールが撮像した4つの画像情報に基づき超解像処理を実施して、一の超解像画像を生成する。 In the present embodiment, since one module block includes four camera modules, the super-resolution processing unit SR, each camera module to implement the super-resolution processing based on the four image information captured, one super to generate the resolution image. また、超解像処理部SRは、デモザイク処理を適宜実施する。 Further, super-resolution processing unit SR is appropriately carried demosaicing.

スティッチング処理部STは、モジュールブロック21ごとに超解像処理部SRにより生成された超解像画像を2次元に配列して合成するいわゆるスティッチング処理を実施する部分である。 Stitching processing unit ST is a portion for carrying out the so-called stitching process by arranging a super-resolution image generated by the super-resolution processing unit SR for each module block 21 in a two-dimensional synthesized. また、スティッチング処理に際して、合成される各画像の位置合わせが必要であるので、スティッチング処理部STは、各超解像画像に対する位置合わせを行うジオメトリック補正を適宜実施しながらスティッチング処理を行う。 Also, when the stitching process, since it is necessary to align the respective images are synthesized, the stitching processing unit ST is the stitching process while appropriately performing the geometric correction to align with respect to each of the super-resolution image do.

出力部3は、超解像処理及びスティッチング処理により得られた合成画像をメモリMに出力する。 The output unit 3 outputs a composite image obtained by the super-resolution processing and stitching process in the memory M. なお、出力部3は、画像を表示する表示手段に合成画像を出力することとしてもよい。 The output unit 3 may output the synthesized image to a display means for displaying an image. また、画像処理装置1は、欠陥情報取得部4及び欠陥情報記憶部5を更に有する。 The image processing apparatus 1 further comprises a defect information acquisition unit 4 and the defect information storage unit 5.

図2は、モジュールブロック及びカメラアレイの構成を模式的に示す図である。 Figure 2 is a diagram schematically showing the configuration of a module block and the camera array. 図2(a)は、一のモジュールブロック21に含まれるカメラモジュール22の構成を示す図である。 2 (a) is a diagram showing a configuration of a camera module 22 included in one module block 21. 図2(a)に示すように、モジュールブロック21は、第1の方向(紙面縦方向)及び第1の方向に略直交する第2の方向(紙面横方向)に2列ずつ2次元的に配列された4つのカメラモジュール22により構成される。 As shown in FIG. 2 (a), the module block 21, a first direction (toward the longitudinal direction) and by two columns and two-dimensionally in the first second direction substantially perpendicular to the direction (toward the lateral direction) It composed of four camera modules 22 arranged. 具体的には、モジュールブロック21は、赤色カメラモジュール22 、緑色カメラモジュール22 、青色カメラモジュール22 及びベイヤ型カメラモジュール22 BYを有する。 Specifically, the module block 21 has red camera module 22 R, green camera module 22 G, the blue camera module 22 B and Bayer type camera module 22 BY.

赤色カメラモジュール22 は、カラーフィルタにより赤色成分のみを取得するように構成されている。 Red camera module 22 R is configured so as to acquire only the red component by the color filter. 緑色カメラモジュール22 は、カラーフィルタにより緑色成分のみを取得するように構成されている。 Green camera module 22 G is configured to acquire only the green component by the color filter. 青色カメラモジュール22 は、カラーフィルタにより青色成分のみを取得するように構成されている。 Blue camera module 22 B is configured to acquire only the blue component by the color filter.

ベイヤ型カメラモジュール22 BYは、ベイヤ配列のカラーフィルタを有する。 Bayer type camera module 22 BY has a color filter of the Bayer array. 即ち、ベイヤ型カメラモジュール22 BYにより取得される画素情報のうち、50%は緑色の画素情報、25%は赤色の画素情報、25%は青色の画素情報である。 That is, among the pixel information acquired by the Bayer type camera module 22 BY, 50% green pixel information, the 25% red pixel information, the 25% a blue pixel information.

一のモジュールブロック21に含まれる4つのカメラモジュール22 ,22 ,22 ,22 BYのレンズは、略同方向の光軸を有する。 Four camera module 22 included in one module block 21 R, 22 G, 22 B, 22 BY lens, substantially it has an optical axis in the same direction. これにより、それらのカメラモジュールから出力される複数の画像に基づき、いわゆる超解像画像の生成が可能となる。 Thus, based on a plurality of image output from those of the camera module, it is possible to produce a so-called super-resolution images. また、複数のカメラモジュール22 ,22 ,22 ,22 BYが略同方向の光軸を有することにより、これらのカメラモジュールは略同一の視野を有することとなるので、取得された画像に基づき、撮像対象までの距離の測定が可能となる。 Further, since the plurality of camera modules 22 R, 22 G, 22 B , 22 BY has substantially the optical axis in the same direction, since these camera modules will have substantially the same field of view, the obtained image based, it is possible to measure the distance to the imaging object.

図2(b)は、カメラアレイ2に含まれるモジュールブロック21の構成を示す図である。 2 (b) is a diagram showing a configuration of a module block 21 included in the camera array 2. 図2(b)に示すように、カメラアレイ2は、第1の方向(紙面縦方向)及び第1の方向に略直交する第2の方向(紙面横方向)に2列ずつ2次元的に配列された4つのモジュールブロック21 ,21 ,21 ,21 を有する。 As shown in FIG. 2 (b), the camera array 2, a first direction (toward the longitudinal direction) and by two columns and two-dimensionally in the first second direction substantially perpendicular to the direction (toward the lateral direction) four modules blocks 21 1 arranged, 21 2, 21 3, having 21 4. また、モジュールブロック21 ,21 ,21 ,21 のそれぞれが有するカメラモジュール22のレンズは、互いに異なる光軸方向X ,X ,X ,X を有する。 Further, the module block 21 1, 21 2, 21 3, 21 4 of the lens of the camera module 22, each having has a different optical axis X 1, X 2, X 3, X 4 together. 即ち、モジュールブロック21 1〜4は、それぞれ異なる視野を有するので、それぞれの光軸方向及び視野に応じた画像を取得する。 That is, the module block 21 1-4 because it has a different field of view, respectively, to obtain an image corresponding to the respective optical axis direction and field of view. 従って、出力部3のスティッチング処理部STは、各モジュールブロック21 1〜4からの画像に基づき生成された4つの超解像画像に対して、スティッチング処理を実施することにより、広範囲の視野を捉えた合成画像を生成できる。 Thus, stitching processing unit ST of the output unit 3, the four super-resolution image generated based on an image from each module block 21 1-4, by performing the stitching process, a wide range of field of view It can generate a composite image which caught.

図3は、カメラモジュール22のレンズの光軸方向に略直行する方向からカメラアレイ2の一部を見た様子を模式的に示す図である。 Figure 3 is a picture obtained by viewing a portion in a direction substantially perpendicular to the optical axis direction of the lens of the camera module 22 of the camera array 2 is a diagram schematically showing. カメラアレイ2のカメラモジュール22は、レンズr及びイメージセンサsを含む。 The camera module 22 of the camera array 2 includes a lens r and an image sensor s. 本実施形態のカメラアレイ2では、モジュールブロック21ごとに異なる視野の画像を取得するために、各モジュールブロック21は、互いに異なる光軸方向Xを有する。 In the camera array 2 of the present embodiment, in order to obtain a different field of view images for each module block 21, each module block 21 has a different optical axis X from one another. 本実施形態では、各モジュールブロック21のレンズの光軸方向Xを異ならせるために、カメラアレイ2は、非対称型のレンズを有するカメラモジュール22を含んで構成される。 In the present embodiment, configured for varying the optical axis X of the lens of each module block 21, the camera array 2 includes a camera module 22 having an asymmetric lens. このように、非対称型のレンズにより光軸方向Xを互いに異ならせることにより、カメラアレイ2に含まれる複数のカメラモジュール22を同一平面P上に構成することが可能となる。 Thus, by varying the optical axis direction X from each other by asymmetric lens, a plurality of camera modules 22 included in the camera array 2 can be formed on the same plane P. 従って、そのようなカメラアレイ2を含んで構成される画像処理装置1を薄型化できる。 Therefore, thinner composed image processing apparatus 1 comprising such a camera array 2.

図4は、超解像処理部SRにより実施される超解像処理の例を模式的に示す図である。 Figure 4 is a diagram schematically showing an example of a super-resolution processing performed by the super-resolution processing unit SR. 図4において、大きい黒点は、モジュールブロック21の赤色カメラモジュール22 から出力された画素情報を表し、R,G,Bといった文字を囲む白丸は、ベイヤ型カメラモジュール22 BYから出力された画素情報を表し、小さい黒点は、超解像処理部SRが生成する画素を表す。 4, large black dots represent pixel information outputted from the red camera module 22 R module block 21, R, G, the white circle surrounding the letter like B, pixel information outputted from the Bayer type camera module 22 BY the stands, small black dot represents a pixel super-resolution processing unit SR is generated. なお、図4では、カメラモジュール22から出力された画素のうち、緑色及び青色カメラモジュールから出力された画素は、図示の都合上省略されている。 In FIG. 4, among the pixels which are output from the camera module 22, the pixels which are output from the green and blue camera module, are omitted for convenience of illustration. 超解像処理部SRは、赤色カメラモジュール22 からの画素情報P R1 ,P R2 ,P R3 ,P R4及びベイヤ型カメラモジュール22 BYからの画素情報P BY1 ,P BY2 ,P BY3 ,P BY4 ,P BY5 ,P BY6を、適宜重み付けをして合成することにより、超解像画像の画素情報P を算出する。 Super-resolution processing unit SR is pixel information P R1 from the red camera module 22 R, P R2, P R3 , pixel information from P R4 and Bayer type camera module 22 BY P BY1, P BY2, P BY3, P BY4 the P BY5, P BY6, by combining with the appropriate weighting, to calculate the pixel information P 0 of the super-resolution image.

図5は、スティッチング処理部STにより実施されるスティッチング処理の例を模式的に示す図である。 Figure 5 is a diagram schematically showing an example of a stitching process performed by the stitching unit ST. 図5において、画像G 1〜4はそれぞれ、モジュールブロック21 1〜4のそれぞれから出力された画像に基づき生成された超解像画像を示す。 5, each image G 1-4 shows a super-resolution image generated based on the image output from the respective module blocks 21 1-4. スティッチング処理部STは、画像G 1〜4に対して適宜位置合わせを行った上で2次元的に配して合成することにより、合成画像G OUTを出力する。 Stitching processing unit ST by synthesizing by arranging two-dimensionally after performing appropriate alignment for the image G 1 to 4, and outputs the composite image G OUT.

次に、モジュールブロック21に含まれるカメラモジュールに製造工程において欠陥が発生した場合の補完処理について説明する。 Next, the defect in the manufacturing process to a camera module contained in the module block 21 will be described complementary process in the event of their occurrence. 画像処理装置1は、前述のとおり、補完処理のために、欠陥情報取得部4及び欠陥情報記憶部5を有する。 The image processing apparatus 1, as described above, for supplementation processing, with the defect information acquisition unit 4 and the defect information storage unit 5.

欠陥情報取得部4は、各モジュールブロック21におけるカメラモジュール22に欠陥があることを示す欠陥情報をモジュールブロックごとに取得する部分である。 Defect information acquisition unit 4 is a portion for acquiring defect information indicating a defect in the camera module 22 in each module block 21 for each module block. 具体的には、カメラモジュール22の欠陥の有無を検出可能な方法により、各モジュールブロック21におけるカメラモジュール22のレンズまたはイメージセンサの欠陥の有無が検査され、欠陥情報取得部4は、欠陥の有無及び欠陥がある場合にはどのカメラモジュール22が欠陥を有するのか、といった欠陥情報をモジュールブロック21ごとに取得する。 Specifically, with a detectable way the presence or absence of a defect in the camera module 22, the presence or absence of a defect of a lens or an image sensor of the camera module 22 in each module block 21 is examined, the defect information acquisition unit 4, the presence or absence of a defect and which camera module 22 when there is a defect or has a defect, such as to acquire defect information for each module block 21. 欠陥情報記憶部5は、欠陥情報取得部4により取得された欠陥情報を記憶する。 Defect information storage unit 5 stores the defect information acquired by the defect information acquisition unit 4.

そして、出力部3は、一のモジュールブロック21に対応する超解像画像の生成に際して、欠陥情報記憶部5に記憶された欠陥情報に応じて、欠陥を有するカメラモジュール以外のカメラモジュールから出力される画像により、欠陥を有するカメラモジュールからの画像を補完する補完処理を行う。 The output unit 3, upon generation of the super-resolution image corresponding to one of the module block 21, depending on the defect information stored in the defect information storage unit 5, output from the camera module other than the camera module having a defective by that image, it performs the complementary processing to supplement the images from the camera module having a defect.

図6は、欠陥を有するカメラモジュール22が含まれない一のモジュールブロック21に対応する超解像画像の生成の例を模式的に示す図である。 Figure 6 is a diagram showing an example of generation of super-resolution image corresponding to one of the module block 21 which is not included camera module 22 having a defective schematically. 図6に示すように、一のモジュールブロック21が欠陥を有するカメラモジュール22を含まない場合には、赤色カメラモジュール22 からの赤色画像情報G 、緑色カメラモジュール22 からの緑色画像情報G 、青色カメラモジュール22 からの青色画像情報G 、及びベイヤ型カメラモジュール22 BYからのベイヤ画像情報G BYが取得される。 As shown in FIG. 6, when the first module block 21 does not include a camera module 22 having the defect, green image information G from the red image data G R, green camera module 22 G from the red camera module 22 R G, blue image information G B from the blue camera module 22 B, and Bayer type camera module 22 Bayer image information G bY from bY are obtained. かかる場合において、出力部3の超解像処理部SRは、超解像画像の一の赤色画素情報P R01を、赤色画像情報G における対応画素の画素情報P R11 、及びベイヤ画像情報G BYにおける対応画素近傍の画素情報P R21 、P R31に適宜重み付けをしながら合成して生成する。 In such a case, the super-resolution processing section SR of the output section 3, the one red pixel information P R01 super resolution image, the pixel information P R11 of a corresponding pixel in the red image information G R, and Bayer image information G BY appropriate weighting the pixel data P R21, P R31 of a corresponding pixel neighborhood while generating synthesized in.

一方、図7は、赤色カメラモジュール22 が欠陥を有する一のモジュールブロック21に対応する超解像画像の生成の例を模式的に示す図である。 On the other hand, FIG. 7 is a diagram schematically showing an example of the generation of the super-resolution image red camera module 22 R corresponds to one module block 21 having a defect. 図7に示すように、一のモジュールブロック21の赤色カメラモジュール22 に欠陥を有する場合には、赤色カメラモジュール22 からの画像情報は取得されず、緑色カメラモジュール22 からの緑色画像情報G 、青色カメラモジュール22 からの青色画像情報G 、及びベイヤ型カメラモジュール22 BYからのベイヤ画像情報G BYが取得される。 As shown in FIG. 7, if it has a defect in the red camera module 22 R of one module block 21, the image information from the red camera module 22 R is not acquired, green image information from the green camera module 22 G G G, blue image information G B from the blue camera module 22 B, and Bayer type camera module 22 Bayer image information G bY from bY are obtained. かかる場合において、出力部3の超解像処理部SRは、超解像画像の一の赤色画素情報P R02を、ベイヤ画像情報G BYにおける対応画素の画素情報P G32及び対応画素近傍の画素情報P R12 、P R22 、緑色画像情報G における対応画素の画素情報P G62及び対応画素近傍の画素情報P G72 、P G82並びに青色画像情報G における対応画素近傍の画素情報P B42 、P B52に適宜重み付けをしながら合成して生成する。 In such a case, the super-resolution processing section SR of the output section 3, the one red pixel information P R02 super resolution image, the pixel information P G32 and the pixel information of the corresponding pixels near the corresponding pixel in the Bayer image information G BY P R12, P R22, the green image data pixel information of the pixel information P G62 and the corresponding pixels near the corresponding pixel in the G G P G72, P G82 and blue image information pixel information of the corresponding pixel neighborhood in G B P B42, P B52 generating synthesized with the appropriate weighting. このように、出力部3は、赤色カメラモジュール22 からの画像情報がない場合であっても、一のモジュールブロック21に対応する超解像画像を生成できる。 Thus, the output unit 3, even if there is no image information from the red camera module 22 R, can be generated super-resolution image corresponding to one of the module block 21.

図8は、一のモジュールブロック21において発生しうるカメラモジュール22のレンズの欠陥パターンごとの、当該欠陥パターンの発生確率、当該欠陥パターン発生時の画像の質、当該欠陥パターン発生時における画像の質の期待値を示すテーブルである。 8, for each defect pattern of one of the module block 21 the camera module 22 that may occur in the lens, occurrence probability of the defect pattern, the quality of the image at the time of the defective pattern generation, the quality of the image when the defect pattern generator is a table showing the expected value. このテーブルでは、カメラモジュール22の1個のレンズの歩留まりを98%と仮定している。 In this table, and the yield of one lens of the camera module 22 assumes that 98%. 図8のテーブルによれば、例えば、一のモジュールブロック21においてカメラモジュール22に欠陥が発生しない確率は92.24%であり、この場合の画像の質は100%である。 According to the table of FIG. 8, for example, the probability of defects in the camera module 22 will not occur in one module block 21 is 92.24%, the quality of the image in this case is 100%. このときの画像の質の期待値は、発生確率と画像の質の積として、92.24%と算出される(左から1番目のカラム参照)。 Expected value of the quality of the image at this time, as the product quality of the occurrence probability and an image is calculated to be 92.24% (see the first column from the left).

また、例えば、一のモジュールブロック21において赤色カメラモジュール22 だけに欠陥が発生する確率は1.88%であって、この場合の補完処理によって得られる画像の質は75%となる(左から4番目のカラム参照)。 Further, for example, the probability that defects are generated only red camera module 22 R in one of the module block 21 is 1.88 percent, from quality is 75% (left image obtained by complementing process in this case see the fourth column). このときの画像の質の期待値は、1.41%と算出される。 Expected value of the quality of the image at this time is calculated 1.41%.

図8に示される全ての欠陥パターンを考慮した、一のモジュールブロック21のトータルの歩留まりは、99.53%と算出され、トータルの画像の質の期待値は、97.94%と算出される。 All defect pattern considering the yield of total of one module block 21 shown in FIG. 8 is calculated as 99.53%, the expected value of the quality of the total image is calculated to be 97.94% .

このように、一のモジュールブロック21に、欠陥を有するカメラモジュール22が含まれる場合であっても、カメラモジュール22の欠陥情報に応じて、欠陥を有するカメラモジュール22以外のカメラモジュール22から出力される画像により補完処理を行いながら適切に超解像画像を生成可能である。 Thus, in one module block 21, even if it contains a camera module 22 having a defect, according to the defect information of the camera module 22, output from the camera module 22 other than the camera module 22 having a defective a suitably be generated super-resolution image while the complementary processing with that image. これにより、カメラモジュール22に欠陥がある場合であっても、当該モジュールブロック21を含む装置自体は必ずしも不良品とはならず、一定以上の良好な歩留まり及び画像の質を得ることができる。 Accordingly, even when the camera module 22 is defective, the apparatus itself including the module block 21 is not necessarily defective, it is possible to obtain a quality above a certain good yield and images. 特に、一のモジュールブロックに含まれる各カメラモジュール22が、ベイヤ型カメラモジュール22 BY並びに赤色、緑色及び青色カメラモジュール22 ,22 ,22 により構成されているので、欠陥情報に応じて、欠陥があるカメラモジュール以外の他のカメラモジュールからの画像に基づき適切に補完が行われ、生成される画像の画質の低下が最小限に抑えながら、歩留まりの向上が図られる。 In particular, each camera module 22 included in one module block, Bayer type camera module 22 BY and red, which is configured by green and blue camera module 22 R, 22 G, 22 B, depending on the defect information, is performed image appropriately supplement based on from the other camera modules other than the camera module is defective, reduction in the quality of the image generated with minimal improvement in yield is achieved.

次に、図9を参照して、本実施形態の画像処理方法について説明する。 Next, with reference to FIG. 9, a description will be given of an image processing method of the embodiment. 図9は、実施形態にかかる画像処理装置1の動作を示すフローチャートである。 Figure 9 is a flowchart showing the operation of the image processing apparatus 1 according to the embodiment. まず、カメラアレイ2に含まれる各カメラモジュール22は、撮像対象の画像情報を取得する(S1)。 First, the camera module 22 included in the camera array 2 acquires the image information of the imaged object (S1).

次に、欠陥情報取得部4は、各モジュールブロック21におけるカメラモジュール22に欠陥があることを示す欠陥情報をモジュールブロック21ごとに取得し、欠陥情報記憶部5に記憶させる。 Then, the defect information acquisition unit 4 acquires the defect information indicating a defect in the camera module 22 in each module block 21 for each module block 21, is stored in the defect information storage unit 5. 欠陥情報は、カメラモジュール22の欠陥の有無を検出可能な方法により検査された結果を示す情報であって、各モジュールブロック21におけるカメラモジュール22のレンズまたはイメージセンサの欠陥の有無、及び欠陥がある場合にはどのカメラモジュール22が欠陥を有するのか、といった情報を含む。 Defect information is information indicating the result of the inspection for defects of the camera module 22 with a detectable way, presence or absence of a defect of a lens or an image sensor of the camera module 22 in each module block 21, and a defect whether having any camera module 22 is defective when, including information such as. そして、出力部3は、欠陥情報記憶部5を参照して、モジュールブロック21ごとに、欠陥を有するカメラモジュール22の有無を判定する(S2)。 The output unit 3 refers to the defect information storage unit 5, for each module block 21 determines (S2) whether the camera module 22 having a defect. 欠陥を有するカメラモジュール22が存在すると判定された場合には処理手順はステップS3に進められる。 If the camera module 22 having a defect is determined to exist the process proceeds to Step S3. 一方、欠陥を有するカメラモジュール22が存在すると判定されなかった場合には処理手順はステップS4に進められる。 On the other hand, if it is not determined that the camera module 22 having a defect exists process proceeds to Step S4.

ステップS3において、出力部3は、欠陥情報記憶部5に記憶された欠陥情報に応じて、モジュールブロック21ごとに、欠陥を有するカメラモジュール以外のカメラモジュールから出力される画像により、欠陥を有するカメラモジュールからの画像を補完する補完処理を行う(S3)。 In step S3, the output unit 3, depending on the defect information stored in the defect information storage unit 5, for each module block 21, the image output from the camera module other than the camera module having a defect, a camera having a defective performing complementary processing for complementing the image from module (S3).

続いて、ステップS4において、出力部3の超解像処理部SRは、モジュールブロック21に含まれる複数のカメラモジュールからの各画像情報に基づき超解像処理を実施して、超解像画像を生成する(S4)。 Subsequently, in step S4, the super-resolution processing section SR of the output unit 3 may implement the super-resolution processing based on the image information from a plurality of camera modules included in the module block 21, the super-resolution image generated (S4). さらに、出力部3のスティッチング処理部STは、モジュールブロック21ごとに生成された超解像画像を2次元に配列して合成するスティッチング処理を実施して、一の合成画像を生成する(S5)。 Furthermore, stitching processing unit ST of the output unit 3 may implement the stitching process to synthesize by arranging super-resolution images generated in each module block 21 in a two-dimensional, generating one of the composite image ( S5). そして、出力部3は、生成された合成画像を出力する(S6)。 The output unit 3 outputs the generated combined image (S6).

なお、本実施形態の画像処理装置1では、各カメラモジュール22からの複数の画像を合成するに際して、レンズの歪みに応じて発生する撮像された画像の歪みを補正する処理が必要である。 In the image processing apparatus 1 of the present embodiment, when synthesizing a plurality of images from each camera module 22, processing is required to correct the distortion of the captured image generated in accordance with the distortion of the lens. カメラモジュール22は、カメラアレイ2における配列位置に応じて、対称レンズまたは非対称レンズを有する。 The camera module 22, depending on the sequence position of the camera array 2 has a symmetrical lens or asymmetric lens. 対称レンズが用いられている場合には、既に確立された方法により補正が可能であって、レンズの歪み公式に則って歪み係数を推定し、カメラモジュール22から得られた画像に対して、推定した係数を適用した歪み公式を用いて入力画像の歪みを補正する。 If the symmetrical lens is used, there can be corrected by the method already established, estimates the distortion coefficient in accordance with the official lens distortion, the obtained image from the camera module 22, the estimated correcting distortion of the input image using the strain formulas of applying the coefficients.

一方、非対称レンズが用いられている場合には、歪みが不規則に生じるため、対称レンズの画像の補正に用いた歪み公式を用いることができない。 On the other hand, if the asymmetric lens is used, since the distortion occurs irregularly, it is not possible to use formulas strain used to correct the image of the symmetrical lens. 従って、この場合には、校正対称のカメラモジュール22を用いて、例えば市松模様(checkered pattern)の校正パターンを撮影した校正用画像を取得し、校正用画像における市松模様の各交点が、校正パターンにおける各交点と同様に位置するような、各画素の補正データを算出して記憶しておく。 Therefore, in this case, by using the camera module 22 of the calibration symmetry, for example a calibration checkerboard pattern (checkered pattern) acquires calibration image taken, each intersection of a checkered pattern in the calibration image is, the calibration pattern such as to be positioned in the same manner as the intersection of the, previously calculated and stored correction data for each pixel. なお、市松模様の各交点以外の部分に対応する画素の補正データについては、当該画素周囲の交点に対応する画素の補正データの内挿により補間して算出される。 Note that the correction data of the pixels corresponding to a portion other than the intersections of the checkered pattern, is calculated by interpolating the interpolation of correction data of a pixel corresponding to the intersection of the surrounding the pixel. そして、通常の撮像による画像取得時には、予め記憶した補正データを撮像した画像に適用して歪み補正が実施される。 Then, when image acquisition by conventional imaging, distortion correction is performed by applying the correction data previously stored in the image captured. この歪み補正は、例えば、図1における超解像処理部SRにおいて実施することが可能であって、超解像処理中(図9のフローチャートのステップS4)またはその直前に行われる。 The distortion correction is, for example, can be implemented in the super-resolution processing unit SR in FIG. 1, (step S4 in the flowchart of FIG. 9) super-resolution processing in or carried out immediately before.

以上説明した本実施形態の画像処理装置1及び画像処理方法によれば、一のモジュールブロック21に含まれる複数のカメラモジュール22が、略同方向の光軸を有するので、それらのカメラモジュール22から出力される複数の画像に基づき、いわゆる超解像の画像を生成できる。 According to the image processing apparatus 1 and the image processing method of the present embodiment described above, a plurality of camera module 22 included in one module block 21, since substantially has an optical axis in the same direction, from their camera module 22 based on a plurality of image output, it can generate an image of the so-called super resolution. また、各モジュールブロック21の光軸方向が互いに異なるので、モジュールブロック21ごとに生成された超解像の画像を2次元に配列して合成するいわゆるスティッチングにより広範囲な画像を出力できる。 Further, since the optical axis of each module block 21 are different from each other, it outputs a wide range of images by a so-called stitching that by arranging the image of the super-resolution image is generated for each module block 21 in a two-dimensional synthesized. 即ち、カメラアレイ2のカメラモジュール22から出力される複数の画像を合成することにより、広範囲かつ高解像度の画像を取得できる。 That is, by combining the images output from the camera module 22 of the camera array 2 can acquire the image of a wide range and high resolution. また、略同方向の光軸を有するカメラモジュール22を複数有するので、撮像対象に対する距離の測定が可能になる。 Further, since substantially having a plurality of camera modules 22 having an optical axis in the same direction, it is possible to measure the distance to the imaging object. また、複数のカメラモジュール22が配列されたカメラアレイ2により撮像するので、一のカメラモジュール22による撮像と比較して、より多くの光量を得ることが可能となる。 Further, since the plurality of camera modules 22 is captured by the camera array 2 arranged, as compared to imaging according to one of the camera module 22, it is possible to get more light amount.

以上、本発明をその実施形態に基づいて詳細に説明した。 It has been described in detail with reference to the present invention to that embodiment. しかし、本発明は上記実施形態に限定されるものではない。 However, the present invention is not limited to the above embodiment. 本発明は、その要旨を逸脱しない範囲で様々な変形が可能である。 The present invention can be modified in various ways without departing from the scope thereof.

1…画像処理装置、2…カメラアレイ、3…出力部、4…欠陥情報取得部、5…欠陥情報記憶部、21,21 ,21 ,21 ,21 …モジュールブロック、22…カメラモジュール、22 …青色カメラモジュール、22 BY …ベイヤ型カメラモジュール、22 …緑色カメラモジュール、22 …赤色カメラモジュール、M…メモリ、r…レンズ、s…イメージセンサ、SR…超解像処理部、ST…スティッチング処理部、X ,X ,X ,X …光軸方向。 1 ... image processing apparatus, 2 ... camera array, 3 ... output unit, 4 ... defect information acquisition unit, 5 ... defect information storage unit, 21 1, 21 2, 21 3, 21 4 ... module block, 22 ... camera module, 22 B ... blue camera module, 22 BY ... Bayer type camera module, 22 G ... green camera module, 22 R ... red camera module, M ... memory, r ... lens, s ... image sensor, SR ... super-resolution processing parts, ST ... stitching processing unit, X 1, X 2, X 3, X 4 ... optical axis direction.

Claims (8)

  1. レンズ及びイメージセンサからなるカメラモジュールを複数含むカメラアレイと、 A camera array comprising a plurality of camera module including a lens and an image sensor,
    前記カメラアレイの各カメラモジュールから出力される複数の画像を合成して合成画像を出力する出力部と、 An output unit for outputting the synthesized and the synthesized image a plurality of image output from the camera module of the camera array,
    を備え、 Equipped with a,
    前記カメラアレイは、複数のカメラモジュールからなるモジュールブロックを複数含み、 The camera array includes a plurality of modules blocks comprising a plurality of camera modules,
    一の前記モジュールブロックに含まれる複数のカメラモジュールのレンズは略同方向の光軸を有し、 Lens of the plurality of the camera module included in one of said module block has substantially the optical axis in the same direction,
    各モジュールブロックのカメラモジュールのレンズの光軸方向は互いに異なる、 Optical axis direction of the lens of the camera module of each module blocks are different from each other,
    画像処理装置。 Image processing apparatus.
  2. 前記モジュールブロックは、赤色情報を取得可能な赤色カメラモジュール、緑色情報を取得可能な緑色カメラモジュール、青色情報を取得可能な青色カメラモジュール、及びベイヤ配列のカラーフィルタを有するベイヤ型カメラモジュールを少なくとも一つずつ含む、請求項1に記載の画像処理装置。 Said module block, which can be red camera module acquires red information, green information acquirable green camera module, obtainable blue camera module blue information, and at least a Bayer type camera module having a color filter of the Bayer array One by comprising, an image processing apparatus according to claim 1.
  3. 前記出力部は、 And the output unit,
    前記モジュールブロックに含まれる各カメラモジュールから出力される複数の画像を超解像処理により合成して、該カメラモジュールが出力する画像の解像度より高い解像度を有する超解像画像を該モジュールブロックごとに生成し、 Wherein the plurality of images output from the camera module included in the module block synthesized by super-resolution processing, the super-resolution image having a higher resolution than the resolution of the image to the camera module output every the module block generated,
    複数のモジュールブロックに対応する複数の前記超解像画像を2次元的に配した合成画像を出力する、 And it outputs a composite image which arranged a plurality of the super-resolution images corresponding to a plurality of modules blocks two-dimensionally,
    請求項1または2に記載の画像処理装置。 The image processing apparatus according to claim 1 or 2.
  4. 各モジュールブロックにおけるカメラモジュールに欠陥があることを示す欠陥情報をモジュールブロックごとに取得する取得部と、 An acquisition unit that acquires defect information for each module block that indicates that there is a defect in the camera module in each module block,
    前記取得部により取得された欠陥情報を記憶する記憶部と、をさらに備え、 Further comprising a storage unit for storing defect information acquired by the acquisition unit,
    前記出力部は、前記記憶部に記憶された欠陥情報に応じて、欠陥を有するカメラモジュール以外のカメラモジュールから出力される画像により欠陥を有するカメラモジュールからの画像を補完する補完処理を行う、 The output unit, in response to the storage unit in the stored defect information, the complementary processing to supplement the images from the camera module having a defect by the image output from the camera module other than the camera module having a defect,
    請求項1〜3のいずれか1項に記載の画像処理装置。 The image processing apparatus according to any one of claims 1-3.
  5. 前記カメラアレイは、モジュールブロック間のカメラモジュールのレンズの光軸方向を異ならせるための非対称型のレンズを有するカメラモジュールを含み、 The camera array may include a camera module having an asymmetric lens for varying the optical axis of the camera module lens between modules blocks,
    前記カメラアレイに含まれる複数のカメラモジュールは、同一平面上に構成される、請求項1〜4のいずれか1項に記載の画像処理装置。 Wherein the plurality of camera modules included in the camera array is configured in the same plane, the image processing apparatus according to any one of claims 1-4.
  6. 前記モジュールブロックは、第1の方向及び該第1の方向に略直交する第2の方向に2列ずつ2次元的に配列された4つのカメラモジュールにより構成され、 Said module block is composed of a first direction and a second four camera module are two-dimensionally arranged by two rows in a direction substantially perpendicular to the first direction,
    前記カメラアレイは、前記第1の方向及び前記第2の方向に2列ずつ2次元的に配列された4つのモジュールブロックにより構成される、 The camera array is composed of the first direction and the one by the second two rows in the direction of the two-dimensionally arranged four modules blocks,
    請求項1〜5のいずれか1項に記載の画像処理装置。 The image processing apparatus according to any one of claims 1 to 5.
  7. レンズ及びイメージセンサからなるカメラモジュールを複数含むカメラアレイを備える画像処理装置であって、前記カメラアレイは、複数のカメラモジュールからなるモジュールブロックを複数含む、前記画像処理装置における画像処理方法であって、 The camera module comprising a lens and an image sensor an image processing apparatus having a plurality including camera array, the camera array includes a plurality of modules blocks comprising a plurality of the camera module, an image processing method in the image processing apparatus ,
    前記カメラモジュールの各々が画像を取得する取得ステップと、 An acquisition step of each of the camera module acquires an image,
    前記モジュールブロックに含まれる各カメラモジュールから出力される複数の画像を超解像処理により合成して、該カメラモジュールが出力する画像の解像度より高い解像度を有する超解像画像を該モジュールブロックごとに生成ステップと、 Wherein the plurality of images output from the camera module included in the module block synthesized by super-resolution processing, the super-resolution image having a higher resolution than the resolution of the image to the camera module output every the module block a generation step,
    複数のモジュールブロックに対応する複数の超解像画像を2次元的に配した合成画像を出力する出力ステップと、を有し、 It has an output step of outputting the synthesized image which arranged a plurality of super-resolution image two-dimensionally corresponding to a plurality of modules blocks, and
    一の前記モジュールブロックに含まれる複数のカメラモジュールのレンズは略同方向の光軸を有し、 Lens of the plurality of the camera module included in one of said module block has substantially the optical axis in the same direction,
    各モジュールブロックのカメラモジュールのレンズの光軸方向は互いに異なる、 Optical axis direction of the lens of the camera module of each module blocks are different from each other,
    画像処理方法。 Image processing method.
  8. 各モジュールブロックにおけるカメラモジュールに欠陥があることを示す欠陥情報をモジュールブロックごとに取得する欠陥情報取得ステップと、 And the defect information acquisition step of acquiring defect information for each module block that indicates that there is a defect in the camera module in each module block,
    前記取得ステップにおいて取得された欠陥情報に応じて、欠陥を有するカメラモジュール以外のカメラモジュールから出力される画像により欠陥を有するカメラモジュールからの画像を補完する補完処理を行う補完ステップと、 Depending on the obtained defect information in the acquiring step, a complementary step of performing interpolation processing for complementing the image from the camera module having a defect by the image output from the camera module other than the camera module having a defect,
    を更に有する請求項7に記載の画像処理方法。 The image processing method according to claim 7, further comprising a.
JP2013163110A 2013-08-06 2013-08-06 Image processing apparatus and image processing method Active JP6186573B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013163110A JP6186573B2 (en) 2013-08-06 2013-08-06 Image processing apparatus and image processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013163110A JP6186573B2 (en) 2013-08-06 2013-08-06 Image processing apparatus and image processing method

Publications (2)

Publication Number Publication Date
JP2015033072A true JP2015033072A (en) 2015-02-16
JP6186573B2 true JP6186573B2 (en) 2017-08-30

Family

ID=52518037

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013163110A Active JP6186573B2 (en) 2013-08-06 2013-08-06 Image processing apparatus and image processing method

Country Status (1)

Country Link
JP (1) JP6186573B2 (en)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1934872B (en) * 2004-01-26 2016-08-03 数字光学公司 Thin camera having a sub-pixel resolution
US7123298B2 (en) * 2003-12-18 2006-10-17 Avago Technologies Sensor Ip Pte. Ltd. Color image sensor with imaging elements imaging on respective regions of sensor elements
JP2007295113A (en) * 2006-04-21 2007-11-08 Matsushita Electric Ind Co Ltd Imaging apparatus
WO2008016035A1 (en) * 2006-08-01 2008-02-07 Panasonic Corporation Camera device, liquid lens and image pickup method
JP2008196891A (en) * 2007-02-09 2008-08-28 Mitsubishi Precision Co Ltd Multi-eye camera
JP5417138B2 (en) * 2009-12-07 2014-02-12 株式会社東芝 The camera module
CN103004180A (en) * 2010-05-12 2013-03-27 派力肯影像公司 Architectures for imager arrays and array cameras

Also Published As

Publication number Publication date Type
JP2015033072A (en) 2015-02-16 application

Similar Documents

Publication Publication Date Title
US8000559B2 (en) Method of correcting image distortion and apparatus for processing image using the method
US20050057687A1 (en) System and method for increasing space or time resolution in video
US20100026839A1 (en) Method for forming an improved image using images with different resolutions
US20150085174A1 (en) High resolution thin multi-aperture imaging systems
US20110242342A1 (en) Combining data from multiple image sensors
US20120081519A1 (en) Combining data from multiple image sensors
US20070188613A1 (en) Image synthesizing apparatus and image synthesizing method
US20050007477A1 (en) Correction of optical distortion by image processing
US20080260291A1 (en) Image downscaling by binning
JP2008042874A (en) Image processing device, method for restoring image and program
JP2006020275A (en) Image processing device for detecting magnification chromatic aberration from raw data, image processing program, and electronic camera
US20070292048A1 (en) Apparatus and method to generate image
US20100074520A1 (en) Image processing device and image processing method
US9497429B2 (en) Extended color processing on pelican array cameras
US20080055683A1 (en) Image generation system, method and medium
US20120075489A1 (en) Zoom camera image blending technique
US20050225807A1 (en) Methods and systems for anti shading correction in image sensors
JP2011114649A (en) Imaging device
US20080211956A1 (en) Image Pickup Device
CN101080742A (en) Image reinforcement using multifocal lens
EP1206130A1 (en) Method and system for generating a low resolution image from a sparsely sampled extended dynamic range image
US20130141526A1 (en) Apparatus and Method for Video Image Stitching
US20130162780A1 (en) Stereoscopic imaging device and shading correction method
US20150062374A1 (en) Imaging apparatus and method for controlling the imaging apparatus
CN1933540A (en) Image processing apparatus and method for image resizing matching data supply speed

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160701

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170327

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170509

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170606

R150 Certificate of patent or registration of utility model

Ref document number: 6186573

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150