WO2018030135A1 - 撮像装置および画像処理方法 - Google Patents

撮像装置および画像処理方法 Download PDF

Info

Publication number
WO2018030135A1
WO2018030135A1 PCT/JP2017/026763 JP2017026763W WO2018030135A1 WO 2018030135 A1 WO2018030135 A1 WO 2018030135A1 JP 2017026763 W JP2017026763 W JP 2017026763W WO 2018030135 A1 WO2018030135 A1 WO 2018030135A1
Authority
WO
WIPO (PCT)
Prior art keywords
matching
imaging
filters
search direction
filter array
Prior art date
Application number
PCT/JP2017/026763
Other languages
English (en)
French (fr)
Inventor
達雄 藤原
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Publication of WO2018030135A1 publication Critical patent/WO2018030135A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only

Definitions

  • the present disclosure relates to an imaging apparatus and an image processing method, and more particularly, to an imaging apparatus and an image processing method that can improve the accuracy of ranging to a subject.
  • the cell area becomes narrow and the pixel value becomes noisy, and the ranging accuracy may be similarly lowered.
  • the present disclosure has been made in view of such a situation, and can improve the accuracy of ranging to a subject.
  • An imaging device includes a filter array in which filters having the same characteristics or different characteristics are arranged in a two-dimensional manner, and a plurality of pixels into which light from the filter is incident are arranged in a two-dimensional manner A plurality of imaging units that generate an image obtained from the pixel array, and a distance calculation unit that calculates a distance to a subject by matching between images generated by the plurality of imaging units.
  • filters having the same characteristics are arranged in the search direction in the matching.
  • the filter arrays of the two imaging units are arranged side by side with filters having the same characteristics in the search direction in the matching.
  • the filter array of the reference imaging unit is arranged in Bayer, and the filter arrays of the two imaging units all have the same characteristics in the search direction in the matching.
  • the filters are arranged side by side.
  • the filter array of the reference imaging unit is arranged by changing the Bayer arrangement so that more filters having the same characteristics in the search direction in the matching are arranged.
  • the filter arrays of the two imaging units are arranged side by side with filters having the same characteristics in the search direction in the matching.
  • the filter array in which filters having the same characteristics are all arranged in the search direction in the matching and the pixel array corresponding to the filter array are configured with high density only in the search direction in the matching.
  • the filter array in which filters having the same characteristics are all arranged side by side in the search direction in the matching and the pixel array corresponding to the filter array are configured with a low density in a direction orthogonal to the search direction in the matching.
  • a filter array in which filters having the same characteristics are all arranged in the search direction in the matching and a pixel array corresponding to the filter array are arranged by rotating an anamorphic lens by 90 degrees with respect to a normal use form By doing so, it is possible to perform imaging with high-density spatial resolution only in the search direction in the matching.
  • a filter array in which filters having all the same characteristics are arranged side by side in the search direction in the matching and a pixel array corresponding to the filter array are arranged in a staircase offset in a direction orthogonal to the search direction in the matching
  • the filter array is a color filter array in which color filters having the same color characteristics or different color characteristics are two-dimensionally arranged.
  • An image processing method includes a filter array in which filters having the same characteristic or different characteristics are arranged in a two-dimensional manner, and a plurality of pixels into which light from the filter is incident are arranged in a two-dimensional manner.
  • a plurality of imaging units that generate images obtained from the plurality of pixels, and at least one filter array of the imaging units is lined with filters having the same characteristics in the search direction in the matching.
  • the distance calculation unit of the imaging devices arranged in (1) calculates the distance to the subject by matching between the images generated by the plurality of imaging units.
  • a filter array in which filters having the same characteristic or different characteristics are two-dimensionally arranged, and a pixel array in which a plurality of pixels to which light from the filter is incident are two-dimensionally arranged
  • a plurality of imaging units that generate images obtained from the plurality of pixels, and at least one filter array of the imaging units is arranged side by side with filters having the same characteristics in the search direction in the matching Has been. Then, the distance to the subject is calculated by matching between the images generated by the plurality of imaging units.
  • This technology can improve the accuracy of ranging to the subject.
  • FIG. 11 is a block diagram illustrating an example of a personal computer.
  • FIG. 1 is a block diagram illustrating a configuration example of an imaging apparatus to which the present technology is applied.
  • distance measurement is performed using stereo matching between images from a plurality of cameras.
  • the imaging device 11 is configured to include a camera image input unit 21, a calculation unit 22, and a storage unit 23.
  • the camera image input unit 21 includes a plurality of cameras (sensors) such as an RGB camera and an infrared camera having an image sensor (sensor).
  • the camera image input unit 21 images the subject M and inputs the captured image of the subject M to the calculation unit 22.
  • the camera image input unit 21 includes the camera 21L and the camera 21R, for example, the camera image input unit 21 is arranged as illustrated in FIG.
  • ⁇ Camera layout example> In the example of FIG. 2, a camera arrangement form in basic stereo matching is shown.
  • the camera 21L and the camera 21R are arranged so that the respective imaging surfaces for imaging the subject M are on the same plane.
  • Baseline BL is the distance between the position where camera 21L is disposed and the position where camera 21R is disposed.
  • the calculation unit 22 includes a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), a DSP (Digital Signal Processor), and the like. As shown in FIG. 3, the calculation unit 22 includes a disparity calculation unit 31 and a depth value calculation unit 32.
  • the disparity calculation unit 31 calculates disparity by performing stereo matching processing, that is, matching processing between images from the camera image input unit 21.
  • the depth value calculation unit 32 calculates a depth value from the calculated disparity.
  • the storage unit 23 includes a memory and a hard disk.
  • the storage unit 23 stores various data by the calculation unit 22.
  • step S ⁇ b> 11 the camera image input unit 21 captures the subject M, and inputs the captured image of the subject M to the Disparity calculation unit 31.
  • step S12 the disparity calculation unit 31 calculates the disparity by performing a matching process between images from the camera image input unit 21.
  • the disparity calculation unit 31 supplies the calculated disparity to the depth value calculation unit 32.
  • step S13 the Depth value calculation unit 32 calculates a Depth value from the Disparity from the Disparity calculation unit 31.
  • the depth value obtained in this way is used for immediate distance, and the distance measurement process ends.
  • the calculation of the depth value in step S13 is based on the similarity of triangles using Depth, Disparity, baseline BL, and Focal length, as follows. It can be obtained from equation (1).
  • 5A shows an example of the arrangement of the camera 21L and the camera 21R with respect to the subject M.
  • the camera 21L and the camera 21R viewed from the imaging surface side are shown. It is shown.
  • Depth is the distance [mm] in the depth direction of the subject M from the camera 21L (camera 21R).
  • Disparity is the image 51R of the position of the subject M on the right image captured by the camera 21R from the horizontal distance from the center of the image 51L of the position of the subject M on the left image 51L captured by the camera 21L. This is a value [Pix] obtained by subtracting the horizontal distance from the center of the.
  • the base line BL is a horizontal distance [mm] between the position where the camera 21L is disposed and the position where the camera 21R is disposed, that is, the inter-camera distance.
  • Focal Length is the focal length [Pix] of the camera 21L (camera 21R).
  • the variables in the above equation (1) that is, Disparity, baseline BL, and Focal length are changed by changing the configuration of the camera and sensor.
  • Each of these variable changes may have a trade-off relationship with respect to the resolution improvement.
  • the adverse effects caused by the measures for improving the ranging resolution for each variable will be described in order.
  • the baseline BL As for the baseline BL, by increasing the baseline BL distance, the area that can be imaged overlapping between the cameras is narrowed, and in particular, there is a risk that the short distance may not be reflected in both matching target cameras. Even when the image is reflected, the appearance of the subject between the viewpoints changes greatly at a short distance, and the matching accuracy becomes difficult to obtain.
  • increasing the Focal Length may narrow the viewing angle and narrow the image frame that can be taken.
  • disparity is likely to occur even at a long distance by narrowing the pixel pitch of the sensor, but the cell area becomes small and narrow, so that the pixel value becomes noisy and matching accuracy decreases. As a result, the Depth value of the output result also becomes noisy, and the reliability tends to decrease.
  • the arrangement of the sensor color filter in units of cells is such that RGB is arranged in one row.
  • RGB is arranged in one row.
  • ⁇ Color filter arrangement example> 6 shows an example of a part of a color filter (pixel) array of a camera suitable for a binocular stereo in which a camera 21L and a camera 21R are arranged on the left and right as shown in FIGS. Note that, in the example of FIG. 6, when viewed from the imaging surface side of the imaging element of the camera, a corresponding pixel array (array) is arranged under the color filter array (array). In the example of FIG. 6, the horizontal is the disparity search direction (stereo matching scan direction) in stereo matching. 6A is an example in which the color filter (pixel) array is a Bayer array in order to compare with the color filter (pixel) array of the present technology described in FIG. 6B and FIG. 6C. It is shown.
  • the color filters are arranged in the first row from the top, R (Red), G (Green), R, G,..., The second row, G, B (Blue , G, B,..., 3rd stage, R, G,..., 4th stage, G, B,.
  • the color filter of the present technology has the first stage, R, R, R, R..., The second stage, B, B, B,. , G, G, G,...
  • the arrangement of the color filters is the same as the color filter of the example of FIG. 6B, but the pixel density is high (higher resolution) only in the disparity search direction. Thereby, the resolution can be further improved.
  • the camera image input unit 21 includes the camera 21L, the camera 21R, and the camera 21T, for example, they are arranged as shown in FIG.
  • the camera image input unit 21 includes a camera 21L, a camera 21R, and a camera 21T, and the camera 21T is disposed on the camera 21L.
  • FIG. 7A shows an example of the arrangement of the camera 21L and the camera 21R with respect to the subject M and the camera 21T.
  • FIG. 7B a camera 21L, a camera 21R, and a camera 21T viewed from the imaging surface side are shown.
  • the camera 21T is disposed on the camera 21L with reference to the image of the camera 21L.
  • the camera 21L and the camera 21R are arranged on the left and right as shown in FIG. 7, and the color filter (pixel) arrangement of the camera suitable for the three-eye stereo when the camera 21T is arranged on the camera 21L. Some are shown. Note that, in the vertical arrangement of the camera 21T and the camera 21L as viewed from the imaging surface side of the camera imaging element, the vertical is the disparity search direction of stereo matching, and in the horizontal arrangement of the camera 21L and the camera 21R, the horizontal Is the disparity search direction of stereo matching.
  • the color filter array is a Bayer array only for the reference camera 21L, and the vertical matching target camera 21T and the horizontal matching target camera 21R are respectively high only in the corresponding vertical / horizontal disparity search direction.
  • the resolution is an array in which RGB is arranged for each line along the Disparity search direction.
  • the color filters are in the first row from the top, R (Red), G (Green), R, G,..., The second row, G, B (Blue), G, B,.
  • the rows are arranged in the order of R, G,..., 4th row, G, B,.
  • the color filters are arranged in the first row from the top, R, R, R, R ..., the second row, B, B, B, ..., so that the same color filters are arranged in the horizontal disparity search direction.
  • the color filters are arranged in the first column from the left, R, R, R, R ..., the second column, B, B, B, ..., so that the same color filters are arranged in the vertical Disparity search direction.
  • the reference camera (camera 21L) can output an RGB image with a normal picture quality.
  • the reference camera (camera 21L) also has pixels of each color as much as possible in the RGB matching direction.
  • the reference camera By using an array with a large number, it is possible to further increase the resolution.
  • FIG. 9 an example in which red is prioritized is shown.
  • G in the Bayer array of the camera 21L in FIG. 8 is replaced with R in the second and fourth pixels from the left in the first row.
  • R in the Bayer array of the camera 21L in FIG. In the first pixel from the left in the second and fourth stages, G in the Bayer array of the camera 21L in FIG. In the third pixel from the left in the third row, R in the Bayer array of the camera 21L in FIG.
  • the resolution in the stereo matching disparity search direction is set to be large by utilizing the point that the spatial resolution can be fluctuated vertically and horizontally.
  • FIG. 12 by placing the Anamorphic lens 101 rotated 90 degrees, an image 122 captured by the Anamorphic lens 101 is vertically compared to an image 121 captured by a normal lens.
  • the direction is input in an optically compressed state.
  • the first stage is offset by R, R, R,...
  • the second stage is offset by about 1/5 of the horizontal size of the pixel
  • R, R, R,. , 3rd stage is further offset by about 1/5 of the horizontal size
  • R, R, R, ..., 4th stage is G, G, G, ..., 2nd stage is 1 / of horizontal size
  • the third stage of G, G, G,..., With an offset of about 5, is further arranged with G, G, G,.
  • the matching resolution in the disparity search direction can also be increased by providing an offset in the vertical direction and shifting the position in this way.
  • RGB pixels has been described as an example.
  • invisible light such as IR
  • spectral filters and a single-color gray scale
  • it can also be applied to cases including a multi-directional deflection filter. Is possible.
  • the color filter array is made to correspond to the pixel arrangement.
  • one filter may be used for a plurality of pixels in the same column.
  • the present technology it is possible to improve Depth accuracy required for a stereo base.
  • the accuracy of distance measurement can be improved when the object is at a long distance and the disparity of one pixel has a large effect on the distance measurement result.
  • ⁇ Personal computer> The series of processes described above can be executed by hardware or can be executed by software.
  • a program constituting the software is installed in the computer.
  • the computer includes a computer incorporated in dedicated hardware, a general-purpose personal computer capable of executing various functions by installing various programs, and the like.
  • FIG. 14 is a block diagram showing an example of a hardware configuration of a personal computer that executes the above-described series of processing by a program.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • An input / output interface 505 is further connected to the bus 504.
  • An input unit 506, an output unit 507, a storage unit 508, a communication unit 509, and a drive 510 are connected to the input / output interface 505.
  • the input unit 506 includes a keyboard, a mouse, a microphone, and the like.
  • the output unit 507 includes a display, a speaker, and the like.
  • the storage unit 508 includes a hard disk, a nonvolatile memory, and the like.
  • the communication unit 509 includes a network interface or the like.
  • the drive 510 drives a removable medium 511 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the CPU 501 loads, for example, a program stored in the storage unit 508 to the RAM 503 via the input / output interface 505 and the bus 504 and executes the program. Thereby, the series of processes described above are performed.
  • the program executed by the computer (CPU 501) can be provided by being recorded on the removable medium 511.
  • the removable medium 511 is a package made of, for example, a magnetic disk (including a flexible disk), an optical disk (CD-ROM (Compact Disc-Read Disc Only), DVD (Digital Versatile Disc), etc.), a magneto-optical disc, or a semiconductor memory.
  • the program can be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
  • the program can be installed in the storage unit 508 via the input / output interface 505 by attaching the removable medium 511 to the drive 510. Further, the program can be received by the communication unit 509 via a wired or wireless transmission medium and installed in the storage unit 508. In addition, the program can be installed in the ROM 502 or the storage unit 508 in advance.
  • the program executed by the computer may be a program that is processed in time series in the order described in this specification, or in a necessary stage such as in parallel or when a call is made. It may be a program for processing.
  • the step of describing the program recorded on the recording medium is not limited to the processing performed in chronological order according to the described order, but may be performed in parallel or It also includes processes that are executed individually.
  • system represents the entire apparatus composed of a plurality of devices (apparatuses).
  • the present disclosure can take a cloud computing configuration in which one function is shared by a plurality of devices via a network and is jointly processed.
  • the configuration described as one device (or processing unit) may be divided and configured as a plurality of devices (or processing units).
  • the configurations described above as a plurality of devices (or processing units) may be combined into a single device (or processing unit).
  • a configuration other than that described above may be added to the configuration of each device (or each processing unit).
  • a part of the configuration of a certain device (or processing unit) may be included in the configuration of another device (or other processing unit). . That is, the present technology is not limited to the above-described embodiment, and various modifications can be made without departing from the gist of the present technology.
  • this technique can also take the following structures.
  • the filter array of at least one of the imaging units includes an array of filters having the same characteristics in the search direction in the matching.
  • the filter array of the reference imaging unit is arranged in Bayer, The imaging device according to (1), wherein the filter arrays of the two imaging units are arranged side by side with filters having the same characteristics in the search direction in the matching.
  • the filter array of the imaging unit serving as a reference is arranged by changing the Bayer arrangement so that there are many filters having the same characteristics in the search direction in the matching, The imaging device according to (1), wherein the filter arrays of the two imaging units are arranged side by side with filters having the same characteristics in the search direction in the matching.
  • a filter array in which filters having all the same characteristics are arranged side by side in the search direction in the matching and a pixel array corresponding to the filter array are configured with high density only in the search direction in the matching.
  • the imaging device according to any one of (1) to (4).
  • a filter array in which filters having all the same characteristics are arranged in the search direction in the matching and a pixel array corresponding to the filter array rotate the anamorphic lens by 90 degrees with respect to a normal use form
  • a filter array in which filters having all the same characteristics are arranged side by side in the search direction in the matching and a pixel array corresponding to the filter array are offset stepwise in a direction perpendicular to the search direction in the matching.
  • the imaging device according to any one of (1) to (8), wherein the filter array is a color filter array in which color filters having the same color characteristics or different color characteristics are two-dimensionally arranged. . (10) A filter array in which filters having the same characteristic or different characteristics are two-dimensionally arranged, and a pixel array in which a plurality of pixels into which light from the filter is incident are two-dimensionally arranged, An imaging apparatus comprising a plurality of imaging units that generate images obtained from a plurality of pixels, wherein at least one filter array of the imaging units is arranged side by side with filters having the same characteristics in the search direction in the matching An image processing method in which a distance calculation unit calculates a distance to a subject by matching between images generated by the plurality of imaging units.
  • 11 imaging device 21 camera image input unit, 21L, 21R, 21T camera, 22 operation unit, 23 storage unit, 31 Disparity calculation unit, 32 Depth value calculation unit, 51, 51R, 51L image, 101 Anamorphic lens, 111 image frame Information, 112 film, 121, 122 images

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Power Engineering (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Optics & Photonics (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Measurement Of Optical Distance (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)
  • Optical Filters (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Abstract

本開示は、被写体までの測距の精度を向上することができるようにする撮像装置および画像処理方法に関する。 図６のＡに示されるように、通常のBayer配列において、カラーフィルタは、上から、１段目、R(Red),G(Green),R,G,…,２段目、G,B(Blue),G,B,…,３段目、R,G,…,４段目、G,B,…の順に配列されている。これに対して、図６のＢに示されるように、本技術のセンサ配列において、カラーフィルタは、１段目、R,R,R,R…,２段目、B,B,B,…,３段目、G,G,G,…の順に配列される。本開示は、例えば、左右に撮像部を配置する２眼ステレオに適した撮像装置に適用することができる。

Description

撮像装置および画像処理方法
　本開示は、撮像装置および画像処理方法に関し、特に、被写体までの測距の精度を向上することができるようにした撮像装置および画像処理方法に関する。
　従来より、ステレオベースのDepth測距装置が提案され、実用化されている（特許文献１参照）。ステレオベースのDepth測距において、対象物が遠距離に離れるに従い１ピクセルのDisparityでの距離誤差が大きくなり、測距精度が落ちる傾向にあった。
特開２０００－３５４２５７号公報
　そこで、ベースラインを調整しようとすると、
１．ベースラインが狭い場合、遠距離に行くに従って、Disparityが発生しにくい傾向となる。
２．ベースラインが広い場合、１については改善するが、近距離において視点間の被写体の見え方が変わり、マッチングがとりにくくなり、Depthが正しく求まらないケースがでやすい傾向となる。
といったトレードオフの関係となってしまっていた。
　また、Disparityの１ピクセルあたりの精度を高める目的で画素ピッチを狭めた場合においても、セル面積が狭くなり画素値がノイジーになり、同様に測距精度が落ちてしまうことがあった。
　本開示は、このような状況に鑑みてなされたものであり、被写体までの測距の精度を向上することができるものである。
　本技術の一側面の撮像装置は、同じ特性または異なる特性を有するフィルタが２次元状に配列されたフィルタアレイと、前記フィルタからの光が入射される複数の画素が２次元状に配列された画素アレイとからなり、前記画素アレイから得られる画像を生成する複数の撮像部と、前記複数の撮像部により生成された画像間でのマッチングにより被写体までの距離を算出する距離算出部とを備え、少なくとも１つの前記撮像部のフィルタアレイは、前記マッチングにおけるサーチ方向に全て同じ特性を有するフィルタが並んで配列されている。
　前記複数の撮像部が２つで構成される場合、２つの撮像部のフィルタアレイは、前記マッチングにおけるサーチ方向に全て同じ特性を有するフィルタが並んで配列されている。
　前記複数の撮像部が３つで構成される場合、基準となる撮像部のフィルタアレイは、Bayerに配列されており、２つの撮像部のフィルタアレイは、前記マッチングにおけるサーチ方向に全て同じ特性を有するフィルタが並んで配列されている。
　前記複数の撮像部が３つで構成される場合、基準となる撮像部のフィルタアレイは、前記マッチングにおけるサーチ方向に同じ特性を有するフィルタが多くなるようにBayer配列を変更して配列されており、２つの撮像部のフィルタアレイは、前記マッチングにおけるサーチ方向に全て同じ特性を有するフィルタが並んで配列されている。
　前記マッチングにおけるサーチ方向に全て同じ特性を有するフィルタが並んで配列されているフィルタアレイおよび前記フィルタアレイに対応する画素アレイは、前記マッチングにおけるサーチ方向のみに高密度に構成されている。
　前記マッチングにおけるサーチ方向に全て同じ特性を有するフィルタが並んで配列されているフィルタアレイおよび前記フィルタアレイに対応する画素アレイは、前記マッチングにおけるサーチ方向と直行する方向に低密度に構成されている。
　前記マッチングにおけるサーチ方向に全て同じ特性を有するフィルタが並んで配列されているフィルタアレイおよび前記フィルタアレイに対応する画素アレイは、アナモーフィックスレンズを通常の利用形態に対して９０度回転させた配置とすることで、前記マッチングにおけるサーチ方向のみに高密度な空間解像度での撮像を行うことができる。
　前記マッチングにおけるサーチ方向に全て同じ特性を有するフィルタが並んで配列されているフィルタアレイおよび前記フィルタアレイに対応する画素アレイは、前記マッチングにおけるサーチ方向と直行する方向に階段状にオフセットさせた配列とすることで、前記マッチングにおけるサーチ方向のみに高密度な空間解像度での撮像を行うことができる。
　前記フィルタアレイは、同じ色の特性または異なる色の特性を有するカラーフィルタが２次元状に配列されたカラーフィルタアレイである。
　本技術の一側面の画像処理方法は、同じ特性または異なる特性を有するフィルタが２次元状に配列されたフィルタアレイと、前記フィルタからの光が入射される複数の画素が２次元状に配列された画素アレイとからなり、前記複数の画素から得られる画像を生成する複数の撮像部を備え、少なくとも１つの前記撮像部のフィルタアレイが、前記マッチングにおけるサーチ方向に全て同じ特性を有するフィルタが並んで配列されている撮像装置の距離算出部が、前記複数の撮像部により生成された画像間でのマッチングにより被写体までの距離を算出する。
　本技術の一側面においては、同じ特性または異なる特性を有するフィルタが２次元状に配列されたフィルタアレイと、前記フィルタからの光が入射される複数の画素が２次元状に配列された画素アレイとからなり、前記複数の画素から得られる画像を生成する複数の撮像部が備えられ、少なくとも１つの前記撮像部のフィルタアレイが、前記マッチングにおけるサーチ方向に全て同じ特性を有するフィルタが並んで配列されている。そして、前記複数の撮像部により生成された画像間でのマッチングにより被写体までの距離が算出される。
　本技術によれば、被写体までの測距の精度を向上することができる。
  なお、本明細書に記載された効果は、あくまで例示であり、本技術の効果は、本明細書に記載された効果に限定されるものではなく、付加的な効果があってもよい。
本技術を適用した撮像装置の構成例を示すブロック図である。 ステレオマッチングにおけるカメラの配置形態を示す図である。 演算部の構成例を示すブロック図である。 撮像装置の測距処理について説明するフローチャートである。 ２眼ステレオマッチングにおけるカメラの配置形態を示す図である。 ２眼ステレオに適したカメラのカラーフィルタ配列を示す図である。 ３眼ステレオマッチングにおける配置形態を示す図である。 ３眼ステレオに適したカメラのカラーフィルタ配列（一部）の例である。 ３眼ステレオに適したカメラのカラーフィルタ配列（一部）の他の例である。 ３眼ステレオに適したカメラのカラーフィルタ配列（一部）の他の例である。 Anamorphicレンズの使用例を示す図である。 Anamorphicレンズの使用例を示す図である。 オフセットを付けて位置をずらしたカラーフィルタ配列を説明する図である。 パーソナルコンピュータの例を示すブロック図である。
　以下、本開示を実施するための形態（以下実施の形態とする）について説明する。
＜撮像装置の構成例＞
　図１は、本技術を適用した撮像装置の構成例を示すブロック図である。図１の撮像装置１１においては、複数台のカメラからの画像間のステレオマッチングを用いた測距が行われる。
　図１の例において、撮像装置１１は、カメラ画像入力部２１、演算部２２、および記憶部２３を含むように構成されている。
　カメラ画像入力部２１は、撮像素子（センサ）を有するRGBカメラや赤外線カメラなどの複数のカメラ（センサ）により構成されている。カメラ画像入力部２１は、被写体Ｍを撮像し、撮像した被写体Ｍの画像を、演算部２２に入力する。カメラ画像入力部２１が、カメラ２１Ｌおよびカメラ２１Ｒで構成される場合、例えば、図２に示されるように配置される。
＜カメラの配置例＞
　図２の例においては、基本的なステレオマッチングにおけるカメラの配置形態が示されている。カメラ２１Ｌおよびカメラ２１Ｒは、被写体Ｍを撮像する、各撮像面が同一平面上にあるように配置されている。ベースラインBLは、カメラ２１Ｌが配置される位置と、カメラ２１Ｒが配置される位置との距離である。
　演算部２２は、CPU（Central Processing Unit）、GPU（Graphics Processing Unit）、およびDSP（Digital Signal Processor）などで構成される。演算部２２は、図３に示されるように、Disparity（視差）算出部３１およびDepth値算出部３２からなる。Disparity算出部３１は、ステレオマッチング処理、すなわち、カメラ画像入力部２１からの画像間でのマッチング処理を行うことで、Disparityを算出する。Depth値算出部３２は、算出されたDisparityからDepth値を算出する。
　記憶部２３は、メモリやハードディスクなどからなる。記憶部２３は、演算部２２により各種データなどが記憶される。
＜撮像装置の動作＞
　次に、図４のフローチャートを参照して、撮像装置１１の測距処理について説明する。ステップＳ１１において、カメラ画像入力部２１は、被写体Ｍを撮像し、撮像した被写体Ｍの画像を、Disparity算出部３１に入力する。
　ステップＳ１２において、Disparity算出部３１は、カメラ画像入力部２１からの画像間でのマッチング処理を行うことで、Disparityを算出する。Disparity算出部３１は、算出されたDisparityをDepth値算出部３２に供給する。
　ステップＳ１３において、Depth値算出部３２は、Disparity算出部３１からのDisparity から、Depth値を算出する。撮像装置１１においては、このようにて求められたDepth値が即距に用いられ、測距処理は終了する。
　ここで、ステップＳ１３のDepth値の算出は、図５のＡおよび図５のＢに示されるように、Depth、Disparity、ベースラインBL、Focal Lengthを用いての３角形の相似関係から、次の式（１）で求まる。なお、図５のＡの例においては、被写体Ｍに対するカメラ２１Ｌおよびカメラ２１Ｒの配置の例が示されており、図５のＢの例においては、撮像面側から見たカメラ２１Ｌおよびカメラ２１Ｒが示されている。
Figure JPOXMLDOC01-appb-M000001
 　なお、Depthは、被写体Ｍのカメラ２１Ｌ（カメラ２１Ｒ）からの奥行き方向の距離[mm]である。Disparityは、カメラ２１Ｌで撮影された左画像５１Ｌ上の被写体Ｍの位置の、画像５１Ｌの中心からの水平方向の距離から、カメラ２１Ｒで撮影された右画像上の被写体Ｍの位置の、画像５１Ｒの中心からの水平方向の距離を減算した値[Pix]である。ベースラインBLは、カメラ２１Ｌが配置される位置とカメラ２１Ｒが配置される位置の水平方向の距離[mm]、すなわち、カメラ間距離である。Focal Lengthは、カメラ２１Ｌ（カメラ２１Ｒ）の焦点距離[Pix]である。
　DisparityをPixl（ピクセル）単位で考えた場合、遠距離を測距する際に、1 PixlのDisparityの差によって生じるDepth値は、Disparityが小さくなるに従って大きくなるため、一般的に遠距離での測距分解能／精度は劣化していく傾向になる。
　そこで、測距分解能低下への対処としては、カメラやセンサの構成を変更することで、上述した式（１）における変数、すなわち、Disparity、ベースラインBL、Focal Lengthが変化する。これらの変数の変化は、それぞれ、分解能向上に対して、トレードオフの関係となる場合がある。以下、それぞれ各変数について測距分解能を向上させる場合の施策によって生じる悪影響を順に述べる。
　ベースラインBLについては、ベースラインBL距離を広げることで、カメラ間で重複して撮像可能な領域が狭まり、特に近距離がマッチング対象の両カメラに写らなくなってしまう恐れがある。また、映った場合でも、近距離において視点間の被写体の見え方が大きく変わり、マッチングが取りにくくなることで、測距精度が落ちることがある。
　Focal Lengthについては、Focal Lengthを長くすることで、視野角が狭くなり、撮影できる画枠が狭くなることがある。
　Disparityについては、センサの画素ピッチを狭めることで、遠距離でもDisparityが発生しやすくなるが、セル面積が小さく狭くなってしまうので、画素値がノイジーになり、マッチング精度が低下する。結果として、出力結果のDepth値もノイジーになり、信頼度が落ちる傾向となってしまう。
　これらに対して、本技術においては、センサのカラーフィルタのセル単位の配列が、RGBがそれぞれ１列に並んだ状態とされる。これにより、測距分解能を向上することができる。以下、本技術について、具体的に説明していく。
＜カラーフィルタの配置例＞
　図６の例においては、図２および図５のように左右にカメラ２１Ｌおよびカメラ２１Ｒを配置する２眼ステレオに適したカメラのカラーフィルタ（画素）配列の一部の例が示されている。なお、図６の例においては、カメラの撮像素子の撮像面側から見ており、カラーフィルタ配列（アレイ）の下には、対応する画素配列（アレイ）が配置されている。また、図６の例においては、横がステレオマッチングにおけるDisparityサーチ方向（ステレオマッチングのスキャン方向）である。さらに、図６のＡにおいては、図６のＢ、図６のＣに記載の本技術のカラーフィルタ（画素）配列と比較するために、カラーフィルタ（画素）配列が、Bayer配列の場合の例が示されている。
　図６のＡに示されるように、Bayer配列において、カラーフィルタは、上から、１段目、R(Red),G(Green),R,G,…,２段目、G,B(Blue),G,B,…,３段目、R,G,…,４段目、G,B,…の順に配列されている。
　これに対して、図６のＢに示されるように、本技術のカラーフィルタは、１段目、R,R,R,R…,２段目、B,B,B,…,３段目、G,G,G,…の順に配列される。
　このように、カラーフィルタの配列をDisparityサーチ方向に揃える（同じ色のカラーフィルタを並べる）ことで、色毎にマッチングする場合に、図６のＡのような従来のカラーフィルタ配列と比して、色毎のDisparty分解能が向上する。
　なお、図６の例においては、１段目R,２段目G,３段目Bとした例を説明したが、分解能が向上する配置であれば、どの段の画素をどの色のカラーフィルタとしてもよい。
　また、図６のＣの例においては、カラーフィルタの配列は、図６のＢの例のカラーフィルタと同じであるが、Disparityサーチ方向のみ、ピクセル密度が高く（高解像度化）されている。これにより、さらに分解能を向上することができる。
　ここで、カメラ画像入力部２１が、カメラ２１Ｌ、カメラ２１Ｒ、およびカメラ２１Ｔで構成される場合、例えば、図７に示されるように配置される。
＜カメラの配置例＞
　図７の例においては、左右に加えて上下方向にもステレオマッチングする３眼ステレオの場合のカメラの配置形態が示されている。例えば、この場合、カメラ画像入力部２１は、カメラ２１Ｌ、カメラ２１Ｒ、カメラ２１Ｔで構成され、カメラ２１Ｔは、カメラ２１Ｌの上に配置される。
　図７のＡの例においては、被写体Ｍに対するカメラ２１Ｌおよびカメラ２１Ｒ、加えてカメラ２１Ｔの配置の例が示されている。図７のＢの例においては、撮像面側から見たカメラ２１Ｌ、カメラ２１Ｒ、カメラ２１Ｔが示されている。カメラ２１Ｔは、カメラ２１Ｌの画像を基準として、カメラ２１Ｌの上に配置されている。
＜カラーフィルタの配置例＞
　図８の例においては、図７のように左右にカメラ２１Ｌおよびカメラ２１Ｒを配置し、カメラ２１Ｌの上にカメラ２１Ｔを配置する場合の３眼ステレオに適したカメラのカラーフィルタ（画素）配列の一部が示されている。なお、カメラの撮像素子の撮像面側から見た、カメラ２１Ｔおよびカメラ２１Ｌの上下方向配置においては、縦がステレオマッチングのDisparityサーチ方向であり、カメラ２１Ｌおよびカメラ２１Ｒの左右方向配置においては、横がステレオマッチングのDisparityサーチ方向である。
　この場合のカラーフィルタ配列は、基準となるカメラ２１Ｌのみ、Bayer配列であり、縦のマッチング対象のカメラ２１Ｔと、横のマッチング対象のカメラ２１Ｒは、それぞれ、対応する縦／横Disparityサーチ方向のみ高解像度とし、Disparityサーチ方向に沿ってRGBがライン毎に並んだ配列となる。
　すなわち、カメラ２１Ｌにおいて、カラーフィルタは、上から１段目、R(Red),G(Green),R,G,…,２段目、G,B(Blue),G,B,…,３段目、R,G,…,４段目、G,B,…の順に配列されている。
　カメラ２１Ｒにおいて、カラーフィルタは、横のDisparityサーチ方向に、同じカラーフィルタが並ぶように、上から１段目、R,R,R,R…,２段目、B,B,B,…,３段目、G,G,G,…,４段目、B,B,B,…の順に配列されている。
　カメラ２１Ｔにおいて、カラーフィルタは、縦のDisparityサーチ方向に、同じカラーフィルタが並ぶように、左から１列目、R,R,R,R…,２列目、B,B,B,…,３列目、G,G,G,…,４列目、B,B,B,…の順に配列されている。
　このように配列することで、ステレオマッチング精度を高めると同時に、基準カメラ（カメラ２１Ｌ）においては、通常の写真画質を保ったRGB画像が出力できる。
　また、他の例としては、写真画質の品質をそれほど必要としない場合においては、図９および図１０に示されるように、基準カメラ（カメラ２１Ｌ）についても、RGBのマッチング方向になるべく各色の画素数が多くなる配列とすることで、さらに高解像度化を図ることができる。
　図９の例においては、赤色を優先した場合の例が示されている。図９のカメラ２１Ｌについては、１段目の左から２番目および４番目の画素において、図８のカメラ２１ＬのBayer配列のGがRに入れ替えられている。２段目と４段目の左から１番目の画素において、図８のカメラ２１ＬのBayer配列のGがRに入れ替えられている。３段目の左から３番目の画素において、図８のカメラ２１ＬのBayer配列のRがGに入れ替えられている。
　図１０の例においては、図９の例からさらに、緑色を優先した場合の例が示されている。図１０のカメラ２１Ｌについては、１段目の左から３番目の画素において、図９のカメラ２１Ｌの配列のRがGに入れ替えられている。３段目の左から１番目の画素において、図９のカメラ２１Ｌの配列のRがGに入れ替えられている。
　さらに、Anamorphicレンズを利用して、Disparityサーチ方向のピクセル解像度を向上させることも可能である。
＜Anamorphic（アナモーフィックス）レンズの利用例＞
　図１１に示されるように、Anamorphicレンズ１０１は、本来、映画撮影においてワイドな（＝横長な）スクリーン照射を想定した画枠情報１１１を、ナロウな（４：３や35mmなどの通常サイズの）フィルム（センサ）１１２に撮影、保存することを目的として考案された光学系である。
　ここでは、空間方向の分解能を縦横で変動できる点を利用して、ステレオマッチングのDisparityサーチ方向の分解能を大きくとる構成とする。具体的には、図１２に示されるように、Anamorphicレンズ１０１を９０度回転した配置にすることで、普通のレンズで撮像した画像１２１に対して、Anamorphicレンズ１０１で撮像した画像１２２は、縦方向が、光学的に圧縮された状態で入力される。これにより、通常の矩形のセンサ配列においても、Disparityサーチ方向である横方向の分解能のみ高い状態で撮像することが可能となる。
　その他、Anamorphicレンズを用いない場合にも、縦方向の空間分解能について、カラーフィルタ（センサ）を、図１３に示されるように、オフセットを付けて位置をずらした配置とする方法がある。
　図１３の例においては、上から順に、１段目は、R,R,R,…,２段目は、画素の横サイズの1/5ほどオフセットを付けて、R,R,R,…, ３段目は、さらに、横サイズの1/5ほどオフセットを付けてR,R,R,…, ４段目は、G,G,G,…,２段目は、横サイズの1/5ほどオフセットを付けて、G,G,G,…, ３段目は、さらに、横サイズの1/5ほどオフセットを付けて、G,G,G,…というように配置されている。
　このように縦方向についてオフセットを付けて位置をずらした配置とすることでも、Disparityサーチ方向（横方向）のマッチング分解能を上げることができる。
　なお、上記説明においては、RGB画素の配列を例に説明したが、IRなどの非可視光やさらに多岐に渡る分光フィルタ、単色のグレースケールの場合、複数方向の偏向フィルタを含むケースにも適用可能である。
　また、上記説明においては、画素配列に対応してカラーフィルタアレイを対応させる例を説明したが、１列同じ色であれば、同じ列の複数の画素で１つのフィルタであってもよい。
　以上のように、本技術によれば、ステレオベースで求められるDepthの精度を向上させることができる。特に、ベースラインが狭く、Disparityが発生しにくい場合、対象物が遠距離にあり、１ピクセルのDisparityが測距結果に大きな影響を及ぼす場合に、測距精度の向上が達成できる。
＜パーソナルコンピュータ＞
　上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な汎用のパーソナルコンピュータなどが含まれる。
　図１４は、上述した一連の処理をプログラムにより実行するパーソナルコンピュータのハードウエアの構成例を示すブロック図である。
　パーソナルコンピュータ５００において、CPU（Central Processing Unit）５０１、ROM（Read Only Memory）５０２、RAM（Random Access Memory）５０３は、バス５０４により相互に接続されている。
　バス５０４には、さらに、入出力インタフェース５０５が接続されている。入出力インタフェース５０５には、入力部５０６、出力部５０７、記憶部５０８、通信部５０９、及びドライブ５１０が接続されている。
　入力部５０６は、キーボード、マウス、マイクロホンなどよりなる。出力部５０７は、ディスプレイ、スピーカなどよりなる。記憶部５０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部５０９は、ネットワークインタフェースなどよりなる。ドライブ５１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア５１１を駆動する。
　以上のように構成されるパーソナルコンピュータ５００では、CPU５０１が、例えば、記憶部５０８に記憶されているプログラムを、入出力インタフェース５０５及びバス５０４を介して、RAM５０３にロードして実行する。これにより、上述した一連の処理が行われる。
　コンピュータ（CPU５０１）が実行するプログラムは、リムーバブルメディア５１１に記録して提供することができる。リムーバブルメディア５１１は、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディア等である。また、あるいは、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
　コンピュータにおいて、プログラムは、リムーバブルメディア５１１をドライブ５１０に装着することにより、入出力インタフェース５０５を介して、記憶部５０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部５０９で受信し、記憶部５０８にインストールすることができる。その他、プログラムは、ROM５０２や記憶部５０８に、あらかじめインストールしておくことができる。
　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要な段階で処理が行われるプログラムであっても良い。
　また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
　また、本明細書において、システムとは、複数のデバイス（装置）により構成される装置全体を表すものである。
　例えば、本開示は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、以上において、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。つまり、本技術は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示はかかる例に限定されない。本開示の属する技術の分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　なお、本技術は以下のような構成も取ることができる。
　（１）　同じ特性または異なる特性を有するフィルタが２次元状に配列されたフィルタアレイと、前記フィルタからの光が入射される複数の画素が２次元状に配列された画素アレイとからなり、前記複数の画素から得られる画像を生成する複数の撮像部と、
　前記複数の撮像部により生成された画像間でのマッチングにより被写体までの距離を算出する距離算出部と
　を備え、
　少なくとも１つの前記撮像部のフィルタアレイは、前記マッチングにおけるサーチ方向に全て同じ特性を有するフィルタが並んで配列されている
　撮像装置。
　（２）　前記複数の撮像部が２つで構成される場合、
　２つの撮像部のフィルタアレイは、前記マッチングにおけるサーチ方向に全て同じ特性を有するフィルタが並んで配列されている
　前記（１）に記載の撮像装置。
　（３）　前記複数の撮像部が３つで構成される場合、
　基準となる撮像部のフィルタアレイは、Bayerに配列されており、
　２つの撮像部のフィルタアレイは、前記マッチングにおけるサーチ方向に全て同じ特性を有するフィルタが並んで配列されている
　前記（１）に記載の撮像装置。
　（４）　前記複数の撮像部が３つで構成される場合、
　基準となる撮像部のフィルタアレイは、前記マッチングにおけるサーチ方向に同じ特性を有するフィルタが多くなるようにBayer配列を変更して配列されており、
　２つの撮像部のフィルタアレイは、前記マッチングにおけるサーチ方向に全て同じ特性を有するフィルタが並んで配列されている
　前記（１）に記載の撮像装置。
　（５）　前記マッチングにおけるサーチ方向に全て同じ特性を有するフィルタが並んで配列されているフィルタアレイおよび前記フィルタアレイに対応する画素アレイは、前記マッチングにおけるサーチ方向のみに高密度に構成されている
　前記（１）乃至（４）のいずれかに記載の撮像装置。
　（６）　前記マッチングにおけるサーチ方向に全て同じ特性を有するフィルタが並んで配列されているフィルタアレイおよび前記フィルタアレイに対応する画素アレイは、前記マッチングにおけるサーチ方向と直行する方向に低密度に構成されている
　前記（５）に記載の撮像装置。
　（７）　前記マッチングにおけるサーチ方向に全て同じ特性を有するフィルタが並んで配列されているフィルタアレイおよび前記フィルタアレイに対応する画素アレイは、アナモーフィックスレンズを通常の利用形態に対して９０度回転させた配置とすることで、前記マッチングにおけるサーチ方向のみに高密度な空間解像度での撮像を行う
　前記（１）乃至（６）のいずれかに記載の撮像装置。
　（８）　前記マッチングにおけるサーチ方向に全て同じ特性を有するフィルタが並んで配列されているフィルタアレイおよび前記フィルタアレイに対応する画素アレイは、前記マッチングにおけるサーチ方向と直行する方向に階段状にオフセットさせた配列とすることで、前記マッチングにおけるサーチ方向のみに高密度な空間解像度での撮像を行う
　前記（１）乃至（６）のいずれかに記載の撮像装置。
　（９）　前記フィルタアレイは、同じ色の特性または異なる色の特性を有するカラーフィルタが２次元状に配列されたカラーフィルタアレイである
　前記（１）乃至（８）のいずれかに記載の撮像装置。
　（１０）　同じ特性または異なる特性を有するフィルタが２次元状に配列されたフィルタアレイと、前記フィルタからの光が入射される複数の画素が２次元状に配列された画素アレイとからなり、前記複数の画素から得られる画像を生成する複数の撮像部を備え、少なくとも１つの前記撮像部のフィルタアレイが、前記マッチングにおけるサーチ方向に全て同じ特性を有するフィルタが並んで配列されている撮像装置の
　距離算出部が、前記複数の撮像部により生成された画像間でのマッチングにより被写体までの距離を算出する
　画像処理方法。
　１１　撮像装置，　２１　カメラ画像入力部，　２１Ｌ，２１Ｒ，２１Ｔ　カメラ，　２２　演算部，　２３　記憶部，　３１　Disparity算出部，　３２　Depth値算出部,　５１，５１Ｒ，５１Ｌ　画像，  １０１　Anamorphicレンズ，　１１１　画枠情報、　１１２　フィルム，　１２１，１２２　画像

Claims (10)

  1. 　同じ特性または異なる特性を有するフィルタが２次元状に配列されたフィルタアレイと、前記フィルタからの光が入射される複数の画素が２次元状に配列された画素アレイとからなり、前記複数の画素から得られる画像を生成する複数の撮像部と、
    　前記複数の撮像部により生成された画像間でのマッチングにより被写体までの距離を算出する距離算出部と
    　を備え、
    　少なくとも１つの前記撮像部のフィルタアレイは、前記マッチングにおけるサーチ方向に全て同じ特性を有するフィルタが並んで配列されている
    　撮像装置。
  2. 　前記複数の撮像部が２つで構成される場合、
    　２つの撮像部のフィルタアレイは、前記マッチングにおけるサーチ方向に全て同じ特性を有するフィルタが並んで配列されている
    　請求項１に記載の撮像装置。
  3. 　前記複数の撮像部が３つで構成される場合、
    　基準となる撮像部のフィルタアレイは、Bayerに配列されており、
    　２つの撮像部のフィルタアレイは、前記マッチングにおけるサーチ方向に全て同じ特性を有するフィルタが並んで配列されている
    　請求項１に記載の撮像装置。
  4. 　前記複数の撮像部が３つで構成される場合、
    　基準となる撮像部のフィルタアレイは、前記マッチングにおけるサーチ方向に同じ特性を有するフィルタが多くなるようにBayer配列を変更して配列されており、
    　２つの撮像部のフィルタアレイは、前記マッチングにおけるサーチ方向に全て同じ特性を有するフィルタが並んで配列されている
    　請求項１に記載の撮像装置。
  5. 　前記マッチングにおけるサーチ方向に全て同じ特性を有するフィルタが並んで配列されているフィルタアレイおよび前記フィルタアレイに対応する画素アレイは、前記マッチングにおけるサーチ方向のみに高密度に構成されている
    　請求項１に記載の撮像装置。
  6. 　前記マッチングにおけるサーチ方向に全て同じ特性を有するフィルタが並んで配列されているフィルタアレイおよび前記フィルタアレイに対応する画素アレイは、前記マッチングにおけるサーチ方向と直行する方向に低密度に構成されている
    　請求項５に記載の撮像装置。
  7. 　前記マッチングにおけるサーチ方向に全て同じ特性を有するフィルタが並んで配列されているフィルタアレイおよび前記フィルタアレイに対応する画素アレイは、アナモーフィックスレンズを通常の利用形態に対して９０度回転させた配置とすることで、前記マッチングにおけるサーチ方向のみに高密度な空間解像度での撮像を行う
    　請求項１に記載の撮像装置。
  8. 　前記マッチングにおけるサーチ方向に全て同じ特性を有するフィルタが並んで配列されているフィルタアレイおよび前記フィルタアレイに対応する画素アレイは、前記マッチングにおけるサーチ方向と直行する方向に階段状にオフセットさせた配列とすることで、前記マッチングにおけるサーチ方向のみに高密度な空間解像度での撮像を行う
    　請求項１に記載の撮像装置。
  9. 　前記フィルタアレイは、同じ色の特性または色の特性を有するカラーフィルタが２次元状に配列されたカラーフィルタアレイである
    　請求項１に記載の撮像装置。
  10. 　同じ特性または異なる特性を有するフィルタが２次元状に配列されたフィルタアレイと、前記フィルタからの光が入射される複数の画素が２次元状に配列された画素アレイとからなり、前記複数の画素から得られる画像を生成する複数の撮像部を備え、少なくとも１つの前記撮像部のフィルタアレイが、前記マッチングにおけるサーチ方向に全て同じ特性を有するフィルタが並んで配列されている撮像装置の
    　距離算出部が、前記複数の撮像部により生成された画像間でのマッチングにより被写体までの距離を算出する
    　画像処理方法。
PCT/JP2017/026763 2016-08-08 2017-07-25 撮像装置および画像処理方法 WO2018030135A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-155547 2016-08-08
JP2016155547A JP2018026619A (ja) 2016-08-08 2016-08-08 撮像装置および画像処理方法

Publications (1)

Publication Number Publication Date
WO2018030135A1 true WO2018030135A1 (ja) 2018-02-15

Family

ID=61162809

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/026763 WO2018030135A1 (ja) 2016-08-08 2017-07-25 撮像装置および画像処理方法

Country Status (2)

Country Link
JP (1) JP2018026619A (ja)
WO (1) WO2018030135A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000354257A (ja) * 1999-06-10 2000-12-19 Sony Corp 画像処理装置、画像処理方法、およびプログラム提供媒体
JP2011176710A (ja) * 2010-02-25 2011-09-08 Sharp Corp 撮像装置
JP2015050494A (ja) * 2013-08-30 2015-03-16 日立オートモティブシステムズ株式会社 撮像装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000354257A (ja) * 1999-06-10 2000-12-19 Sony Corp 画像処理装置、画像処理方法、およびプログラム提供媒体
JP2011176710A (ja) * 2010-02-25 2011-09-08 Sharp Corp 撮像装置
JP2015050494A (ja) * 2013-08-30 2015-03-16 日立オートモティブシステムズ株式会社 撮像装置

Also Published As

Publication number Publication date
JP2018026619A (ja) 2018-02-15

Similar Documents

Publication Publication Date Title
US11570423B2 (en) System and methods for calibration of an array camera
US10043290B2 (en) Image processing to enhance distance calculation accuracy
CN110036410B (zh) 用于从视图中获得距离信息的设备和方法
JP6875081B2 (ja) ディスプレイ装置のパラメータ推定方法及びその方法を用いた装置
US9386298B2 (en) Three-dimensional image sensors
KR102680385B1 (ko) 멀티 렌즈 영상 복원 장치 및 방법
US9843788B2 (en) RGB-D imaging system and method using ultrasonic depth sensing
CN108432230B (zh) 一种成像设备和一种用于显示场景的图像的方法
US10154216B2 (en) Image capturing apparatus, image capturing method, and storage medium using compressive sensing
US8947585B2 (en) Image capturing apparatus, image processing method, and storage medium
WO2018221224A1 (ja) 画像処理装置、画像処理方法および画像処理プログラム
US10887576B2 (en) Light field data representation
JP6716218B2 (ja) 複数ピクセルピッチ超解像技術
JP2017519440A (ja) 深度推定のための画像センサ
WO2019026287A1 (ja) 撮像装置および情報処理方法
JP6095266B2 (ja) 画像処理装置及びその制御方法
US20190208109A1 (en) Image processing apparatus, image processing method, and program
US11734877B2 (en) Method and device for restoring image obtained from array camera
US20190045106A1 (en) Calibration of pixels for producing super resolution images
US20100302403A1 (en) Generating Images With Different Fields Of View
WO2018030135A1 (ja) 撮像装置および画像処理方法
JP2018133064A (ja) 画像処理装置、撮像装置、画像処理方法および画像処理プログラム
JP2018081378A (ja) 画像処理装置、撮像装置、画像処理方法および画像処理プログラム
KR20120003348A (ko) 영상 간 편이량을 결정하는 방법
JP2015060111A (ja) 撮像装置、撮像システム、撮像装置の制御方法、プログラム、および、記憶媒体

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17839208

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17839208

Country of ref document: EP

Kind code of ref document: A1