WO2023162675A1 - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
WO2023162675A1
WO2023162675A1 PCT/JP2023/003977 JP2023003977W WO2023162675A1 WO 2023162675 A1 WO2023162675 A1 WO 2023162675A1 JP 2023003977 W JP2023003977 W JP 2023003977W WO 2023162675 A1 WO2023162675 A1 WO 2023162675A1
Authority
WO
WIPO (PCT)
Prior art keywords
imaging
light
regions
imaging device
imaging element
Prior art date
Application number
PCT/JP2023/003977
Other languages
English (en)
French (fr)
Inventor
邦博 今村
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Publication of WO2023162675A1 publication Critical patent/WO2023162675A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication

Definitions

  • FIG. 1 is a diagram showing the configuration of an imaging device according to an embodiment.
  • FIGS. 2A and 2B are diagrams schematically showing a method of setting pixel blocks for the first image, respectively, according to the embodiment.
  • FIGS. 3A and 3B are diagrams schematically showing the relationship between the optical axis of the imaging lens and the imaging surfaces of the first imaging element and the second imaging element, respectively, according to the embodiment.
  • FIG. 4A is a diagram showing the configuration of a first filter formed on the imaging surface of the first imaging element according to the embodiment.
  • FIG.4(b) is a figure which shows the structure of the 2nd filter formed in the imaging surface of a 2nd image pick-up element.
  • FIGS. 1 is a diagram showing the configuration of an imaging device according to an embodiment.
  • FIGS. 2A and 2B are diagrams schematically showing a method of setting pixel blocks for the first image, respectively, according to the embodiment.
  • FIGS. 3A and 3B are diagrams schematically showing the relationship between the optical
  • FIG. 8B is a graph illustrating the relationship between search positions and correlation values for target pixel blocks not irradiated with pattern light, according to the embodiment.
  • FIG. 9 is a flowchart illustrating a process for obtaining distances and images for a subject, according to an embodiment.
  • FIG. 10A is a diagram showing the configuration of the first filter formed on the imaging surface of the first imaging element according to Modification 1.
  • FIG. 10B is a diagram showing the configuration of the second filter formed on the imaging surface of the second imaging element according to Modification 1.
  • FIG. FIG. 11 is a flowchart illustrating distance and image acquisition processing according to Modification 1.
  • the pattern generated by the optical diffraction element is a pattern in which a plurality of dot areas (hereinafter referred to as "dots"), which are light passage areas, are randomly distributed.
  • the pattern generated by the optical diffraction element (DOE) is not limited to the dot pattern, and other patterns may be used.
  • the pattern generator 13 may be a reflective optical diffraction element or a photomask.
  • the pattern generator 33 may be a device such as a DMD (Digital Mirror Device) or a liquid crystal display that generates a fixed pattern of light according to a control signal.
  • the spectroscopic element 23 disperses the light from the subject condensed by the imaging lens 24 and guides it to the first imaging element 21 and the second imaging element 22, respectively.
  • Spectral element 23 is, for example, a half mirror.
  • the spectral element 23 may be another optical element such as a diffractive optical element.
  • the imaging lens 24 collects light from the visual field range onto the imaging surfaces of the first imaging element 21 and the second imaging element 22 .
  • the optical axis of the imaging lens 24 is parallel to the Z-axis.
  • the center Co1 of the imaging surface of the first imaging element 21 is aligned with the optical axis center Co0 of the imaging lens 24 .
  • the center Co2 of the imaging surface of the second imaging element 22 is aligned with the optical axis center Co0 of the imaging lens 24.
  • the arrangement pattern of the pixel regions 211 of the first imaging device 21 with respect to the optical axis center Co0 of the imaging lens 24 and the arrangement pattern of the pixel regions 221 of the second imaging device 22 with respect to the optical axis center Co0 of the imaging lens 24 are different from each other. are the same.
  • FIGS. 4A and 4B the pixel regions 211 and 221 behind the first filter 41 and the second filter 42 are indicated by broken lines, and one pixel block 212 and 222 is indicated by thick lines. It is
  • the first regions 411, 421 and the second regions 412, 422 are both the same size as the pixel block 212.
  • the first regions 411 and the second regions 412 of the first filter 41 are arranged alternately in the horizontal direction and the vertical direction over the entire range of the imaging region of the first imaging element 21 .
  • the first regions 421 and the second regions 422 of the second filter 42 are arranged alternately in the horizontal direction and the vertical direction over the entire range of the imaging region of the first imaging element 21 .
  • dots DT are projected onto the area where the pattern light is incident. Therefore, distances can be properly calculated for these regions by searching for stereo corresponding points.
  • the signal processing unit 31 sets a search range R0 on the reference image.
  • a start position ST1 of the search range R0 is set at a position corresponding to the target pixel block TB1 on the reference image.
  • the search range R0 extends from the start position ST1 in the separation direction between the projection unit 10 and the imaging unit 20 by a predetermined number of pixels (the number of pixels corresponding to the distance detection range).
  • the vertical width of the search range R0 is the same as the vertical width of the target pixel block TB1.
  • the signal processing unit 31 sets the start position ST1 as the search position.
  • the signal processing unit 31 sets a reference pixel block RB1 having the same size as the target pixel block TB1 at this search position, and calculates a correlation value between the target pixel block TB1 and the reference pixel block RB1.
  • the correlation value is, for example, a value obtained by calculating differences in pixel values (luminance) of corresponding pixel regions of the target pixel block TB1 and the reference pixel block RB1, and integrating all the absolute values of the calculated differences. (SAD).
  • the correlation value may be acquired as a value (SSD) obtained by accumulating all the values obtained by squaring the differences.
  • the method of calculating the correlation value is not limited to these, and other calculation methods may be used as long as the correlation value serving as an index of the correlation between the target pixel block TB1 and the reference pixel block RB1 can be obtained. .
  • the search processing of the second processing for the captured image acquired by the second imaging device 22 is also the same as above.
  • the signal processing unit 31 acquires the distances to the subject for all the target pixel blocks TB1 by the second processing, and temporarily stores the acquired distances.
  • FIG. 9 is a flowchart showing processing for acquiring the distance and image of the subject.
  • step S103 the signal processing unit 31 extracts a region where natural light (visible light) is incident, that is, a region corresponding to the second region 412 of the first filter 41 from the first captured image after luminance correction.
  • step S104 the signal processing unit 31 interpolates the pixel signals of the extracted regions between the natural light regions with the surrounding pixel signals to generate a subject image (brightness image) for one screen.
  • step S107 the signal processing unit 31 operates the second imaging device 22 with a second exposure time different from the first exposure time to obtain a second captured image.
  • the second exposure time is set shorter than the first exposure time.
  • steps S108 to S112 and steps S102 to S106 only the captured images to be processed are different between the first captured image and the second captured image, and the contents of the processing itself are the same.
  • steps S108 to S112 the signal processing unit 31 acquires the image of the subject (brightness image) and the distance image in which distances are associated with all pixel blocks for the second captured image.
  • Detection of a failure or the like in the first imaging element 21 and the second imaging element 22 is performed, for example, in the initial operation before executing the process of FIG.
  • a first captured image and a second captured image are acquired from the image sensor 21 and the second image sensor 22, and the first captured image and the second captured image are compared.
  • the arrangement pattern of the first regions 411 and the second regions 412 in the first filter 41 and the arrangement of the first regions 421 and the second regions 422 in the second filter 42 patterns are the same as each other. Therefore, the same process can be used for the process of creating the luminance image and the distance image (the first process and the second process) for the first captured image and the second captured image. Therefore, the processing in the signal processing section 31 can be simplified.
  • the signal processing unit 31 selects the first image pickup element 21 and the second image pickup element 22 according to predetermined selection conditions including the presence or absence of failure of the first image pickup element 21 and the second image pickup element 22, the reflectance of the subject, and the light absorption rate.
  • One of the luminance image and the distance image obtained by the processing and the second processing is selected. As a result, it is possible to acquire the luminance image and the distance image of the subject smoothly and appropriately according to the failure and the state of the subject.
  • the first region 411 and the second region 412 of the first filter 41 and the first region 421 and the second region 422 of the second filter 42 are replaced with each other. That is, the second region 422 and the first region 421 are arranged in the second filter 42 in the region where the first region 411 and the second region 412 are respectively arranged in the first filter 41 .
  • the sizes of the first regions 411, 421 and the second regions 412, 422 are the same as the sizes of the pixel blocks 212, 222 as in the above embodiment.
  • a relay lens may be further arranged between the spectroscopic elements 23 and 26 to solve this problem.
  • the signal processing unit 31 performs the same processing as steps S102 to S106 in FIG. 9 on the acquired third captured image to generate a luminance image and a distance image.
  • the signal processing unit 31 holds a reference image for performing stereo correspondence point search on the third captured image separately from the reference images for performing stereo correspondence point search on the first captured image and the second captured image. You may have The signal processing unit 31 uses the third captured image acquired from the third imaging device 25 to perform the same processing as described above along with the processing of FIG. 9 .
  • Pattern light generated by light from the light source 11 is incident on a region corresponding to the first region 441 of the first imaging element 21 , and light source The pattern light generated by the light from 15 is incident. Therefore, the signal processing unit 31 can generate a distance image based on two types of light from the first image captured by the first image sensor 21 . Similarly, the signal processing unit 31 can generate a distance image based on two types of light from the second image captured by the second image sensor 22 .
  • Steps S101, S102, S107, S108, and S115 in FIG. 15 are the same as the corresponding steps in FIG.
  • the dynamic range of distance detection based on the light from the light source 11 can be widened. Also, the dynamic range of distance detection based on the light from the light source 15 can be widened.
  • the sizes of the first regions 411, 421 and the second regions 412, 422 may be slightly larger than the sizes of the pixel blocks 212, 222, or as shown in FIG. 17(b).
  • the size of the first regions 411, 421 and the second regions 412, 422 may be set the same as the pixel regions 211, 221 and smaller than the size of the pixel blocks 212, 222.
  • the third captured image captured by the third image sensor 25 is processed in the same manner as the first captured image and the second captured image captured by the first image sensor 21 and the second image sensor 22. is applied to generate a luminance image and a distance image based on the third captured image. Therefore, even if a failure or the like occurs in both the first imaging element 21 and the second imaging element 22, the luminance image and the distance image based on the third captured image can be provided to the external device.
  • steps S101 to S106 and steps S107 to S112 are executed, the selection of the luminance image and the selection of the range image are performed in steps S113 and S114.
  • the order of the selection steps is not limited to this.
  • a luminance image and a range image may be generated using only the elements. For example, if a problem occurs in the second imaging element 22, only steps S101 to S106 are executed without executing steps S107 to S112 to generate a luminance image and a distance image. Images may be sent.
  • the search range for stereo correspondence point search is in the row direction, but the search range may be in the column direction, or even if the search range is in a direction combining rows and columns. good.
  • first imaging processing unit 33 and the second imaging processing unit 34 may correct distortion due to distortion of the imaging lens 24 or the like for the first captured image and the second captured image.
  • a reference image stored in advance in the unit 31 may be corrected for distortion due to distortion of the imaging lens 24 or the like.
  • the configuration of the imaging device 1 is not limited to the configuration shown in the above embodiment.
  • a sensor array may be used.

Abstract

撮像装置（１）は、撮像部（２０）と、第１波長帯のパターン光を撮像部（２０）の視野範囲に投射する投射部（１０）と、を備える。ここで、撮像部（２０）は、第１撮像素子（２１）と、第２撮像素子（２２）と、撮像レンズ（２４）と、撮像レンズ（２４）により集光された被写体からの光を第１撮像素子（２１）および第２撮像素子（２２）にそれぞれ導く分光素子（２３）と、第１撮像素子（２１）の受光面に形成され、第１波長帯の光を透過する複数の第１領域および第１波長帯の光を透過せず前記第１波長帯とは異なる第２波長帯の光を透過する複数の第２領域を有する第１フィルタと、第２撮像素子（２２）の受光面に形成され、複数の第１領域および複数の第２領域を有する第２フィルタと、を備える。

Description

撮像装置
　本発明は、被写体までの距離を測定可能な撮像装置に関する。
　従来、被写体にパターン光を照射して被写体までの距離を測定する撮像装置が知られている。この種の撮像装置では、特異なパターン（強度分布）を有するパターン光が被写体に照射され、被写体が撮像部により撮像される。撮像装置は、予め、上記パターンが分布する基準画像を保持している。撮像画像上の対象画素ブロックに最も相関が高い画素ブロックが、基準画像上において探索される。探索範囲は、対象画素ブロックと同じ位置を基準位置として設定される。探索により抽出された画素ブロックの基準位置に対する画素ずれ量が、視差として検出される。この視差から、三角計測法により、被写体までの距離が算出される。
　このような撮像装置では、被写体までの距離だけでなく、さらに、被写体を画像認識するために、被写体の画像（輝度画像）がさらに取得され得る。この場合、上記のようにパターン光が照射されると、パターン光のパターンが被写体の画像に写り込んでしまう。このため、画像認識の精度が低下するといった問題が生じる。
　このような問題解消するための構成が、たとえば、以下の特許文献１に記載されている。この構成では、被写体のＲＧＢ画像を取得するための撮像素子と、パターン光を受光するための撮像素子と、被写体から反射されるＲＧＢ光およびパターン光を分離する分離光学系とが用いられる。分離光学系で分離されたＲＧＢ光およびパターン光は、それぞれ、ＲＧＢ光用の撮像素子およびパターン光用の撮像素子により受光される。
特開２００１－１５３６１２号公報
　上記のような撮像装置では、被写体の反射率や光吸収率が多様に変化し得る。このため、撮像および距離算出が可能な光強度の範囲（ダイナミックレンジ）がなるべく広いことが好ましい。また、継続的に動作するロボット等にこの撮像装置が搭載される場合、ロボット等の継続動作中において、なるべく被写体までの距離の算出が不能とならないことが好ましい。
　かかる課題に鑑み、本発明は、撮像および距離算出が可能な光強度の範囲（ダイナミックレンジ）を広げることができ、且つ、被写体までの距離の算出が不能となることを抑制することが可能な撮像装置を提供することを目的とする。
　本発明の主たる態様に係る撮像装置は、撮像部と、第１波長帯のパターン光を前記撮像部の視野範囲に投射する投射部と、を備える。ここで、前記撮像部は、第１撮像素子と、第２撮像素子と、撮像レンズと、前記撮像レンズにより集光された被写体からの光を前記第１撮像素子および前記第２撮像素子にそれぞれ導く分光素子と、前記第１撮像素子の受光面に形成され、前記第１波長帯の光を透過する複数の第１領域および前記第１波長帯の光を透過せず前記第１波長帯とは異なる第２波長帯の光を透過する複数の第２領域を有する第１フィルタと、前記第２撮像素子の受光面に形成され、複数の前記第１領域および複数の前記第２領域を有する第２フィルタと、を備える。
　本態様に係る撮像装置によれば、被写体からの光が第１撮像素子および第２撮像素子に導かれるため、これら撮像素子からの撮像画像に基づき、それぞれ、被写体の撮像および距離の算出を行うことができる。このとき、たとえば、第１撮像素子における露光時間と第２撮像素子における露光時間を相違させることにより、各露光時間に応じた光強度の範囲で、撮像および距離の算出を行い得る。これにより、撮像および距離算出が可能な範囲（ダイナミックレンジ）を広げることができる。また、何れか一方の撮像素子に故障等の不具合が生じても、他方の撮像素子からの撮像画像により、被写体に対する距離の算出を行い得る。よって、被写体までの距離の算出が不能となることを抑制できる。
　また、第１フィルタの第２領域および第２フィルタの第２領域によってパターン光が除去されるため、たとえば、第２領域を透過した光を受光する範囲の画素からの画素信号により、パターン光が写り込まない状態の被写体の画像を生成できる。これにより、被写体までの距離の算出と、被写体の画像の生成を、同時に実現できる。
　以上のとおり、本発明によれば、撮像および距離算出が可能な光強度の範囲（ダイナミックレンジ）を広げることができ、且つ、被写体までの距離の算出が不能となることを抑制することが可能な撮像装置を提供できる。
　本発明の効果ないし意義は、以下に示す実施形態の説明により更に明らかとなろう。ただし、以下に示す実施形態は、あくまでも、本発明を実施化する際の一つの例示であって、本発明は、以下の実施形態に記載されたものに何ら制限されるものではない。
図１は、実施形態に係る、撮像装置の構成を示す図である。 図２（ａ）および図２（ｂ）は、それぞれ、実施形態に係る、第１画像に対する画素ブロックの設定方法を模式的に示す図である。 図３（ａ）および図３（ｂ）は、それぞれ、実施形態に係る、撮像レンズの光軸と、第１撮像素子および第２撮像素子の撮像面との関係を模式的に示す図である。 図４（ａ）は、実施形態に係る、第１撮像素子の撮像面に形成された第１フィルタの構成を示す図である。図４（ｂ）は、第２撮像素子の撮像面に形成された第２フィルタの構成を示す図である。 図５（ａ）および図５（ｂ）は、それぞれ、実施形態に係る、投射部から投射されたパターン光が第１フィルタおよび第２フィルタ上に投影された状態を模式的に示す図である。 図６（ａ）および図６（ｂ）は、それぞれ、実施形態に係る、第１撮像素子の撮像面に入射する光を模式的に示す図である。 図７（ａ）～図７（ｄ）は、それぞれ、実施形態に係る、撮像画像上の対象画素ブロックに適合する適合画素ブロックを、基準画像上において探索する処理を模式的に示す図である。 図８（ａ）は、実施形態に係る、パターン光が照射された対象画素ブロックに対する探索位置と相関値の関係を例示するグラフである。図８（ｂ）は、実施形態に係る、パターン光が照射されない対象画素ブロックに対する探索位置と相関値の関係を例示するグラフである。 図９は、実施形態に係る、被写体について距離および画像を取得するための処理を示すフローチャートである。 図１０（ａ）は、変更例１に係る、第１撮像素子の撮像面に形成された第１フィルタの構成を示す図である。図１０（ｂ）は、変更例１に係る、第２撮像素子の撮像面に形成された第２フィルタの構成を示す図である。 図１１は、変更例１に係る、距離および画像の取得処理を示すフローチャートである。 図１２は、変更例２に係る、投射部および撮像部の構成を示す図である。 図１３は、変更例２に係る、投射部および撮像部の他の構成を示す図である。 図１４は、変更例３に係る、投射部および撮像部の構成を示す図である。 図１５は、変更例３に係る、距離画像の生成処理を示すフローチャートである。 図１６（ａ）および図１６（ｂ）は、変更例４に係る、第１フィルタの構成を示す図である。 図１７（ａ）および図１７（ｂ）は、変更例４に係る、第１フィルタの他の構成を示す図である。 図１８（ａ）および図１８（ｂ）は、それぞれ、変更例５に係る、撮像レンズの光軸と、第１撮像素子および第２撮像素子の撮像面との関係を模式的に示す図である。 図１９は、変更例５に係る、輝度画像および距離画像の分解能を模式的に示す図である。 図２０は、他の変更例に係る、投射部および撮像部の構成を示す図である。
　ただし、図面はもっぱら説明のためのものであって、この発明の範囲を限定するものではない。
　以下、本発明の実施形態について、図面を参照して説明する。便宜上、各図には、互いに直交するＸ、Ｙ、Ｚ軸が付記されている。Ｘ軸方向は、投射部および撮像部の並び方向であり、Ｚ軸正方向は撮像部の撮像方向である。
　図１は、撮像装置１の構成を示す図である。
　撮像装置１は、投射部１０と、撮像部２０と、画像処理部３０とを備える。
　投射部１０は、撮像部２０の視野範囲に、所定パターンで光が分布するパターン光を投射する。投射部１０によるパターン光の投射方向は、Ｚ軸正方向である。投射部１０は、光源１１と、コリメータレンズ１２と、パターン生成器１３と、投射レンズ１４と、を備える。
　光源１１は、所定波長のレーザ光を出射する。光源１１は、たとえば、半導体レーザである。光源１１の出射波長は、たとえば、赤外の波長帯に含まれる。光源１１は、ＬＥＤ（Light Emitting Diode）等の他の種類の光源であってもよい。コリメータレンズ１２は、光源１１から出射された光を、略平行光に変換する。
　パターン生成器１３は、光源１１から出射された光によりパターン光を生成する。本実施形態では、パターン生成器１３は、透過型の光学回折素子（ＤＯＥ）である。光学回折素子（ＤＯＥ）は、たとえば、その入射面に所定ステップ数の回折パターンを有する。この回折パターンによる回折作用により、回折光学素子（パターン生成器１３）に入射したレーザ光は、複数に分光され、所定パターンの光に変換される。生成されるパターンは、後述の画素ブロック１０２ごとに唯一性を維持できるパターンである。
　本実施形態では、光学回折素子（ＤＯＥ）により生成されるパターンは、光の通過領域である複数のドット領域（以下、「ドット」という）がランダムに分布したパターンである。但し、光学回折素子（ＤＯＥ）生成されるパターンは、ドットによるパターンに限られるものではなく、他のパターンであってもよい。また、パターン生成器１３は、反射型の光学回折素子であってもよく、あるいは、フォトマスクであってもよい。あるいは、パターン発生器は３３、ＤＭＤ（Digital Mirror Device）や液晶ディスプレイ等の、制御信号により固定パターンのパターン光を生成する機器であってもよい。
　投射レンズ１４は、パターン生成器１３により生成されたパターン光を投射する。投射レンズ１４は、１つのレンズでなくてもよく、複数のレンズが組み合わされて構成されてもよい。また、投射レンズ１４に代えて、凹面形状の反射ミラーが用いられてもよい。
　撮像部２０は、第１撮像素子２１と、第２撮像素子２２と、分光素子２３と、撮像レンズ２４とを備える。
　第１撮像素子２１および第２撮像素子２２は、ＣＭＯＳイメージセンサである。第１撮像素子２１および第２撮像素子２２がＣＣＤであってもよい。後述のように、第１撮像素子２１および第２撮像素子２２の撮像面には、それぞれ、第１フィルタ４１および第２フィルタ４２（図４（ａ）、（ｂ）参照）が形成されている。本実施形態では、第１撮像素子２１および第２撮像素子２２は、互いに同じ構成である。
　分光素子２３は、撮像レンズ２４により集光された被写体からの光を分光して、第１撮像素子２１および第２撮像素子２２にそれぞれ導く。分光素子２３は、たとえば、ハーフミラーである。分光素子２３が、回折光学素子等の他の光学素子であってもよい。撮像レンズ２４は、視野範囲からの光を第１撮像素子２１および第２撮像素子２２の撮像面に集光する。撮像レンズ２４の光軸は、Ｚ軸に平行である。
　画像処理部３０は、信号処理部３１と、光源駆動部３２と、第１撮像処理部３３と、第２撮像処理部３４と、通信インタフェース３５と、を備える。
　信号処理部３１は、マイクロコンピュータ等の演算処理回路およびメモリを備え、所定のプログラムに従って、各部を制御する。また、信号処理部３１は、第１撮像処理部３３および第２撮像処理部３４から入力される画素信号を処理して、被写体までの距離の算出および被写体の画像の生成を行う。
　信号処理部３１は、投射部１０から投射されるパターン光と同様のパターンでドットが分布する基準画像を保持する。信号処理部３１は、この基準画像と、第１撮像処理部３３および第２撮像処理部３４でそれぞれ撮像された撮像画像を比較処理して、ステレオ対応点探索を行い、各撮像画像上の各画素ブロックに投影される物体までの距離を算出する。
　すなわち、信号処理部３１は、距離の取得対象とされる画素ブロック（以下、「対象画素ブロック」という）を撮像画像上に設定し、この対象画素ブロックに対応する画素ブロック、すなわち、対象画素ブロックに最も適合する画素ブロック（以下、「適合画素ブロック」という）を、基準画像上に規定した探索範囲において探索する。そして、信号処理部３１は、基準画像上において対象画素ブロックと同じ位置にある画素ブロック（以下、「基準画素ブロック」という）と、上記探索により基準画像から抽出した適合画素ブロックとの間の画素ずれ量を取得し、取得した画素ずれ量から、三角測量法に基づく演算により、対象画素ブロックの位置における物体までの距離を算出する処理を行う。
　また、信号処理部３１は、第１撮像処理部３３および第２撮像処理部３４によりそれぞれ撮像された撮像画像から、パターン光のドットを含まない画像を生成する。被写体に対する距離算出および画像生成の処理は、追って、図７（ａ）～図９を参照して説明する。
　信号処理部３１は、距離算出および画像生成を第１撮像素子２１からの撮像画像（画素信号）に対して行う第１処理と、距離算出および画像生成を第２撮像素子２２からの撮像画像（画素信号）に対して行う第２処理とを並行して実行する。信号処理部３１は、第１処理および第２処理によりそれぞれ取得した距離および画像の一方を、通信インタフェース３５を介して、外部装置に送信する。
　信号処理部３１は、第１処理および第２処理を、２つのＦＰＧＡ（Field Programmable Gate Array）からなる半導体集積回路により実行してもよい。あるいは、第１処理および第２処理が、ＤＳＰ（Digital Signal Processor）、ＧＰＵ（Graphics Processing Unit）およびＡＳＩＣ（Application Specific IntegratedCircuit）などの他の半導体集積回路により実行されてもよい。
　光源駆動部３２は、信号処理部３１からの制御により、光源１１を駆動する。第１撮像処理部３３は、第１撮像素子２１を制御するとともに、第１撮像素子２１から出力される撮像画像の画素信号に対して、輝度補正およびカメラ校正などの処理を行う。第２撮像処理部３４は、第２撮像素子２２を制御するとともに、第２撮像素子２２から出力される撮像画像の画素信号に対して、輝度補正およびカメラ校正などの処理を行う。
　図２（ａ）、（ｂ）は、第１撮像素子２１に対する画素ブロック１０２の設定方法を模式的に示す図である。図２（ａ）は、撮像面全体に対する画素ブロック１０２の設定方法を示し、図２（ｂ）は、撮像面の一部の領域を拡大して示している。
　図２（ａ）、（ｂ）に示すように、第１撮像素子２１の撮像面は、それぞれ所定数の画素領域２１１を含む複数の画素ブロック２１２に区分される。画素領域２１１は、第１撮像素子２１上の１つの画素に対応する領域である。すなわち、画素領域２１１は、撮像面の最小単位である。図２（ａ）、（ｂ）の例では、３行および３列に並ぶ９個の画素領域２１１によって、１つの画素ブロック２１２が構成される。ただし、１つの画素ブロック２１２に含まれる画素領域２１１の数は、これに限られるものではない。第２撮像素子２２の撮像面にも、同様に、画素ブロックが設定される。
　図３（ａ）、（ｂ）は、それぞれ、撮像レンズ２４の光軸と、第１撮像素子２１および第２撮像素子２２の撮像面との関係を模式的に示す図である。図３（ａ）、（ｂ）には、第１撮像素子２１および第２撮像素子２２の撮像面の中心付近が図示されている。
　図３（ａ）に示すように、第１撮像素子２１の撮像面の中心Ｃｏ１は、撮像レンズ２４の光軸中心Ｃｏ０に整合している。また、図３（ｂ）に示すように、第２撮像素子２２の撮像面の中心Ｃｏ２は、撮像レンズ２４の光軸中心Ｃｏ０に整合している。したがって、撮像レンズ２４の光軸中心Ｃｏ０に対する第１撮像素子２１の画素領域２１１の配置パターンと、撮像レンズ２４の光軸中心Ｃｏ０に対する第２撮像素子２２の画素領域２２１の配置パターンとは、互いに同じである。
　図４（ａ）は、第１撮像素子２１の撮像面に形成された第１フィルタ４１の構成を示す図である。図４（ｂ）は、第２撮像素子２２の撮像面に形成された第２フィルタ４２の構成を示す図である。便宜上、図４（ａ）、（ｂ）には、第１フィルタ４１および第２フィルタ４２の左上の角付近の範囲が示されている。
　図４（ａ）、（ｂ）には、第１フィルタ４１および第２フィルタ４２の奥側にある画素領域２１１、２２１が破線で示され、さらに、１つの画素ブロック２１２、２２２が太線で示されている。
　図４（ａ）に示すように、第１フィルタ４１には、複数の第１領域４１１と複数の第２領域４１２が配置されている。第１領域４１１は、投射部１０から投射されるパターン光の波長帯（ここでは、赤外の波長帯）の光を透過し、その他の波長帯の光を透過しない。第２領域４１２は、可視帯域の波長帯の光を透過し、その他の波長帯の光を透過しない。したがって、第２領域４１２は、投射部１０から投射されるパターン光の波長帯（ここでは、赤外の波長帯）の光を透過しない。
　図４（ｂ）に示すように、第２フィルタ４２には、複数の第１領域４２１と複数の第２領域４２２が配置されている。第１領域４２１は、投射部１０から投射されるパターン光の波長帯（ここでは、赤外の波長帯）の光を透過し、その他の波長帯の光を透過しない。第２領域４２２は、可視帯域の波長帯の光を透過し、その他の波長帯の光を透過しない。したがって、第２領域４２２は、投射部１０から投射されるパターン光の波長帯（ここでは、赤外の波長帯）の光を透過しない。
　図４（ａ）、（ｂ）に示すように、第１領域４１１、４２１および第２領域４１２、４２２は、共に、画素ブロック２１２と同じサイズである。第１フィルタ４１の第１領域４１１および第２領域４１２は、第１撮像素子２１の撮像領域の全範囲において、左右方向および上下方向に交互に配置されている。また、第２フィルタ４２の第１領域４２１および第２領域４２２は、第１撮像素子２１の撮像領域の全範囲において、左右方向および上下方向に交互に配置されている。
　本実施形態では、第１フィルタ４１における第１領域４１１および第２領域４１２の配列パターンと、第２フィルタ４２における第１領域４２１および第２領域４２２の配列パターンとは、互いに同じである。
　図５（ａ）、（ｂ）は、投射部１０から投射されたパターン光が第１フィルタ４１および第２フィルタ４２上に投影された状態を模式的に示す図である。
　投射部１０からパターン光が投射されると、被写体から反射されたパターン光の反射光が撮像レンズ２４によって取り込まれて、第１撮像素子２１および第２撮像素子２２に集光される。これにより、図５（ａ）、（ｂ）に示すように、パターン光のパターン（ドットＤＴ）が、所定の分布状態で、第１フィルタ４１および第２フィルタ４２上に投影される。
　図６（ａ）、（ｂ）は、第１撮像素子２１の撮像面に入射する光を模式的に示す図である。便宜上、図６（ａ）には、第１領域４１１を透過する赤外の波長帯の光がハッチングで示され、図６（ｂ）には、第２領域４１２を透過する可視の波長帯の光がハッチングで示されている。
　図６（ａ）に示すように、図５（ａ）の第１領域４１１に対応する領域には、赤外の波長帯の光であるパターン光が入射し、図５（ａ）の第２領域４１２に対応する領域には、パターン光は入射しない。他方、図６（ｂ）に示すように、図５（ａ）の第２領域４１２に対応する領域には、可視の波長帯の光が入射し、図５（ａ）の第１領域４１１に対応する領域には、可視の波長帯の光は入射しない。したがって、第１撮像素子２１の撮像面全体では、パターン光が入射する領域と、可視の光が入射する領域とが、左右方向および上下方向に交互に現れる。
　図６（ａ）、（ｂ）には、第１撮像素子２１の撮像面に入射する光が示されたが、第２撮像素子２２の撮像面にも、図６（ａ）、（ｂ）と同様、パターン光が入射する領域と、可視の光が入射する領域とが、左右方向および上下方向に交互に現れる。
　図６（ａ）、（ｂ）に示すように、パターン光が入射する領域には、ドットＤＴが投影される。よって、これらの領域については、ステレオ対応点探索により、適正に距離を算出できる。
　図７（ａ）～（ｄ）は、撮像画像上の対象画素ブロックＴＢ１（距離の取得対象とされる画素ブロック２１２）に適合する適合画素ブロックを、基準画像上において探索する処理を模式的に示す図である。ここでは、第１撮像素子２１により取得された撮像画像に対する第１処理の探索処理が示されている。
　まず、図７（ａ）に示すように、信号処理部３１は、基準画像上に探索範囲Ｒ０を設定する。探索範囲Ｒ０の開始位置ＳＴ１は、基準画像上の対象画素ブロックＴＢ１に対応する位置に設定される。探索範囲Ｒ０は、開始位置ＳＴ１から、投射部１０と撮像部２０の離間方向に、所定の画素数（距離検出レンジに対応する画素数）だけ延びている。探索範囲Ｒ０の上下方向の幅は、対象画素ブロックＴＢ１の上下方向の幅と同じである。
　信号処理部３１は、開始位置ＳＴ１を探索位置に設定する。信号処理部３１は、この探索位置に対象画素ブロックＴＢ１と同一サイズの参照画素ブロックＲＢ１を設定し、対象画素ブロックＴＢ１と参照画素ブロックＲＢ１との相関値を算出する。
　ここで、相関値は、たとえば、対象画素ブロックＴＢ１および参照画素ブロックＲＢ１の互いに対応する画素領域について画素値（輝度）の差分をそれぞれ算出し、算出したそれぞれの差分の絶対値を全て積算した値（ＳＡＤ）として取得される。あるいは、相関値は、上記差分を２乗した値を全て積算した値（ＳＳＤ）として取得されてもよい。但し、相関値の算出方法は、これらに限られるものではなく、対象画素ブロックＴＢ１と参照画素ブロックＲＢ１との相関の指標となる相関値が得られる限りにおいて、他の算出方法であってもよい。
　こうして、１つの参照画素ブロックＲＢ１に対する処理が終了すると、信号処理部３１は、図７（ｂ）に示すように、次の探索位置を設定する。具体的には、信号処理部３１は、前回の探索位置を１画素分だけ探索範囲Ｒ０の終端方向にシフトさせた位置を、今回の探索位置に設定する。そして、信号処理部３１は、上記と同様の処理により、今回の探索位置の参照画素ブロックＲＢ１と対象画素ブロックＴＢ１との間の相関値を算出する。
　信号処理部３１は、探索位置を１画素分だけ終端方向にシフトさせながら、同様の処理を繰り返し実行する。図７（ｃ）は、探索範囲Ｒ０の最後の探索位置から１つ前の探索位置に参照画素ブロックＲＢ１が設定された状態を示し、図７（ｄ）は、探索範囲Ｒ０の最後の探索位置に参照画素ブロックＲＢ１が設定された状態を示している。
　こうして、最後の探索位置に対する処理が終了すると、信号処理部３１は、順次設定した探索位置のうち、相関値が最小となる探索位置を取得する。そして、信号処理部３１は、最小の相関値が得られた探索位置の参照画素ブロックＲＢ１を、対象画素ブロックＴＢ１に対応する画素ブロック（適合画素ブロック）として抽出する。さらに、信号処理部３１は、開始位置ＳＴ１に対する適合画素ブロックの画素ずれ量を取得する。そして、信号処理部３１は、取得した画素ずれ量と、投射部１０と撮像部２０との離間距離とから、三角測量法により被写体までの距離を算出する。
　信号処理部３１は、算出した距離を一時記憶する。信号処理部３１は、撮像画像上の全ての対象画素ブロックＴＢ１について同様の処理を繰り返す。こうして、第１処理により、全ての対象画素ブロックＴＢ１について、被写体までの距離が一時記憶される。
　第２撮像素子２２により取得された撮像画像に対する第２処理の探索処理も、上記と同様である。信号処理部３１は、第２処理により、全ての対象画素ブロックＴＢ１について被写体までの距離を取得し、取得した距離を一時記憶する。
　なお、本実施形態では、図６（ａ）に示したように、第１フィルタ４１の第２領域４１２に対応する撮像面上の領域には、パターン光が照射されない。このため、これらの領域に対応する画素ブロック２１２（対象画素ブロックＴＢ１）については、距離を適正に取得できない場合がある。
　図８（ａ）は、パターン光が照射された対象画素ブロックＴＢ１に対する探索位置と相関値の関係を例示するグラフである。図８（ｂ）は、パターン光が照射されない対象画素ブロックＴＢ１に対する探索位置と相関値の関係を例示するグラフである。ここでは、縦軸の相関値として、ＳＡＤまたはＳＳＤが想定されている。
　図８（ａ）に示すように、パターン光が照射された対象画素ブロックＴＢ１に対する探索処理では、適合画素ブロックの位置である探索位置Ｐ１において取得される相関値Ｃ１が、他の位置の相関値に対して明確に区別可能な程度に顕著に小さくなっている。これにより、探索位置Ｐ１において、最小の相関値Ｃ１が得られる。よって、探索位置Ｐ１が、適合画素ブロックの位置として適切に特定される。
　他方、図８（ｂ）に示すように、パターン光が照射されない対象画素ブロックＴＢ１に対する探索処理では、適合画素ブロックの位置において取得される相関値と、他の位置の相関値との差分が小さくなる。このため、ノイズ等の影響により、適合画素ブロックの位置とは別の位置Ｐ２において取得された相関値Ｃ２が最小値となり、この位置が適合画素ブロックの位置として誤検出されることが起こり得る。
　このような問題を解消するため、信号処理部３１は、相関値に所定の閾値Ｔｈ０を設定し、探索処理により得られた相関値の最小値がこの閾値Ｔｈ０以下でない場合、この対象画素ブロックＴＢ１については、距離が算出できなかったとして処理する。この場合、信号処理部３１は、距離を算出できなかった対象画素ブロックＴＢ１の距離を、当該対象画素ブロックＴＢ１の周囲の画素ブロックについて取得した距離で補間する。補間の方法は、周囲の距離の平均値を用いる方法等、従来周知の方法が用いられ得る。
　図９は、被写体について距離および画像を取得するための処理を示すフローチャートである。
　図９のフローチャートにおいて、ステップＳ１０１～Ｓ１０６は、図１に示した第１処理による処理工程であり、ステップＳ１０７～Ｓ１１２は、図１に示した第２処理による処理工程である。
　ステップＳ１０１において、信号処理部３１は、第１撮像素子２１を第１露光時間で動作させ、第１撮像画像を取得する。ステップＳ１０２において、信号処理部３１は、第１撮像画像の各画素信号に対し、露光時間に基づく輝度補正を行う。より詳細には、第１撮像素子２１に基準の露光時間が設定された場合の輝度レベルとなるように、第１撮像画像の各画素信号に輝度補正を行う。
　ステップＳ１０３において、信号処理部３１は、輝度補正後の第１撮像画像から、自然光（可視光）が入射する領域、すなわち、第１フィルタ４１の第２領域４１２に対応する領域を抽出する。ステップＳ１０４において、信号処理部３１は、抽出した自然光の領域間の領域の画素信号を、その周囲の画素信号で補間し、１画面分の被写体の画像（輝度画像）を生成する。
　ステップＳ１０５において、信号処理部３１は、第１撮像画像から、上述の探索処理により、第１画像上の各画素ブロック２１２に対する距離を算出する。ステップＳ１０６において、信号処理部３１は、探索処理により距離が得られなかった画素ブロック２１２に対する距離を、その周囲の距離で補間し、全ての画素ブロックに対して距離が対応付けられた距離画像を取得する。
　ステップＳ１０７において、信号処理部３１は、第２撮像素子２２を、第１露光時間とは異なる第２露光時間で動作させ、第２撮像画像を取得する。たとえば、第２露光時間は、第１露光時間より短く設定される。ステップＳ１０８～Ｓ１１２とステップＳ１０２～Ｓ１０６とは、処理対象の撮像画像が第１撮像画像と第２撮像画像とで異なるだけで、処理の内容自体は、互いに同じである。信号処理部３１は、ステップＳ１０８～Ｓ１１２により、第２撮像画像について、被写体の画像（輝度画像）と、全ての画素ブロックに対して距離が対応付けられた距離画像を取得する。
　ステップＳ１１３において、信号処理部３１は、第１撮像画像および第２撮像画像についてそれぞれ取得した被写体の画像（輝度画像）のうち一方を選択する。ステップＳ１１４において、信号処理部３１は、第１撮像画像および第２撮像画像についてそれぞれ取得した距離画像のうち一方を選択する。
　たとえば、信号処理部３１は、第１撮像素子２１および第２撮像素子２２の両方に故障等の不具合が無い場合、第１撮像画像（露光時間が長い方の撮像画像）について取得した被写体の画像（輝度画像）および距離画像を、ステップＳ１１３、Ｓ１１４において選択する。また、信号処理部３１は、第１撮像素子２１および第２撮像素子２２の一方に故障等の不具合が検出された場合、不具合が無い方の撮像素子からの撮像画像について取得した被写体の画像（輝度画像）および距離画像を、ステップＳ１１３、Ｓ１１４において選択する。
　第１撮像素子２１および第２撮像素子２２における故障等の検出は、たとえば、図９の処理を実行する前の初期動作において、投射部１０からパターン光を投射させつつ、同じ露光時間で第１撮像素子２１および第２撮像素子２２から第１撮像画像および第２撮像画像を取得させ、これら第１撮像画像と第２撮像画像を比較することにより行われる。
　たとえば、第１撮像画像および第２撮像画像の互いに対応する画素の画素信号が、全ての画素について略同じである場合、第１撮像素子２１および第２撮像素子２２には故障等の不具合がないと判断される。他方、互いに対応する画素の画素信号の一方が他方より低い傾向がある場合、一方の画素信号を取得した撮像素子に故障等の不具合があると判断される。
　但し、故障の判定方法はこれに限られるものではない。たとえば、初期動作時に取得した第１撮像画像および第２撮像画像から、それぞれ、画素信号の平均値を取得し、取得した平均値を比較して、第１撮像画像および第２撮像画像の故障の有無が判断されてもよい。この場合、これら平均値が略同じであれば、第１撮像画像および第２撮像画像には故障はないと判断され、一方が他方より低い場合は、一方の平均値を取得した撮像素子に故障等の不具合があると判断される。
　あるいは、初期動作において取得した数フレーム分の第１撮像画像および第２撮像画像から、第１撮像画像の各画素値の変動と第２撮像画像の各画素値の変動をそれぞれ監視し、第１撮像素子２１および第２撮像素子２２の何れかにおいて画素値の変動が閾値範囲を超えた場合に、その撮像素子に等の不具合があると判断されてもよい。
　第１撮像素子２１および第２撮像素子２２の両方に故障等の不具合が無い場合、さらに、被写体の反射率や光吸収率から、第１撮像画像および第２撮像画像についてそれぞれ取得した輝度画像および距離画像のうち一方が選択されてもよい。たとえば、信号処理部３１は、赤外光に対する反射率が高い場合、露光時間が短い第２撮像画像から取得した距離画像を、ステップＳ１１４で選択してもよい。
　あるいは、第１撮像画像内の所定領域および第２撮像画像の所定領域から画素信号の代表値（たとえば、平均値や中央値等）をそれぞれ取得し、この代表値が予め設定した値に近い方の撮像画像から取得した輝度画像および距離画像を、ステップＳ１１４で選択してもよい。
　ステップＳ１１５において、信号処理部３１は、ステップＳ１１３、Ｓ１１４で選択した被写体の画像（輝度画像）および距離画像を、通信インタフェース３５を介して外部装置に送信する。これにより、信号処理部３１は、図９の処理を終了する。
　＜実施形態の効果＞
　上記実施形態によれば、以下の効果が奏される。
　図１に示したように、被写体からの光が、分光素子２３によって、第１撮像素子２１および第２撮像素子２２に導かれる。このため、図９に示したように、第１撮像素子２１および第２撮像素子２２によりそれぞれ取得される第１撮像画像および第２撮像画像に基づき、それぞれ、被写体の撮像および距離の算出を行うことができる。このとき、第１撮像素子２１における第１露光時間と第２撮像素子２２における第２露光時間が相違するため、各露光時間に応じた光強度の範囲で、撮像および距離の算出を行い得る。これにより、撮像および距離算出が可能な範囲（ダイナミックレンジ）を広げることができる。また、何れか一方の撮像素子に故障等の不具合が生じても、他方の撮像素子からの撮像画像により、被写体に対する距離算出を行い得る。よって、被写体までの距離の算出が不能となることを抑制できる。
　また、図６（ｂ）を参照して説明したように、第１フィルタ４１の第２領域４１２および第２フィルタ４２の第２領域４２２によってパターン光が除去されるため、第２領域４１２、４２２を透過した光を受光する範囲の画素からの画素信号により、パターン光が写り込まない状態の被写体の輝度画像を生成できる。これにより、被写体までの距離の算出と、被写体の輝度画像の生成とを、同時に実現できる。
　図４（ａ）、（ｂ）に示したように、第１フィルタ４１における第１領域４１１および第２領域４１２の配列パターンと、第２フィルタ４２における第１領域４２１および第２領域４２２の配列パターンとが、互いに同じである。これにより、第１撮像画像および第２撮像画像に対する輝度画像および距離画像の作成処理（第１処理および第２処理）を、同じ処理にできる。よって、信号処理部３１における処理を簡素にすることができる。
　図４（ａ）、（ｂ）に示したように、第１フィルタ４１において、第１領域４１１および第２領域４１２は交互に配置され、第２フィルタ４２において、第１領域４２１および第２領域４２２は交互に配置されている。これにより、図６（ａ）、（ｂ）に示したように、第１撮像画像および第２撮像画像において、輝度画像および距離画像が得られない領域に対し上下左右に隣接する領域に、輝度画像および距離画像が得られる領域が存在する。よって、輝度画像および距離画像が得られない領域に対する補間を、円滑かつ適正に行うことができる。
　図４（ａ）、（ｂ）に示したように、第１領域４１１、４２１は、距離検出の最小単位である画素ブロック２１２、２２２の整数倍（ここでは１倍）の大きさに設定されている。これにより、図６（ａ）に示したように、第１領域４１１、４２１に対応する位置の画素ブロック２１２、２２２には、本来含まれるべきパターン光のパターン（ドットＤＴ）が全て含まれる。よって、これら画素ブロック２１２、２２２に対するステレオ対応点探索を精度良く行うことでき、結果、これら画素ブロック２１２、２２２に対する距離算出を精度良く行うことができる。また、これら画素ブロック２１２、２２２の距離算出精度が高いため、これら画素ブロック２１２、２２２に隣り合う画素ブロックに対する距離の補間も、精度良く行うことができる。
　図３（ａ）、（ｂ）に示したように、撮像レンズ２４の光軸中心Ｃｏ０に対する第１撮像素子２１の画素領域２１１の配置パターンと、撮像レンズ２４の光軸中心Ｃｏ０に対する第２撮像素子２２の画素領域２２１の配置パターンとが、互いに同じである。これにより、第１撮像画像および第２撮像画像に対する輝度画像および距離画像の作成処理（第１処理および第２処理）を、同じ処理にできる。よって、信号処理部３１における処理を簡素にすることができる。
　上記のように、第１領域４１１、４２１を透過する波長帯（第１波長帯）は、赤外帯域（非可視帯域）に含まれる波長帯であり、第２領域４１２、４２２を透過する第２波長帯は、可視帯域に含まれる波長帯である。これにより、赤外（非可視）のパターン光を照射して被写体までの距離を取得しつつ、被写体からの自然光（可視光）により被写体の輝度画像を取得できる。
　図９のステップＳ１１３、Ｓ１１４において、信号処理部３１は、第１撮像素子２１および第２撮像素子２２の故障の有無や被写体の反射率、光吸収率を含む所定の選択条件にしたがって、第１処理および第２処理によりそれぞれ取得された輝度画像および距離画像の一方を選択する。これにより、故障や被写体の状態に応じて、円滑かつ適正に、被写体の輝度画像および距離画像を取得することができる。
　＜変更例１＞
　上記実施形態では、図４（ａ）、（ｂ）に示したように、第１フィルタ４１における第１領域４１１および第２領域４１２の配置パターンと、第２フィルタ４２における第１領域４２１および第２領域４２２の配置パターンとが、互いに同じであった。これに対し、変更例１では、第１フィルタ４１における第１領域４１１および第２領域４１２の配置パターンと、第２フィルタ４２における第１領域４２１および第２領域４２２の配置パターンとが、互いに異なっている。
　図１０（ａ）は、変更例１に係る、第１撮像素子２１の撮像面に形成された第１フィルタ４１の構成を示す図である。図１０（ｂ）は、変更例１に係る、第２撮像素子２２の撮像面に形成された第２フィルタ４２の構成を示す図である。図１０（ａ）、（ｂ）には、図４（ａ）、（ｂ）と同様、第１フィルタ４１および第２フィルタ４２の左上の角付近の範囲が示されている。
　図１０（ａ）、（ｂ）に示すように、変更例１では、第１フィルタ４１の第１領域４１１および第２領域４１２と、第２フィルタ４２の第１領域４２１および第２領域４２２と、が相互に入れ替わっている。すなわち、第１フィルタ４１において第１領域４１１および第２領域４１２がそれぞれ配置された領域に、第２フィルタ４２において第２領域４２２および第１領域４２１がそれぞれ配置されている。第１領域４１１、４２１および第２領域４１２、４２２のサイズは、上記実施形態と同様、画素ブロック２１２、２２２のサイズと同じである。
　図１０（ａ）、（ｂ）の構成によっても、図９の第１処理（Ｓ１０１～Ｓ１０６）により、第１撮像画像から被写体の輝度画像および距離画像を取得でき、第２処理（Ｓ１０７～Ｓ１１２）により、第２撮像画像から被写体の輝度画像および距離画像を取得できる。また、第１撮像画像から取得した輝度画像および距離画像と、第２撮像画像から取得した輝度画像および距離画像との何れか一方を選択して、外部装置に送信できる。
　また、変更例１の構成では、図１０（ａ）、（ｂ）に示すように、第１フィルタ４１の第１領域４１１および第２領域４１２と、第２フィルタ４２の第１領域４２１および第２領域４２２と、が相互に入れ替わっている。このため、第１撮像画像上において自然光が照射されない領域に対応する第２撮像画像上の領域には、自然光が照射される。したがって、第１撮像画像から自然光が照射される領域のみを抽出して生成した１フレーム分の画像と、第２撮像画像から自然光が照射される領域のみを抽出して生成した１フレーム分の画像とを、互いに重ね合わせることにより、１フレーム分の輝度画像を生成できる。つまり、変更例１の構成では、このような画像の重ね合わせにより、補間処理を行うことなく、１フレーム分の輝度画像を取得できる。
　また、距離画像についても、同様に、第１撮像画像上の第１領域４１１に対応する画素ブロックについて取得された距離のみを含む１フレーム分の距離画像と、第２撮像画像上の第１領域４２１に対応する画素ブロックについて取得された距離のみを含む１フレーム分の距離画像とを、互いに重ね合わせることにより、１フレーム分の距離画像を生成できる。つまり、変更例１の構成では、このような距離画像の重ね合わせにより、補間処理を行うことなく、１フレーム分の距離画像を取得できる。
　図１１は、変更例１のフィルタ構成を用いた場合の距離および画像の取得処理を示すフローチャートである。
　図１１のフローチャートでは、図９のステップＳ１０４、Ｓ１０６、Ｓ１１０、Ｓ１１２の補間処理が省略され、図９のステップＳ１１３、Ｓ１１４がステップＳ１２１、Ｓ１２２に置き換えられている。
　ステップＳ１２１において、信号処理部３１は、ステップＳ１０３で抽出された自然光の領域のみを含む輝度画像と、ステップＳ１０９で抽出された自然光の領域のみを含む輝度画像とを合成して、１フレーム分の輝度画像を生成する。より詳細には、信号処理部３１は、ステップＳ１０３で抽出されなかった領域に、ステップＳ１０９で抽出された領域の各画素の画素信号（輝度）を埋め込んで、１フレーム分の輝度画像を生成する。
　ステップＳ１２２において、信号処理部３１は、ステップＳ１０５において距離が算出された画素ブロックに対応する距離のみを含む距離画像と、ステップＳ１０５において距離が算出された画素ブロックに対応する距離のみを含む距離画像とを合成して、１フレーム分の距離画像を生成する。より詳細には、信号処理部３１は、ステップＳ１０５において距離が算出されなかった画素ブロックの位置、すなわち、第１フィルタ４１の第２領域４１２に対応する位置に、ステップＳ１１１において距離が算出された画素ブロックの位置、すなわち、第２フィルタ４２の第１領域４２１に対応する位置の距離を埋め込んで、１フレーム分の距離画像を生成する。
　ステップＳ１１５において、信号処理部３１は、ステップＳ１２１で生成した輝度画像およびステップＳ１２２で生成した距離画像を、通信インタフェース３５を介して、外部装置に送信する。
　変更例１の構成によれば、図１１の処理により、補間を行うことなく輝度画像および距離画像を生成できる。よって、信号処理部３１における処理の簡素化を図ることができる。
　なお、図１１のステップＳ１２２で合成された距離画像の一部の画素ブロックについて、距離を算出できなかった場合、この画素ブロックに対して補間処理が行われてもよい。
　＜変更例２＞
　上記実施形態では、１種類の波長帯のパターン光が投射部１０から投射されたが、複数種類の波長帯のパターン光が投射部１０から投射されて被写体に照射されてもよい。
　図１２は、変更例２に係る、投射部１０および撮像部２０の構成を示す図である。
　投射部１０は、図１に示した構成の他、光源１５と、コリメータレンズ１６と、結合素子１７とを備える。
　光源１５は、光源１１とは異なる波長帯の光を出射する。光源１５は、たとえば、半導体レーザである。光源１５は、ＬＥＤ（Light Emitting Diode）等の他の種類の光源であってもよい。光源１５の出射波長は、たとえば、赤外の波長帯に含まれる。光源１５の出射波長が、可視の波長帯に含まれてもよい。コリメータレンズ１６は、光源１５から出射された光を、略平行光に変換する。
　結合素子１７は、光源１１の光軸と光源１５の光軸とを整合させる。結合素子１７は、光源１１からの光を透過し、光源１５からの光を反射する。結合素子１７は、たとえば、ダイクロイックミラーである。光源１１、１５が半導体レーザである場合、結合素子１７は偏光ビームスプリッタであってもよい。この場合、光源１１は、偏光方向が結合素子１７に対してＰ偏光となるように配置され、光源１５は、偏光方向が結合素子１７に対してＳ偏光となるように配置される。
　パターン生成器１３は、光源１１から出射された光と光源１５から出射された光の両方に対して、それぞれ、パターン光を生成する。上記実施形態と同様、パターン生成器１３は、透過型の光学回折素子（ＤＯＥ）により構成され得る。各波長帯のパターン光は、投射レンズ１４によって、被写体に投射される。
　撮像部２０は、図１に示した構成の他、第３撮像素子２５と、分光素子２６とを備える。第３撮像素子２５は、撮像面に第３フィルタ４３が形成されている。第３フィルタ４３には、複数の第１領域４３１と複数の第２領域４３２が交互に配置されている。第１領域４３１および第２領域４３２の配置パターンは、図１０（ａ）に示した第１フィルタ４１における第１領域４１１および第２領域４１２の配置パターンと同じであってよく、あるいは、図１０（ｂ）に示した第２フィルタ４２における第１領域４２１および第２領域４２２の配置パターンと同じであってよい。
　第３フィルタ４３の第１領域４３１は、光源１５の出射波長帯の光を透過させ、その他の波長帯の光を透過させない。第３フィルタ４３の第２領域４３２は、可視光の波長帯の光を透過し、その他の波長帯の光を透過しない。したがって、第２領域４３２は、光源１１、１５の出射波長帯の光を透過させない。
　なお、第１フィルタ４１および第２フィルタ４２の第１領域４１１、４２１は、上記のように、光源１１の出射波長帯の光を透過しその他の波長帯の光は透過しないため、可視光の波長帯とともに、光源１５の出射波長帯の光も透過しない。また、第１フィルタ４１および第２フィルタ４２の第２領域４１２、４２２は、上記のように、可視光の帯域の光を透過し、その他の波長帯の光は透過しないため、光源１１の出射波長帯の光とともに、光源１５の出射波長帯の光も透過しない。
　分光素子２６は、撮像レンズ２４側から入射した光を、第３撮像素子２５と分光素子２３とに分光させる。分光素子２６は、たとえば、ハーフミラーである。分光素子２６が、光学回折素子であってもよい。
　図１２の構成では、撮像レンズ２４と第３撮像素子２５の撮像面との光路長と、撮像レンズ２４と第１撮像素子２１および第２撮像素子２２の撮像面との光路長との差分によって、第１撮像素子２１および第２撮像素子２２の撮像面における被写体の結像状態と、第３撮像素子２５の撮像面における被写体の結像状態とが、やや相違する。これを解消するため、分光素子２３、２６の間に、リレーレンズがさらに配置されてもよい。
　図１２の構成では、図１に示した第１撮像処理部３３および第２撮像処理部３４の他に、第３撮像素子２５のための第３撮像処理部が設けられる。第３撮像処理部は、第３撮像素子２５を制御するとともに、第３撮像素子２５から出力される撮像画像の画素信号に対して、輝度補正およびカメラ校正などの処理を行う。信号処理部３１は、第３撮像素子２５から取得した第３撮像画像を用いて、さらに、輝度画像と距離画像を生成する。
　すなわち、信号処理部３１は、第３撮像素子２５を所定時間で露光させて、第３撮像画像を取得する。第３撮像素子２５は、第１撮像素子２１の第１露光時間および第２撮像素子２２の第２露光時間の何れか一方と同じであってもよく、あるいは、第１露光時間および第２露光時間と異なっていてもよい。
　信号処理部３１は、取得した第３撮像画像に対して、図９のステップＳ１０２～Ｓ１０６と同様の処理を実行して、輝度画像と距離画像を生成する。この場合、信号処理部３１は、第３撮像画像についてステレオ対応点探索を行うための基準画像を、第１撮像画像および第２撮像画像についてステレオ対応点探索を行うための基準画像とは別に保持していてもよい。信号処理部３１は、図９の処理とともに、第３撮像素子２５から取得した第３撮像画像を用いて、上記と同様の処理を実行する。
　この構成によれば、第１撮像画像および第２撮像画像の他、第３撮像画像からも、被写体の輝度画像および距離画像が得られる。したがって、第１撮像素子２１および第２撮像素子２２の両方に故障等の不具合が生じた場合も、第３撮像画像により得られた輝度画像および距離画像を、外部装置に提供できる。
　また、第３フィルタ４３の第１領域４３１と、第１フィルタ４１および第２フィルタ４２の第１領域４１１、４２１とは、透過する波長帯が異なるため、被写体の反射率がこれら波長帯で異なる場合は、第１撮像素子２１および第２撮像素子２２により受光されるパターン光の強度と、第３撮像素子２５により受光されるパターン光の強度とが異なることになる。したがって、この場合は、受光するパターン光の強度がより高い方の撮像素子について取得された距離画像を選択して外部装置に送信してもよい。これにより、より高品質な距離画像を外部装置に提供できる。
　なお、図１３に示すように、第１撮像素子２１および分光素子２３と、第３撮像素子２５および分光素子２６との配置が入れ替えられてもよい。この構成では、分光素子２６による分光により、撮像レンズ２４により取り込まれて第２撮像素子２２に導かれる光の強度は、撮像レンズ２４により取り込まれて第１撮像素子２１に導かれる光の強度の１／２倍になる。したがって、この構成では、第１撮像素子２１に対する第１露光時間と第２撮像素子２２に対する第２露光時間とが同じに設定されても、この光強度の差異により、撮像装置１により撮像および距離算出が可能な光強度の範囲（ダイナミックレンジ）を広げることができる。
　＜変更例３＞
　図１４は、変更例３に係る、投射部１０および撮像部２０の構成を示す図である。
　図１４の構成では、図１２の構成の分光素子２６が分光素子２７に置き換えられている。分光素子２７は、ダイクロイックミラーである。分光素子２７は、撮像レンズ２４で取り込まれた光のうち、可視光の波長帯の光を透過し、その他の波長帯の光を反射する。したがって、撮像レンズ２４で取り込まれた光のうち、可視光の波長帯の光は第３撮像素子２５に導かれ、その他の波長帯の光は、さらに分光素子２３で分光されて、第１撮像素子２１および第２撮像素子２２にそれぞれ導かれる。
　第１撮像素子２１および第２撮像素子２２の撮像面には、上記実施形態に記載の第１フィルタ４１および第２フィルタ４２に代えて、第１フィルタ４４および第２フィルタ４５が形成されている。第１フィルタ４４には、複数の第１領域４４１および複数の第２領域４４２が配置され、第２フィルタ４５には、複数の第１領域４５１および複数の第２領域４５２が配置されている。
　第１領域４４１、４５１は、光源１１の出射波長帯の光を透過し、その他の波長帯の光を透過しない。第２領域４４２、４５２は、光源１５の出射波長帯の光を透過し、その他の波長帯の光を透過しない。第１フィルタ４４における、複数の第１領域４４１および複数の第２領域４４２の配置パターンは、図４（ａ）と同様であってよい。第２フィルタ４５における、複数の第１領域４５１および複数の第２領域４５２の配置パターンは、図４（ｂ）または図１０（ｂ）と同様であってよい。
　第３撮像素子２５の撮像面には、図１２の第３フィルタ４３に代えて、第３フィルタ４６が形成されている。第３フィルタ４６は、全範囲に亘って、分光素子２７（ダイクロイックミラー）を透過する波長帯の光を透過し、その他の波長帯の光を透過しない。したがって、第３撮像素子２５からの出力により、パターン光が写り込まない１フレーム分の可視光の輝度画像がそのまま生成される。
　第１撮像素子２１の第１領域４４１に対応する領域には、光源１１からの光により生成されたパターン光が入射し、第１撮像素子２１の第２領域４４２に対応する領域には、光源１５からの光により生成されたパターン光が入射する。したがって、信号処理部３１は、第１撮像素子２１の第１撮像画像から、２種類の光に基づく距離画像を生成できる。同様に、信号処理部３１は、第２撮像素子２２の第２撮像画像から、２種類の光に基づく距離画像を生成できる。
　図１５は、変更例３に係る、距離画像の生成処理を示すフローチャートである。
　図１５のステップＳ１０１、Ｓ１０２、Ｓ１０７、Ｓ１０８、Ｓ１１５は、図９の対応するステップと同様である。
　信号処理部３１は、第１撮像素子２１により取得される第１撮像画像について、第１領域４４１に対応する領域に対してステレオ対応点探索により距離を算出する（Ｓ１３１）。信号処理部３１は、第２領域４４２に対応する領域に対し、ステップＳ１３１で算出した距離に基づく補間を行って、光源１１からの光に基づく１フレーム分の距離画像を生成する（Ｓ１３２）。
　さらに、信号処理部３１は、第１撮像画像について、第２領域４４２に対応する領域に対してステレオ対応点探索により距離を算出する（Ｓ１３３）。信号処理部３１は、第１領域４４１に対応する領域には、ステップＳ１３３で算出した距離に基づく補間を行って、光源１５からの光に基づく１フレーム分の距離画像を生成する（Ｓ１３４）。
　また、信号処理部３１は、第２撮像素子２２により取得される第２撮像画像について、第１領域４５１に対応する領域に対してステレオ対応点探索により距離を算出する（Ｓ１３５）。信号処理部３１は、第２領域４５２に対応する領域に対し、ステップＳ１３５で算出した距離に基づく補間を行って、光源１１からの光に基づく１フレーム分の距離画像を生成する（Ｓ１３６）。
　さらに、信号処理部３１は、第２撮像画像について、第２領域４５２に対応する領域に対してステレオ対応点探索により距離を算出する（Ｓ１３７）。信号処理部３１は、第１領域４５１に対応する領域に対し、ステップＳ１３７で算出した距離に基づく補間を行って、光源１５からの光に基づく１フレーム分の距離画像を生成する（Ｓ１３８）。
　以上の処理により、第１露光時間により、光源１１、１５からの２種類の光に基づく２種類の距離画像が取得され、第２露光時間により、光源１１、１５からの２種類の光に基づく２種類の距離画像が取得される。信号処理部３１は、上記実施形態と同様、第１撮像素子２１および第２撮像素子２２の故障等の有無により、これら距離画像の何れかを選択する（Ｓ１３９）。このとき、さらに、信号処理部３１は、被写体の反射率が高い方の波長帯の光により取得された距離画像を選択してもよい。
　信号処理部３１は、こうして選択した距離画像を、第３撮像素子２５の第３撮像画像から取得した輝度画像とともに、外部装置に送信する（Ｓ１１５）。これにより、信号処理部３１は、図１５の処理を終了する。
　この構成によれば、上記実施形態と同様、第１撮像素子２１と第２撮像素子２２の露光時間が互いに相違するため、光源１１からの光に基づく距離検出のダイナミックレンジを広げることができ、また、光源１５からの光に基づく距離検出のダイナミックレンジを広げることができる。
　また、この構成においても、第１撮像素子２１および第２撮像素子２２の何れか一方の故障等の不具合が生じても、他方の撮像素子からの撮像画像により、距離画像を取得できる。さらに、光源１１、１５の出射波長帯に応じた２種類の光により距離画像を取得できるため、被写体の反射率が高い方の波長帯の光により取得された距離画像を選択することで、精度の高い距離画像を外部装置に提供できる。
　＜変更例４＞
　上記実施形態では、第１フィルタ４１の第１領域４１１および第２領域４１２のサイズと、第２フィルタ４２の第１領域４２１および第２領域４２２のサイズが、画素ブロック２１２、２２２のサイズと同じであったが、第１領域４１１、４２１および第２領域４１２、４２２のサイズは、必ずしも、画素ブロック２１２、２２２と同じでなくてもよい。
　たとえば、図１６（ａ）に示すように、第１領域４１１、４２１および第２領域４１２、４２２のサイズが、画素ブロック２１２、２２２のサイズの４倍であってもよく、あるいは、図１６（ｂ）に示すように、第１領域４１１、４２１および第２領域４１２、４２２のサイズが、画素ブロック２１２、２２２のサイズの２倍であってもよい。
　また、図１７（ａ）に示すように、第１領域４１１、４２１および第２領域４１２、４２２のサイズが、画素ブロック２１２、２２２のサイズよりやや大きくてもよく、あるいは、図１７（ｂ）に示すように、第１領域４１１、４２１および第２領域４１２、４２２のサイズが、画素領域２１１、２２１と同じに設定されて、画素ブロック２１２、２２２のサイズより小さくてもよい。
　ただし、第１領域４１１、４２１および第２領域４１２、４２２のサイズが、画素ブロック２１２、２２２のサイズの整数倍である場合、図６（ａ）に示したように、第１領域４１１、４２１に対応する位置の画素ブロック２１２、２２２には、本来含まれるべきパターン光のパターン（ドットＤＴ）が全て含まれる。よって、これら画素ブロック２１２、２２２に対するステレオ対応点探索を精度良く行うことでき、結果、これら画素ブロック２１２、２２２に対する距離算出を精度良く行うことができる。また、これら画素ブロック２１２、２２２の距離算出精度が高いため、これら画素ブロック２１２、２２２に隣り合う画素ブロックに対する距離の補間も、精度良く行うことができる。
　他方、図１７（ｂ）に示すように、第１領域４１１および第２領域４１２のサイズが、画素ブロック２１２のサイズより小さい場合、隣り合う第２領域４１２間の間隔が狭いため、第２領域４１２に対応する領域の画素信号で第１領域４１１の領域を補間する際に、補間を滑らかに行うことができ、高品質の輝度画像を生成できる。よって、より高品質の輝度画像を生成するためには、第１領域４１１、４２１および第２領域４１２、４２２のサイズが、画素ブロック２１２、２２２のサイズより小さいことが好ましく、図１７（ｂ）のように、第１領域４１１、４２１および第２領域４１２、４２２のサイズが、画素領域２１１、２２１のサイズと同じであることがより好ましい。
　＜変更例５＞
　上記実施形態では、図３（ａ）、（ｂ）に示したように、撮像レンズ２４の光軸中心Ｃｏ０に対する第１撮像素子２１の画素領域２１１の配置パターンと、撮像レンズ２４の光軸中心Ｃｏ０に対する第２撮像素子２２の画素領域２２１の配置パターンとが同じであったが、図１８（ａ）、（ｂ）に示すように、光軸中心Ｃｏ０に対するこれらの配置パターンが互いに異なっていてもよい。図１８（ｂ）の例では、第２撮像素子２２の撮像面の中心Ｃｏ２が、撮像レンズ２４の光軸中心Ｃｏ０に対して、半画素分の距離Ｄ１、Ｄ２だけ左右方向および上下方向にずれている。したがって、撮像レンズ２４の光軸中心Ｃｏ０に対する第２撮像素子２２の画素領域２２１の配置パターンは、撮像レンズ２４の光軸中心Ｃｏ０に対する第１撮像素子２１の画素領域２１１の配置パターンに対して、半画素分だけ、左右方向および上下方向にずれている。
　このように、第１撮像素子２１および第２撮像素子２２の画素の配置パターンを調整すると、第１撮像素子２１により得られた輝度画像と第２撮像素子２２により得られた輝度画像とを重ね合わせて補間処理を行うことにより、図１９に示すように、画素領域２１１、２２１の分解能より高い分解能の輝度画像が得られ得る。図１９には、第１撮像素子２１の画素領域２１１が実線で示され、第２撮像素子２２の画素領域２２１が破線で示されている。図１９の例では、補間処理により得られる輝度画像の分解能の単位は、領域Ｓ１のサイズとなり、このサイズは、画素領域２１１、２２１のサイズの１／４になる。
　同様に、第１撮像素子２１により得られた距離画像と第２撮像素子２２により得られた距離画像とを重ね合わせて補間処理を行うことにより、画素領域２１１、２２１の分解能より高い分解能の距離画像が得られ得る。
　なお、撮像レンズ２４の光軸中心Ｃｏ０に対する第２撮像素子２２の撮像面の中心Ｃｏ２のずれは、上記のように左右方向および上下方向に半画素に限られるものではない。たとえば、上下方向だけにずれが生じていてもよく、あるいは、左右方向だけにずれが生じていてもよい。
　また、ずれの大きさは、半画素に限られるものではなく、整数画素であってもよい。たとえば、図５（ａ）、（ｂ）に示した同じ構成のフィルタ４１、４２が第１撮像素子２１および第２撮像素子２２に形成された場合に、ずれが１画素に設定されると、上述の分解能の向上は達成され得ないものの、図１０（ａ）、（ｂ）と同様、第１領域および第２領域の配置パターンを、第１撮像素子２１および第２撮像素子２２との間で逆転させることができる。
　さらに、ずれを撮像レンズ２４の光軸中心Ｃｏ０からの差分とするのではなく、第１撮像素子２１の撮像面の中心Ｃｏ１と第２撮像素子２２の撮像面の中心Ｃｏ２の差分としてもよい。
　＜その他の変更例＞
　上記実施形態では、撮像レンズ２４により取り込まれた光が分光素子２３で分光され、分光された２つの光が第１撮像素子２１および第２撮像素子２２にそれぞれ導かれたが、撮像レンズ２４により取り込まれた光が分光される数および分光された光を受光する撮像素子の数は、これに限られるものではない。
　たとえば、図１２に示すように、撮像レンズ２４により取り込まれた光が、２つの分光素子２３、２６により３つに分光され、これら３つの光が、第１撮像素子２１、第２撮像素子２２および第３撮像素子２５にそれぞれ導かれてもよい。この場合、第３撮像素子２５の撮像面の形成される第３フィルタ４７には、第１フィルタ４１および第２フィルタ４２と同様、光源１１の出射波長帯の光を透過し、その他の波長帯の光を透過しない第１領域４７１と、光源１１の出射波長帯の光を透過せず、その他の波長帯の光を透過する第２領域４７２とが配置される。第１領域４７１および第２領域４３２の配置パターンは、第１フィルタ４１および第２フィルタ４２と同様であってよい。
　この構成によれば、第３撮像素子２５により撮像された第３撮像画像に対し、第１撮像素子２１および第２撮像素子２２により撮像された第１撮像画像および第２撮像画像と同様の処理が適用されることで、第３撮像画像に基づく輝度画像および距離画像が生成される。よって、第１撮像素子２１および第２撮像素子２２の両方に故障等が生じた場合も、第３撮像画像に基づく輝度画像および距離画像を外部装置に提供できる。
　また、第３撮像素子２５に対する第３露光時間を、第１撮像画像および第２撮像画像に対する第１露光時間および第２露光時間と相違させることにより、輝度画像および距離画像を取得可能な範囲（ダイナミックレンジ）をさらに広げることができる。
　また、図９の処理では、ステップＳ１０１～Ｓ１０６およびステップＳ１０７～Ｓ１１２を実行した後、ステップＳ１１３、Ｓ１１４により、輝度画像の選択および距離画像の選択が行われた。しかしながら、選択ステップの順序はこれに限られるものではなく、先に、第１撮像素子２１および第２撮像素子２２の何れを輝度画像および距離画像の取得に用いるかが選択され、選択された撮像素子のみを用いて、輝度画像および距離画像が生成されてもよい。たとえば、第２撮像素子２２に不具合が生じた場合、ステップＳ１０７～Ｓ１１２は実行されずに、ステップＳ１０１～Ｓ１０６のみが実行されて、輝度画像および距離画像が生成され、生成された輝度画像および距離画像が送信されてもよい。
　また、光源１１の出射波長は、必ずしも赤外の波長帯でなくてもよく、たとえば、可視の波長帯であってもよい。この場合、第１領域４１１は、可視の波長帯のうち光源１１の出射波長帯に光を透過し、その他の波長帯の光を透過せず、第２領域４１２は、可視の波長帯のうち光源１１の出射波長帯に光を透過せず、その他の波長帯の光を透過する。また、第２の領域４１２の透過波長帯は、必ずしも可視の波長帯でなくてもよく、赤外の波長帯であってもよい。
　また、第１フィルタ４１における第１領域４１１および第２領域４１２の配置パターンおよび第２フィルタ４２における第１領域４２１および第２領域４２２の配置パターンは、上記実施形態および変更例１に示した配置パターンに限られるものではない。たとえば、第１領域４１１および第２領域４１２のサイズが互いに異なっており、隣り合う第１領域４１１間の間隔と隣り合う第２領域４１２間の間隔とが互いに異なっていてもよい。
　また、上記変更例２、３では、１つの投射部１０から、波長帯が異なる２種類のパターン光が被写体に投射されたが、２つの投射部から波長帯が互いに異なる２種類のパターン光がそれぞれ被写体に投射されてもよい。
　また、上記実施形態では、ステレオ対応点探索の探索範囲が行方向であったが、探索範囲が列方向であってもよく、あるいは、探索範囲が行と列とを組み合わせた方向であってもよい。
　また、第１撮像処理部３３および第２撮像処理部３４が、第１撮像信画像および第２撮像画像に対し、撮像レンズ２４の歪曲歪み等による歪みを補正してもよく、また、信号処理部３１に予め保持された基準画像に対し、撮像レンズ２４の歪曲歪み等による歪みの補正がなされてもよい。
　また、上記実施形態では、画素ブロックごとに相関値が求められたが、パラボラフィッティング等の処理により、画素ブロック間における相関値がさらに取得されて、対応点の探索が行われてもよい。
　また、撮像装置１の構成は、上記実施形態に示した構成に限られるものではなく、たとえば、第１撮像素子２１および第２撮像素子２２として、複数のフォトセンサがマトリクス状に配置されたフォトセンサアレイが用いられてもよい。
　この他、本発明の実施形態は、特許請求の範囲に示された技術的思想の範囲内において、適宜、種々の変更が可能である。
　１　撮像装置
　１０　投射部
　２０　撮像部
　２１　第１フィルタ
　２２　第２フィルタ
　２３　分光素子
　２４　撮像レンズ
　３１　信号処理部
　４１、４４　第１フィルタ
　４２、４５　第２フィルタ
　４１１、４２１、４４１、４５１　第１領域
　４１２、４２２、４４２、４５２　第２領域

Claims (15)

  1. 　撮像部と、
    　第１波長帯のパターン光を前記撮像部の視野範囲に投射する投射部と、を備え、
    　前記撮像部は、
    　　第１撮像素子と、
    　　第２撮像素子と、
    　　撮像レンズと、
    　　前記撮像レンズにより集光された被写体からの光を前記第１撮像素子および前記第２撮像素子にそれぞれ導く分光素子と、
    　　前記第１撮像素子の受光面に形成され、前記第１波長帯の光を透過する複数の第１領域および前記第１波長帯の光を透過せず前記第１波長帯とは異なる第２波長帯の光を透過する複数の第２領域を有する第１フィルタと、
    　　前記第２撮像素子の受光面に形成され、複数の前記第１領域および複数の前記第２領域を有する第２フィルタと、を備える、
    ことを特徴とする撮像装置。
     
  2. 　請求項１に記載の撮像装置において、
    　前記第１フィルタにおける前記第１領域および前記第２領域の配列パターンと、前記第２フィルタにおける前記第１領域および前記第２領域の配列パターンとが、互いに同じである、
    ことを特徴とする撮像装置。
     
  3. 　請求項１に記載の撮像装置において、
    　前記第１フィルタにおける前記第１領域および前記第２領域の配列パターンと、前記第２フィルタにおける前記第１領域および前記第２領域の配列パターンとが、互いに異なる、
    ことを特徴とする撮像装置。
     
  4. 　請求項１ないし３の何れか一項に記載の撮像装置において、
    　前記第１フィルタにおいて、前記第１領域および前記第２領域は交互に配置され、
    　前記第２フィルタにおいて、前記第１領域および前記第２領域は交互に配置されている、
    ことを特徴とする撮像装置。
     
  5. 　請求項１ないし４の何れか一項に記載の撮像装置において、
    　前記第１領域は、横方向にＭ個（Ｍは自然数）の画素および縦方向にＮ個（Ｎは自然数）の画素を含む大きさに設定されている、
    ことを特徴とする撮像装置。
     
  6. 　請求項１ないし５の何れか一項に記載の撮像装置において、
    　前記撮像レンズの光軸中心に対する前記第１撮像素子の画素群の配置パターンと、前記撮像レンズの光軸中心に対する前記第２撮像素子の画素群の配置パターンとが、互いに同じである、
    ことを特徴とする撮像装置。
     
  7. 　請求項１ないし５の何れか一項に記載の撮像装置において、
    　前記撮像レンズの光軸中心に対する前記第１撮像素子の画素群の配置パターンと、前記撮像レンズの光軸中心に対する前記第２撮像素子の画素群の配置パターンとが、互いに異なる、
    ことを特徴とする撮像装置。
     
  8. 　請求項１ないし７の何れか一項に記載の撮像装置において、
    　前記第１波長帯は、非可視帯域に含まれる波長帯であり、
    　前記第２波長帯は、可視帯域に含まれる波長帯である、
    ことを特徴とする撮像装置。
     
  9. 　請求項１ないし８の何れか一項に記載の撮像装置において、
    　前記第１撮像素子および前記第２撮像素子からそれぞれ取得される画素信号を処理して、前記被写体の各位置までの距離の算出および前記被写体の画像の生成を行う信号処理部を備える、
    ことを特徴とする撮像装置。
     
  10. 　請求項９に記載の撮像装置において、
    　前記第１撮像素子は、第１露光時間により前記画素信号を取得し、
    　前記第２撮像素子は、第１露光時間とは異なる第２露光時間により前記画素信号を取得する、
    ことを特徴とする撮像装置。
     
  11. 　請求項９または１０に記載の撮像装置において、
    　前記信号処理部は、所定の選択条件に従って、前記距離の算出および前記画像の生成を行うための画素信号を、前記第１撮像素子および前記第２撮像素子からそれぞれ取得される前記画素信号から選択する、
    ことを特徴とする撮像素子。
     
  12. 　請求項１１に記載の撮像装置において、
    　前記選択条件は、前記第１撮像素子および前記第２撮像素子の故障の有無、前記被写体の反射率または前記被写体の光吸収率を含む、
    ことを特徴とする撮像素子。
     
  13. 　請求項１ないし１２の何れか一項に記載の撮像装置において、
    　前記第１領域は、距離検出の最小単位である画素ブロックの整数倍（０は含まず）の大きさに設定されている、
    ことを特徴とする撮像装置。
     
  14. 　請求項１ないし８の何れか一項に記載の撮像装置において、
    　前記投射部は、前記第１波長帯のパターン光とともに、前記第２波長帯のパターン光を、前記視野範囲に投射する、
    ことを特徴とする撮像装置。
     
  15. 　請求項１０に記載の撮像装置において、
    　前記第１撮像素子および前記第２撮像素子からそれぞれ取得される画素信号を処理して、前記第１波長帯および前記第２波長帯の前記パターン光のそれぞれについて、前記被写体の各位置までの距離を算出する信号処理部を備える、
    ことを特徴とする撮像装置。
PCT/JP2023/003977 2022-02-25 2023-02-07 撮像装置 WO2023162675A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-027790 2022-02-25
JP2022027790 2022-02-25

Publications (1)

Publication Number Publication Date
WO2023162675A1 true WO2023162675A1 (ja) 2023-08-31

Family

ID=87765662

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/003977 WO2023162675A1 (ja) 2022-02-25 2023-02-07 撮像装置

Country Status (1)

Country Link
WO (1) WO2023162675A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110175983A1 (en) * 2010-01-15 2011-07-21 Samsung Electronics Co., Ltd. Apparatus and method for obtaining three-dimensional (3d) image
WO2017038203A1 (ja) * 2015-08-28 2017-03-09 富士フイルム株式会社 距離画像取得装置付きプロジェクタ装置及びプロジェクションマッピング方法
JP2020193867A (ja) * 2019-05-28 2020-12-03 キヤノン株式会社 画像処理装置、制御方法、制御プログラムおよびコンピュータで読み取り可能な記録媒体

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110175983A1 (en) * 2010-01-15 2011-07-21 Samsung Electronics Co., Ltd. Apparatus and method for obtaining three-dimensional (3d) image
WO2017038203A1 (ja) * 2015-08-28 2017-03-09 富士フイルム株式会社 距離画像取得装置付きプロジェクタ装置及びプロジェクションマッピング方法
JP2020193867A (ja) * 2019-05-28 2020-12-03 キヤノン株式会社 画像処理装置、制御方法、制御プログラムおよびコンピュータで読み取り可能な記録媒体

Similar Documents

Publication Publication Date Title
US9350973B2 (en) Three-dimensional mapping and imaging
US10782126B2 (en) Three-dimensional scanning method containing multiple lasers with different wavelengths and scanner
US10803576B2 (en) Defect inspection apparatus and defect inspection method
KR20130027671A (ko) 깊이 정보 획득장치 및 이를 포함하는 3차원 정보 획득 시스템
JP2007295326A (ja) 多焦点撮像装置
JP2010532018A (ja) 多色自動焦点装置および方法
JP5122729B2 (ja) ３次元形状測定方法
JP4792833B2 (ja) 重ね合わせ測定装置
KR101163338B1 (ko) 검사 장치 및 검사 방법
JP2023115356A (ja) 計測装置、撮像装置、制御方法及びプログラム
WO2023162675A1 (ja) 撮像装置
JP3818028B2 (ja) ３次元画像撮像装置および３次元画像撮像方法
JP2023169165A (ja) コンピュータ、プログラム、及び方法
JP2004110804A (ja) ３次元画像撮影装置及び方法
US20190301855A1 (en) Parallax detection device, distance detection device, robot device, parallax detection method, and distance detection method
JP2006313143A (ja) ムラ検査装置およびムラ検査方法
KR20150109187A (ko) 구조광 시스템
JP6524680B2 (ja) 撮像システム、距離情報の取得方法及び距離情報の生産方法
JP2006105926A (ja) 検査装置
JP6983531B2 (ja) 測距装置、測距システム、および測距方法
WO2024070954A1 (ja) 距離測定装置、距離測定方法、距離測定プログラム
JP6277695B2 (ja) 撮像装置、調整装置および調整方法
KR101242929B1 (ko) 다파장 구별 촬영 장치
JP7331222B2 (ja) 光学装置及び撮像装置
KR102550408B1 (ko) 오버레이 측정장치 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23759679

Country of ref document: EP

Kind code of ref document: A1