JP5152655B2

JP5152655B2 - Imaging device

Info

Publication number: JP5152655B2
Application number: JP2008158603A
Authority: JP
Inventors: 秀明平井
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2008-06-18
Filing date: 2008-06-18
Publication date: 2013-02-27
Anticipated expiration: 2028-06-18
Also published as: JP2010004090A

Description

この発明は、例えば自車両と前方車両との車間距離を計測する撮像装置に関するものである。 The present invention relates to an imaging device that measures a distance between a host vehicle and a preceding vehicle, for example.

例えば特許文献１に示すように、画像による３次元計測技術として、ステレオカメラで対象物を異なる位置から撮像した複数の画像間の相関を求め、同一物体に対する視差からステレオカメラの取り付け位置や焦点距離等のカメラパラメータを用いて三角測量の原理により距離を求めるステレオ法による画像処理が知られている。 For example, as shown in Patent Document 1, as a three-dimensional measurement technique using an image, a correlation between a plurality of images obtained by capturing an object from different positions with a stereo camera is obtained, and the stereo camera mounting position and focal length are calculated from parallax with respect to the same object. Image processing by a stereo method for obtaining a distance by the principle of triangulation using camera parameters such as is known.

特許文献１などに記載されているステレオ法は撮像装置を２つ配置する必要がある。このステレオ法を利用して自車両と先行車両との間の車間距離を測定するためには撮像装置をルームミラーなどの車両上部に配置する必要がある。また、２つの撮像装置間のずれが距離計測のずれの原因となるため、２つの撮像装置を保持する筐体として熱や振動の影響を受けにくい頑強な構成が要求され大型化してしまう。このため２つの撮像装置をルームミラー周辺に装着するために大きな占有領域が必要になり、車両に２つの撮像装置を装着することは困難であった。 In the stereo method described in Patent Document 1 and the like, it is necessary to arrange two imaging devices. In order to measure the inter-vehicle distance between the host vehicle and the preceding vehicle using this stereo method, it is necessary to dispose the imaging device on the upper part of the vehicle such as a room mirror. In addition, since the displacement between the two image pickup devices causes a difference in distance measurement, a robust structure that is not easily affected by heat and vibration is required as a housing for holding the two image pickup devices, which increases the size. For this reason, a large occupied area is required in order to mount the two imaging devices around the room mirror, and it is difficult to mount the two imaging devices on the vehicle.

このステレオ法による撮像装置の大型化の問題を解消するため、非特許文献１には、１つの撮像装置で撮影した画像を処理して前方車両との車間距離を計測する距離計測方法が開示されている。この距離計測方法は、車両に装着した撮像装置の路面からの高さｙと撮像装置のレンズの焦点距離ｆと撮像素子にレンズで投影された前方車両が存在している位置の路面の画像の光軸からの距離ｚから、自車両から前方車両が存在している位置までの距離ｘを三角形の相似から下記式で算出するようにしている。
ｘ＝ｆ・ｙ／ｚ
特開２００８−３９４９１号公報 Automotive Technology days 2007 Autumn 日経エレクトロニクス主催のセミナー予稿集 In order to solve the problem of increasing the size of the imaging device by the stereo method, Non-Patent Document 1 discloses a distance measurement method for processing an image photographed by one imaging device and measuring an inter-vehicle distance from a preceding vehicle. ing. In this distance measurement method, the height y from the road surface of the imaging device mounted on the vehicle, the focal length f of the lens of the imaging device, and the image of the road surface at the position where the front vehicle projected by the lens on the imaging device is present. From the distance z from the optical axis, the distance x from the own vehicle to the position where the preceding vehicle is present is calculated from the similarity of the triangle by the following equation.
x = f · y / z
JP 2008-39491 A Automotive Technology days 2007 Autumn Seminar proceedings hosted by Nikkei Electronics

非特許文献１に示された距離計測方法は、いわゆる単眼レンズで距離計測ができるが、その計測範囲は焦点距離に依存する。すなわち焦点距離の短いレンズを用いた場合は近い位置の距離計測を行えるが遠方の距離計測には分解能が落ちてしまう問題があった。 The distance measurement method shown in Non-Patent Document 1 can measure distances with a so-called monocular lens, but the measurement range depends on the focal length. In other words, when a lens with a short focal length is used, distance measurement at a close position can be performed, but there is a problem that resolution decreases in distance measurement at a long distance.

この発明は、この問題を解消し、自車両と前方車両との間隔をいわゆるステレオ法ではなく単眼により距離計測を行い車両に容易に装着することができるとともに遠方にいる車両から近接する車両までの広範囲な距離を計測することができる撮像装置を提供することを目的とするものである。 The present invention solves this problem, and can measure the distance between the host vehicle and the preceding vehicle by a monocular instead of the so-called stereo method and can easily attach the vehicle to a vehicle from a distant vehicle to a nearby vehicle. An object of the present invention is to provide an imaging apparatus capable of measuring a wide range of distances.

この発明の撮像装置は、複数のレンズを同一基板上に有するレンズアレイと、該レンズアレイの各レンズを透過した光束を受光して被写体像を撮影する複数の撮像領域を有する撮像ユニットと、該撮像ユニットで撮影した被写体の画像の画像信号を処理する信号処理装置とを備えた撮像装置であって、前記レンズアレイの複数のレンズは互いに異なる焦点距離を有し、前記撮像ユニットは前記複数の撮像領域が同一平面上に設けられた単一のユニットであり、前記信号処理装置は、前記撮像ユニットの各撮像領域で撮影した画像の光軸からのずれ量と、あらかじめ設定されている前記撮像装置の路面からの高さ及び各レンズの焦点距離から前記撮像装置より前方の距離を算出することを特徴とする。 An image pickup apparatus according to the present invention includes a lens array having a plurality of lenses on the same substrate, an image pickup unit having a plurality of image pickup areas for receiving a light beam transmitted through each lens of the lens array and shooting a subject image, the imaging device and a signal processing apparatus for processing an image signal of an image of a subject captured by the imaging unit, the plurality of lenses of the lens array have different focal lengths from each other, the imaging unit includes a plurality The imaging region is a single unit provided on the same plane, and the signal processing device includes a deviation amount from an optical axis of an image captured in each imaging region of the imaging unit, and the preset imaging The distance ahead of the imaging device is calculated from the height of the device from the road surface and the focal length of each lens.

前記レンズアレイと前記撮像ユニットの間に、前記レンズアレイの各レンズを通過する各光束に応じて複数に領域分離されたフィルタを有し、該フィルタの少なくともいずれか１つは垂直偏光成分を透過する偏光子領域を有し、前記撮像ユニットで撮影した垂直偏光画像から前記撮像装置より前方の距離を算出することを特徴とする。 Between the lens array and the imaging unit, there is a filter that is divided into a plurality of regions according to each light beam passing through each lens of the lens array, and at least one of the filters transmits a vertically polarized component And a distance ahead of the imaging device is calculated from a vertically polarized image captured by the imaging unit.

前記レンズアレイの各レンズを透過した光束毎に分離して前記フィルタに入射する遮光手段を有することが望ましい。 It is desirable to have a light-shielding unit that separates each light beam transmitted through each lens of the lens array and enters the filter.

また、前記フィルタの偏光子領域は、透明基板上に屈折率が異なる複数の透明材料を積層した多層構造体からなり、各層毎に一方向に繰り返される１次元周期的な凹凸形状を有することを特徴とする。 In addition, the polarizer region of the filter is formed of a multilayer structure in which a plurality of transparent materials having different refractive indexes are stacked on a transparent substrate, and has a one-dimensional periodic uneven shape that is repeated in one direction for each layer. Features.

さらに、前記フィルタの偏光子領域を、ワイヤグリッド型偏光子により構成しても良い。 Furthermore, the polarizer region of the filter may be constituted by a wire grid polarizer.

この発明は、１つの撮像装置で前方までの距離を所謂ステレオ法ではなく単眼により測定することにより、撮像装置の小型化を図ることができ、車両に搭載して前方車両までの車間距離を精度良く測定することができ、ドライバに事前に注意情報を知らせることができる。 The present invention can reduce the size of the imaging device by measuring the distance to the front with a single eye instead of the so-called stereo method with one imaging device. It is possible to measure well and to inform the driver of attention information in advance.

また、焦点距離の異なる複数のレンズを有するレンズアレイからの情報により距離計測を行うため、遠方から近いところまでの広範囲の距離計測を精度良く行うことができる。 In addition, since distance measurement is performed based on information from a lens array having a plurality of lenses having different focal lengths, a wide range of distance measurement from far to near can be performed with high accuracy.

さらに、路面の垂直偏光画像を利用して距離計測を行うことにより、太陽光の反射の影響を低減した状態で路面を撮影することができ、安定して距離計測を行うことができる。 Furthermore, by performing distance measurement using a vertically polarized image of the road surface, the road surface can be photographed in a state where the influence of sunlight reflection is reduced, and distance measurement can be performed stably.

また、フィルタの偏光子領域を、透明基板上に屈折率が異なる複数の透明材料を積層した多層構造体で形成し、各層毎に一方向に繰り返される１次元周期的な凹凸形状を有することにより、偏光子領域を高精度で作製することができる。 Also, the polarizer region of the filter is formed of a multilayer structure in which a plurality of transparent materials having different refractive indexes are laminated on a transparent substrate, and has a one-dimensional periodic uneven shape that is repeated in one direction for each layer. The polarizer region can be produced with high accuracy.

図１と図２、はこの発明の撮像装置１００の光学系の概略構成を示し、図１は分解斜視図、図２は断面図である。図に示すように、撮像装置１００の光学系１は、路面の状態を撮像するものであり、レンズアレイ２と遮光スペーサ３と偏光フィルタ４とスペーサ５及び固体撮像ユニット６が積層されて形成されている。 1 and 2 show a schematic configuration of an optical system of an imaging apparatus 100 according to the present invention, FIG. 1 is an exploded perspective view, and FIG. 2 is a sectional view. As shown in the figure, the optical system 1 of the image pickup apparatus 100 picks up an image of a road surface, and is formed by laminating a lens array 2, a light shielding spacer 3, a polarizing filter 4, a spacer 5, and a solid-state image pickup unit 6. ing.

レンズアレイ２は、２つのレンズ２１ａ，２１ｂを有する。この２つのレンズ２１ａ，２１ｂは互いに独立し、レンズ２１ａは焦点距離ｆ１、レンズ２１ｂは焦点距離ｆ２（ｆ２＞ｆ１）と焦点距離が異なる単レンズ又はレンズ群で形成され、光軸７ａ，７ｂを平行にして配置している。ここでレンズ２１ａ，２１ｂの光軸７ａ，７ｂと平行な方向をＺ軸、Ｚ軸に垂直な一方向をＸ軸、Ｚ軸とＸ軸に垂直な方向をＹ軸とすると、レンズ２１ａ，２１ｂは、同一のＸＹ平面上に配置されている。 The lens array 2 has two lenses 21a and 21b. The two lenses 21a and 21b are independent from each other, the lens 21a is formed by a single lens or a lens group having a focal length different from the focal length f2 (f2> f1), and the optical axes 7a and 7b are arranged. They are arranged in parallel. Here, assuming that the direction parallel to the optical axes 7a and 7b of the lenses 21a and 21b is the Z axis, one direction perpendicular to the Z axis is the X axis, and the direction perpendicular to the Z axis and the X axis is the Y axis, the lenses 21a and 21b. Are arranged on the same XY plane.

遮光スペーサ３は、２つの開口部３１ａ，３１ｂを有し、レンズアレイ２に対して被写体側とは反対側に設けられている。２つの開口部３１ａ，３１ｂは光軸７ａ，７ｂをそれぞれ中心として所定の大きさで貫通され、内壁面には黒塗りや粗面やつや消しなどにより光の反射防止処理がされている。 The light-shielding spacer 3 has two openings 31a and 31b, and is provided on the side opposite to the subject side with respect to the lens array 2. The two openings 31a and 31b are penetrated with a predetermined size centering on the optical axes 7a and 7b, respectively, and the inner wall surface is subjected to antireflection treatment of light by blacking, roughing or matting.

偏光フィルタ４は、偏光面が９０度異なる２つの偏光子領域４１ａ，４１ｂを有し、遮光スペーサ３に対してレンズアレイ２とは反対側に設けられている。２つの偏光子領域４１ａ，４１ｂはそれぞれ光軸７ａ，７ｂを中心としてＸＹ平面と平行に設けられている。この偏光子領域４１ａ，４１ｂは、不特定の方向に電磁界が振動する無偏光を、偏光面に沿った方向の振動成分だけを透過させて直線偏光にする。 The polarizing filter 4 has two polarizer regions 41 a and 41 b having a polarization plane different by 90 degrees, and is provided on the opposite side of the light blocking spacer 3 from the lens array 2. The two polarizer regions 41a and 41b are provided in parallel with the XY plane around the optical axes 7a and 7b, respectively. The polarizer regions 41a and 41b convert non-polarized light whose electromagnetic field vibrates in unspecified directions into linearly polarized light by transmitting only vibration components in the direction along the polarization plane.

スペーサ５は、偏光フィルタ４の偏光子領域４１ａ，４１ｂに対応する領域が貫通した開口部５１を有する矩形枠状に形成され、偏光フィルタ４に対して遮光スペース３とは反対側に設けられている。 The spacer 5 is formed in a rectangular frame shape having an opening 51 through which regions corresponding to the polarizer regions 41 a and 41 b of the polarizing filter 4 pass, and is provided on the side opposite to the light shielding space 3 with respect to the polarizing filter 4. Yes.

固体撮像ユニット６は、信号処理部８を有する基板６１上に搭載された２つの固体撮像素子６２ａ，６２ｂを有し、スペーサ５に対して偏光フィルタ４とは反対側に設けられている。２つの固体撮像素子６２ａ，６２ｂの実際に被写体像が結像する撮像領域はそれぞれ光軸７ａ，７ｂを中心としてＸＹ平面と平行な同一平面上に設けられている。この固体撮像素子６２ａ，６２ｂは白黒のセンシングを行う場合は内部にカラーフィルタを有しなく、カラー画像のセンシングを行う場合は、カラーフィルタを前段に配置してやれば良い。 The solid-state imaging unit 6 has two solid-state imaging elements 62 a and 62 b mounted on a substrate 61 having a signal processing unit 8, and is provided on the opposite side of the polarization filter 4 with respect to the spacer 5. Imaging regions where the subject images are actually formed by the two solid-state imaging devices 62a and 62b are provided on the same plane parallel to the XY plane with the optical axes 7a and 7b as the centers. The solid-state imaging devices 62a and 62b do not have a color filter inside when performing monochrome sensing, and a color filter may be disposed at the previous stage when sensing a color image.

このように撮像装置１００の光学系１は路面から垂直偏光画像と水平偏光画像を撮影する２系統の光学系を有し、固体撮像素子６２ａ，６２ｂの撮像領域にゴミなどの異物が入らないようにレンズアレイ２から固体撮像ユニット６までの間が密閉されている。 As described above, the optical system 1 of the image pickup apparatus 100 has two optical systems for taking a vertically polarized image and a horizontally polarized image from the road surface so that foreign matters such as dust do not enter the image pickup regions of the solid-state image pickup devices 62a and 62b. The space from the lens array 2 to the solid-state imaging unit 6 is sealed.

この撮像装置１００の固体撮像ユニット６の基板６１に設けられた信号処理部８は、図３のブロック図に示すように、信号前処理部８１ａ，８１ｂと画像メモリ８２ａ，８２ｂと距離演算部８３と演算処理部８４と路面状態判別部８５と路面情報記憶部８６と路面情報認識部８７及び出力部８８を有する。信号前処理部８１ａ，８１ｂは固体撮像ユニット６の個体撮像素子６２ａ，６２ｂから出力された画像信号の感度むら等を補正するシェーディング補正等を行って路面の垂直偏光画像と水平偏光画像を画像メモリ８２ａ，８２ｂに格納する。距離演算部８３は画像メモリ２ａ，２ｂに格納された垂直偏光画像と水平偏光画像のいずれか一方を利用して撮像装置から前方位置まで距離を演算する。演算処理部８４は画像メモリ８２ａ，８２ｂに格納された垂直偏光画像と水平偏光画像との偏向比を演算する。路面状態判別部８５は演算処理部８４で演算した偏光比により路面の状態を判定する。路面情報記憶部８６には路面上に記載する文字や標識があらかじめ格納されている。路面情報認識部８７は画像メモリ８２ａ，８２ｂのいずれか又は両方の画像、例えば画像メモリ８２ａに格納された画像を取り込み、路面情報記憶部８６に記憶した文字や標識と照合して文字や標識を認識する。出力部８８は距離演算部８３で演算した前方位置までの距離と路面情報判別部８５で判定した路面の状態及び路面情報認識部８７で認識した文字や標識を不図示の表示装置に出力する。 As shown in the block diagram of FIG. 3, the signal processing unit 8 provided on the substrate 61 of the solid-state imaging unit 6 of the imaging apparatus 100 includes signal preprocessing units 81 a and 81 b, image memories 82 a and 82 b, and a distance calculation unit 83. An arithmetic processing unit 84, a road surface state determination unit 85, a road surface information storage unit 86, a road surface information recognition unit 87, and an output unit 88. The signal preprocessors 81a and 81b perform shading correction and the like for correcting the sensitivity unevenness of the image signals output from the individual image pickup devices 62a and 62b of the solid-state image pickup unit 6 so that the vertically polarized image and the horizontally polarized image of the road surface are stored in the image memory. 82a and 82b. The distance calculation unit 83 calculates the distance from the imaging device to the front position using either the vertically polarized image or the horizontally polarized image stored in the image memories 2a and 2b. The arithmetic processing unit 84 calculates the deflection ratio between the vertically polarized image and the horizontally polarized image stored in the image memories 82a and 82b. The road surface state determination unit 85 determines the road surface state based on the polarization ratio calculated by the arithmetic processing unit 84. The road surface information storage unit 86 stores characters and signs to be written on the road surface in advance. The road surface information recognition unit 87 captures one or both of the image memories 82a and 82b, for example, an image stored in the image memory 82a, and compares the characters and signs stored in the road surface information storage unit 86 with the characters and signs. recognize. The output unit 88 outputs the distance to the front position calculated by the distance calculation unit 83, the road surface state determined by the road surface information determination unit 85, and the characters and signs recognized by the road surface information recognition unit 87 to a display device (not shown).

この撮像装置１００の光学系１の各構成要素について詳細に説明する。 Each component of the optical system 1 of the imaging apparatus 100 will be described in detail.

光学系１のレンズアレイ２は、図４（ａ）に示すリフロー法や、（ｂ）に示すイオン拡散法、（ｃ）に示すインクジェット法、（ｄ）に示すグレイスケールマスク法等で作製する。図４（ａ）に示すリフロー法は、ガラス基板２１１の表面にフォトリソグラフィにより円柱状のフォトレジストパターン２１２を作製した後、透明基板２１１を加熱してレジストを流動させ、表面張力によりレンズ形状２１３を作製する方法である。また、図４（ｂ）に示すイオン拡散法は、レンズ形状に合わせたマスクを形成したガラス基板２１１にＴｌ^＋などのイオンを拡散させて段階的な屈折率変化をもたせる方法である。図４（ｃ）に示すインクジェット法は、インクジェットプリンタヘッド２１４を利用して微量の樹脂材料２１５を所定の位置に滴下し、表面張力によりレンズ形状を作製する。これらの方法は、表面張力やイオンの拡散により自然に生じる形状や屈折率分布をレンズとして利用している。また、図４（ｄ）に示すグレイスケールマスク法は、グレイスケールマスク２１６に与えた透過率分布によってガラス基板２１１に形成したレジスト２１７の形状をコントロールしてレンズ形状２１３を形成する。この方法は他の方法に比べて様々な形状を作製できる。 The lens array 2 of the optical system 1 is manufactured by the reflow method shown in FIG. 4A, the ion diffusion method shown in FIG. 4B, the ink jet method shown in FIG. 4C, the gray scale mask method shown in FIG. . In the reflow method shown in FIG. 4A, a cylindrical photoresist pattern 212 is produced on the surface of a glass substrate 211 by photolithography, and then the transparent substrate 211 is heated to cause the resist to flow, and the lens shape 213 is caused by surface tension. It is a method of producing. In addition, the ion diffusion method shown in FIG. 4B is a method in which ions such as Tl ⁺ are diffused in a glass substrate 211 on which a mask matched to the lens shape is formed to cause a stepwise change in refractive index. In the ink jet method shown in FIG. 4C, a small amount of resin material 215 is dropped at a predetermined position using an ink jet printer head 214, and a lens shape is produced by surface tension. These methods use the shape and refractive index distribution that occur naturally by surface tension and ion diffusion as lenses. In the gray scale mask method shown in FIG. 4D, the lens shape 213 is formed by controlling the shape of the resist 217 formed on the glass substrate 211 by the transmittance distribution given to the gray scale mask 216. This method can produce various shapes compared to other methods.

図４に示すリフロー法やグレイスケールマスク法では、フォトレジストでレンズ形状を作製するところまでを示しているが、通常フォトレジストで作製したレンズはそのままでは透過率不足や湿度や光照射に対する耐性が弱い等の問題があるため、異方性ドライエッチングによりレジストパターンを基板材料に転写してから利用される。しかしながら，異方性ドライエッチングプロセスではレジスト形状とエッチング後の形状で大きな形状変化が生じる場合があり、目的の形状に対して誤差の少ないレンズを作製するのは困難であった。また、この形状変化はエッチング装置の種類、エッチング条件、基板材料の種類によって変化する。特に、レンズを評価する上で重要なパラメータである透過率と波長範囲、屈折率は基板の種類によって制限されるため，様々な基板材料に対して高い形状精度を持つレンズを作製できるようにすることは重要である。 The reflow method and the gray scale mask method shown in FIG. 4 show that the lens shape is made with a photoresist, but a lens made with a photoresist usually has insufficient transmittance and resistance to humidity and light irradiation. Since there are problems such as weakness, the resist pattern is used after being transferred to the substrate material by anisotropic dry etching. However, in the anisotropic dry etching process, a large shape change may occur between the resist shape and the shape after etching, and it is difficult to produce a lens with little error with respect to the target shape. Further, this shape change varies depending on the type of etching apparatus, etching conditions, and the type of substrate material. In particular, since the transmittance, wavelength range, and refractive index, which are important parameters for evaluating a lens, are limited by the type of substrate, it is possible to manufacture a lens having high shape accuracy for various substrate materials. That is important.

また、通常のレンズ作製に用いられる研磨や、金型を作製して樹脂材を封入するモールド法を用いても良い。また、図５（ａ）に示すように、複数枚のレンズアレイ２２をスペーサ２３などを介して積層して焦点距離がｆ１，ｆ２と異なるレンズ２１ａ，２１ｂを形成しても良い。このように複数枚のレンズアレイ２２を組み合わせることにより、各レンズの形状を簡素化して用に作製することができる。また、図５（ｂ）に示すように、複数枚のレンズアレイ２２のレンズ形状を変えてやっても良い。例えば、偏光方向に応じて入射光量が異なるためアイリス調整をレンズ開口を変えてやっても良い。 Moreover, you may use the grinding | polishing used for normal lens manufacture, or the mold method which manufactures a metal mold | die and encloses a resin material. Further, as shown in FIG. 5A, a plurality of lens arrays 22 may be stacked via a spacer 23 or the like to form lenses 21a and 21b having focal lengths different from f1 and f2. By combining a plurality of lens arrays 22 in this way, the shape of each lens can be simplified and manufactured for use. Further, as shown in FIG. 5B, the lens shape of the plurality of lens arrays 22 may be changed. For example, since the amount of incident light varies depending on the polarization direction, iris adjustment may be performed by changing the lens aperture.

また、１つの撮像素子に対して複数のレンズで撮影させる方法は複眼方式として知られている。このような複眼方式は撮像装置を薄型化する方法として知られている。すなわち、レンズ系を介して被写体像を固体撮像素子上に結像して画像化する撮像装置はデジタルスチル撮像装置や携帯電話用撮像装置などに広く用いられている。近年、撮像装置には高画素化と薄型化の両立が求められている。一般に画素数の増大とともにレンズ系に高解像性が要求されるために、撮像装置の光軸方向の厚みが大きくなる傾向がある。これに対して撮像素子の画素ピッチを小さくして同一画素数でも撮像素子のサイズを小さくすることによってレンズ系のスケールダウンを可能にし、高画素化と薄型化とが両立された撮像装置を実現する試みが取り組まれている。しかしながら、固体撮像素子の感度と飽和出力とは画素サイズに比例するために、画素ピッチの縮小化については限界がある。撮像装置としては、光軸に沿って１又は２以上のレンズが配置された１つのレンズ系と、この光軸上に配置された１つの固体撮像素子とからなる、いわゆる単眼式が一般的である。これに対して、近年、撮像装置の薄型化を図るために、同一平面上に配置された複数のレンズ系と、この複数のレンズ系に一対一に対応して同一平面上に配置された複数の撮像領域とからなる撮像装置が提案されている。この撮像装置は、対をなす１つのレンズ系と１つの撮像領域とを含む撮像ユニットを複数備えることから複眼式と呼ばれている。このような複眼式の撮像装置は例えば特許第３３９７７５８号公報などに記載され、高画素化と薄型化を図ることができる。したがってレンズアレイ２に２つのレンズ２１ａ，２１ｂを設け、レンズ２１ａ，２１ｂに入射して偏光フィルタ４の偏光子領域４１ａ，４１ｂを透過して固体撮像ユニット６の固体撮像素子６２ａ，６２ｂに入射した光に得た画像を合成することにより高画質の画像を得ることができるともに薄型化を図ることができる。 Further, a method of photographing with a plurality of lenses with respect to one image sensor is known as a compound eye system. Such a compound eye system is known as a method for thinning an imaging apparatus. That is, an image pickup apparatus that forms an image of a subject image on a solid-state image pickup device via a lens system is widely used in a digital still image pickup apparatus, an image pickup apparatus for a mobile phone, and the like. In recent years, imaging devices are required to achieve both high pixel count and thin thickness. In general, as the number of pixels increases, the lens system is required to have high resolution, and thus the thickness of the imaging device in the optical axis direction tends to increase. On the other hand, by reducing the pixel pitch of the image sensor and reducing the size of the image sensor even with the same number of pixels, it is possible to scale down the lens system and realize an image pickup device that achieves both high pixel count and thinning. An attempt to do so is underway. However, since the sensitivity and saturation output of the solid-state imaging device are proportional to the pixel size, there is a limit to reducing the pixel pitch. A so-called monocular system is generally used as an imaging device, which includes one lens system in which one or more lenses are arranged along an optical axis and one solid-state imaging device arranged on the optical axis. is there. On the other hand, in recent years, in order to reduce the thickness of the imaging apparatus, a plurality of lens systems arranged on the same plane and a plurality of lenses arranged on the same plane corresponding to the plurality of lens systems on a one-to-one basis. There has been proposed an imaging apparatus including a plurality of imaging areas. This imaging apparatus is called a compound eye type because it includes a plurality of imaging units including a pair of lens systems and a single imaging region. Such a compound eye type imaging apparatus is described in, for example, Japanese Patent No. 3397758, and can achieve high pixels and thinning. Accordingly, the lens array 2 is provided with two lenses 21 a and 21 b, enters the lenses 21 a and 21 b, passes through the polarizer regions 41 a and 41 b of the polarization filter 4, and enters the solid-state imaging devices 62 a and 62 b of the solid-state imaging unit 6. By synthesizing images obtained with light, a high-quality image can be obtained and the thickness can be reduced.

次に偏光フィルタ４の偏光子領域４１ａ，４１ｂについて図６の斜視図を参照して説明する。偏光子領域４１ａ，４１ｂは、例えばフォトニック結晶からなる偏光子からなり、図６に示すように、周期的な溝列を形成した透明基板４１１上に、透明で高屈折率の媒質層４１２と低屈折率の媒質層４１３とを界面の形状を保存しながら交互に積層して形成されている。この高屈折率の媒質層４１２と低屈折率の媒質層４１３の各層は、図６に示すように、透明基板４１１の溝列と直交するＸ方向に周期性を持つが、溝列と平行なＹ方向には一様であっても良いし、Ｘ方向より大きい長さの周期的または非周期的な構造を有していても良い。このような微細な周期構造（フォトニック結晶）は、特開平１０−３３５７５８号公報などに記載されてなる自己クローニング技術と呼ばれる方式を用いることにより、再現性良く且つ高い均一性で作製することができる。 Next, the polarizer regions 41a and 41b of the polarizing filter 4 will be described with reference to the perspective view of FIG. The polarizer regions 41a and 41b are made of a polarizer made of, for example, a photonic crystal, and as shown in FIG. 6, a transparent high refractive index medium layer 412 and a transparent substrate 411 on which periodic groove arrays are formed. The low refractive index medium layers 413 are alternately stacked while preserving the shape of the interface. As shown in FIG. 6, each of the high refractive index medium layer 412 and the low refractive index medium layer 413 has periodicity in the X direction orthogonal to the groove rows of the transparent substrate 411, but is parallel to the groove rows. It may be uniform in the Y direction, or may have a periodic or aperiodic structure with a length greater than the X direction. Such a fine periodic structure (photonic crystal) can be produced with high reproducibility and high uniformity by using a method called a self-cloning technique described in JP-A-10-335758. it can.

このフォトニック結晶からなる偏光子領域４１ａ，４１ｂは、図７（ａ）の斜視図に示すように、光軸７ａ，７ｂと平行なＺ軸と、Ｚ軸と直交するＸＹ軸を有する直交座標系において、ＸＹ面に平行な１つの基板４１１の上に２種以上の透明材料をＺ軸方向に交互に積層した多層構造体、例えばＴａ_２Ｏ_５とＳｉＯ_２の交互多層膜からななり、偏光子領域４１ａ，４１ｂは各膜が凹凸形状を有しており、この凹凸形状はＸＹ面内の一つの方向に周期的に繰り返されて形成されている。そして偏光子領域４１ａは、図７（ｂ）に示すように、溝の方向がＹ軸方向に対して平行であり、偏光子領域４１ｂは溝の方向がＸ軸方向に対して平行であり、偏光子領域４１ａと偏光子領域４１ｂで溝の方向が９０度異なって形成されている。すなわちＸＹ面に入射される入力光から、偏光子領域４１ａと偏光子領域４１ｂによって偏光方向が異なる偏光成分を透過させるとともに、偏光子領域４１ａと偏光子領域４１ｂでそれぞれ等量の無偏光成分を透過させるようになっている。なお、偏光フィルタ４に２種類の凹凸形状の溝を設けたが、凹凸形状の溝方向は複数種類でも良い。このように偏光子領域４１ａ，４１ｂをフォトニック結晶で形成することにより、紫外線劣化などに優れて長期間安定して使用することができる。 As shown in the perspective view of FIG. 7A, the polarizer regions 41a and 41b made of the photonic crystal are orthogonal coordinates having a Z axis parallel to the optical axes 7a and 7b and an XY axis orthogonal to the Z axis. The system comprises a multilayer structure in which two or more transparent materials are alternately laminated in the Z-axis direction on one substrate 411 parallel to the XY plane, for example, an alternating multilayer film of Ta ₂ O ₅ and SiO ₂ . Each film | membrane has uneven | corrugated shape in polarizer area | region 41a, 41b, and this uneven | corrugated shape is periodically repeated in one direction in XY plane, and is formed. As shown in FIG. 7B, the polarizer region 41a has a groove direction parallel to the Y-axis direction, and the polarizer region 41b has a groove direction parallel to the X-axis direction. The directions of the grooves are different by 90 degrees between the polarizer region 41a and the polarizer region 41b. That is, from the input light incident on the XY plane, the polarization components having different polarization directions are transmitted by the polarizer region 41a and the polarizer region 41b, and equal amounts of non-polarized components are respectively transmitted by the polarizer region 41a and the polarizer region 41b. It is designed to be transparent. Note that, although two types of concave and convex grooves are provided in the polarizing filter 4, a plurality of concave and convex grooves may be provided. Thus, by forming the polarizer regions 41a and 41b with a photonic crystal, the polarizer regions 41a and 41b can be used stably for a long period of time with excellent ultraviolet deterioration.

この偏光子領域４１ａ，４１ｂの開口面積や透過軸は、はじめに透明基板４１１に加工する溝パターンの大きさや方向で自由に設計することができる。この溝パターンのパターン形成は、電子ビームリソグラフィやフォトリソグラフィ、干渉露光法、ナノプリンティングなど様々な方法で行うことができる。いずれの場合でも、微小領域ごとに溝の方向を高精度に定めることができる。そのため、透過軸の異なる微小偏光子を組み合わせた偏光子領域と、更にそれを複数並べた偏光子を形成することが可能となる。また、凹凸パターンを持つ特定の領域のみが偏光子の動作をするため、その周辺の領域を平坦あるいは、面内で等方的な凹凸パターンにしておけば偏波依存性のない媒質として光は透過する。したがって、特定の領域にのみ偏光子を作りこむことができる。 The opening areas and transmission axes of the polarizer regions 41a and 41b can be freely designed according to the size and direction of the groove pattern to be processed on the transparent substrate 411 first. The groove pattern can be formed by various methods such as electron beam lithography, photolithography, interference exposure, and nanoprinting. In any case, the direction of the groove can be determined with high accuracy for each minute region. Therefore, it is possible to form a polarizer region in which micropolarizers having different transmission axes are combined, and a polarizer in which a plurality of polarizer regions are arranged. In addition, since only a specific region having a concavo-convex pattern operates as a polarizer, if the peripheral region is flat or isotropic concavo-convex pattern in the plane, light can be used as a medium having no polarization dependency. To Penetrate. Therefore, a polarizer can be formed only in a specific region.

偏光フィルタ４の偏光子領域４１ａ，４１ｂはいずれかの溝方向は路面と平行に配置されるように撮像装置を配置して、偏光子領域４１ａ，４１ｂで路面反射光の垂直偏光画像と水平偏光画像を取得する。 An imaging device is arranged in the polarizer regions 41a and 41b of the polarization filter 4 so that either groove direction is parallel to the road surface, and the vertically polarized image and the horizontal polarization of the road surface reflected light in the polarizer regions 41a and 41b. Get an image.

次に遮光スペーサ３の作製方法を図８の斜視図を参照して説明する。図８（ａ）に示すように、銀を含有した感光性のガラス基板３１１の外表面に紫外線を遮光する塗料３１２を塗布し、遮光壁３２を形成しようとする部分３１２ではパターニングにより塗料３１２を取り除く。この感光性ガラス３１１に紫外線を照射した後、塗料３１２を除去する。この紫外線の照射により、図８（ｂ）に示すように、ガラス基板３１１のうち紫外線が直接照射された遮光壁を形成しようとする部分３１２に銀が析出し、黒化して遮光部３１３が形成される。この遮光部３１３は遮光壁３２を形成しようとする部分３１２のガラスの内部にも形成される。この状態でガラス基板３１１の遮光壁３２を形成しようとする部分３１２以外を機械加工やエッチングにより除去して、図８（ｃ）に示すように２つの開口部３１ａ，３１ｂと遮光部３１３を有する遮光壁３２とを形成する。このようにして２つの開口部３１ａ，３１ｂを有する遮光スペーサ３を容易に作製することができる。この遮光スペース３の開口部３１ａ，３１ｂを偏光フィルタ２の偏光子領域４１ａ，４１ｂに対応して配置することにより隣接する偏光子領域に光が漏れ出すことを確実に防止することができる。また、各開口部３１ａ，３１ｂの内壁面が黒化しているから内壁面で反射した迷光が固体撮像ユニット６の固体撮像素子６２ａ，６２ｂに入射することを避けることができる。 Next, a manufacturing method of the light shielding spacer 3 will be described with reference to a perspective view of FIG. As shown in FIG. 8A, a coating 312 for shielding ultraviolet rays is applied to the outer surface of a photosensitive glass substrate 311 containing silver, and the coating 312 is formed by patterning in a portion 312 where the light shielding wall 32 is to be formed. remove. After the photosensitive glass 311 is irradiated with ultraviolet rays, the paint 312 is removed. By this ultraviolet irradiation, as shown in FIG. 8B, silver is deposited on the portion 312 of the glass substrate 311 where the ultraviolet light is directly irradiated to form the light shielding wall, and is blackened to form the light shielding portion 313. Is done. The light shielding portion 313 is also formed inside the glass of the portion 312 where the light shielding wall 32 is to be formed. In this state, portions other than the portion 312 where the light shielding wall 32 of the glass substrate 311 is to be formed are removed by machining or etching, and two openings 31a and 31b and a light shielding portion 313 are provided as shown in FIG. A light shielding wall 32 is formed. In this way, the light-shielding spacer 3 having the two openings 31a and 31b can be easily manufactured. By arranging the openings 31a and 31b of the light shielding space 3 corresponding to the polarizer regions 41a and 41b of the polarizing filter 2, it is possible to reliably prevent light from leaking into the adjacent polarizer regions. Moreover, since the inner wall surfaces of the openings 31a and 31b are blackened, stray light reflected by the inner wall surfaces can be prevented from entering the solid-state imaging elements 62a and 62b of the solid-state imaging unit 6.

次に、この撮像装置１００を自動車等の車両に装着して、自車両から前方車両までの車間距離を測定するときの処理を図９の模式図を参照して説明する。 Next, processing when the imaging apparatus 100 is mounted on a vehicle such as an automobile and the distance between the host vehicle and the preceding vehicle is measured will be described with reference to the schematic diagram of FIG.

まず、撮像装置の偏光フィルタ４の偏光子領域４１ａ，４１ｂの内いずれか一方、例えば偏光子領域４１ｂの溝方向が路面と平行になるように撮像装置１００を配置して車両に装着して前方車両２００が存在している位置の路面の画像を撮影する。この撮影によりレンズアレイ２のレンズ２１ａ，２１ｂに入射して偏光フィルタ４の偏光子領域４１ａ，４１ｂを透過して固体撮像ユニット６の固体撮像素子６２ａ，６２ｂに入射した光により前方車両が存在している位置の路面の画像が画像メモリ８２ａ，８２ｂに格納されると、距離計測部８３は、画像メモリ８２ａに格納された固体撮像ユニット６の固体撮像素子６２ａにレンズ２１ａで投影された前方車両２００が存在している位置の路面の画像を画像メモリ８２ａから読み出し、読み出した画像の光軸７ａからの距離と、あらかじめ設定されている撮像装置１００の路面からの高さｙ及び例えばレンズ２１ａの焦点距離ｆ１から、自車両から前方車両２００が存在している位置までの距離ｘを三角形の相似から下記式で算出する。
ｘ＝ｆ１・ｙ／ｚ
このようにして前方車両２００までの車間距離ｘを測定することができる。この距離ｘの計測範囲はレンズ２１ａ，２１ｂの焦点距離ｆ１，ｆ２に依存する。すなわち焦点距離が短いレンズを用いた場合は近い位置の距離計測が行え、遠方の計測には分解能が落ちてしまう。これに対してレンズアレイ２に焦点距離が異なるレンズ２１ａ，２１ｂの２系統の光学系を設け、遠方に対しては焦点距離が長いレンズ２１ｂの光学系で撮影した画像を利用し、近いところでは焦点距離が短いレンズ２１ａの光学系で撮影した画像を用いて前方車両２００までの車間距離ｘを検出することにより遠方にいる前方車両２００から近接する前方車両２００までの広範囲な距離を計測することができる。例えば車両が走行中は焦点距離が長いレンズ２１ｂの光学系で撮影した画像を利用し、停止するときあるいは走行を開始するときは焦点距離が短いレンズ２１ａの光学系で撮影した画像を利用すれば良い。あるいは車両の速度により焦点距離が長いレンズ２１ｂの光学系と焦点距離が短いレンズ２１ａの光学系を切り替えても良い。 First, one of the polarizer regions 41a and 41b of the polarizing filter 4 of the imaging device, for example, the imaging device 100 is arranged so that the groove direction of the polarizer region 41b is parallel to the road surface, and is mounted on the vehicle. An image of the road surface at the position where the vehicle 200 exists is taken. By this photographing, there is a vehicle ahead by the light incident on the lenses 21 a and 21 b of the lens array 2, transmitted through the polarizer regions 41 a and 41 b of the polarization filter 4 and incident on the solid-state imaging devices 62 a and 62 b of the solid-state imaging unit 6. When the image of the road surface at the current position is stored in the image memories 82a and 82b, the distance measuring unit 83 projects the front vehicle projected by the lens 21a onto the solid-state imaging device 62a of the solid-state imaging unit 6 stored in the image memory 82a. 200 is read from the image memory 82a, the distance from the optical axis 7a of the read image, the height y from the road surface of the imaging device 100 set in advance and the lens 21a, for example, A distance x from the own vehicle to the position where the preceding vehicle 200 exists is calculated from the focal distance f1 by the following formula from the similarity of the triangle.
x = f1 · y / z
In this way, the inter-vehicle distance x to the preceding vehicle 200 can be measured. The measurement range of the distance x depends on the focal lengths f1 and f2 of the lenses 21a and 21b. That is, when a lens with a short focal length is used, the distance measurement at a close position can be performed, and the resolution is deteriorated for the measurement at a long distance. In contrast to this, the lens array 2 is provided with two optical systems of lenses 21a and 21b having different focal lengths, and an image photographed by the optical system of the lens 21b having a long focal length is used for a far distance, and in the near place. By measuring an inter-vehicle distance x to the front vehicle 200 using an image captured by the optical system of the lens 21a having a short focal length, a wide range distance from the far front vehicle 200 to the adjacent front vehicle 200 is measured. Can do. For example, when the vehicle is running, an image taken with the optical system of the lens 21b having a long focal length is used, and when stopping or starting running, an image taken with the optical system of the lens 21a having a short focal length is used. good. Or you may switch the optical system of the lens 21b with a long focal distance, and the optical system of the lens 21a with a short focal distance by the speed of a vehicle.

次に、撮像装置１００で路面の状態を検出するときの動作を説明する。 Next, an operation when the imaging apparatus 100 detects a road surface state will be described.

まず、撮像装置１００の偏光フィルタ４の偏光子領域４１ａ，４１ｂの内いずれか一方、例えば偏光子領域４１ｂの溝方向が路面と平行になるように撮像装置を配置して例えば車両に装着して路面の撮影を行う。この撮影によりレンズアレイ２のレンズ２１ａに入射した光は遮光スペーサ３を介して偏光フィルタ４の偏光子領域４１ａに入射し、偏光子領域４１ａで垂直偏光成分の光のみを固体撮像ユニット６の固体撮像素子９２ａに入射する。また、レンズアレイ２のレンズ２１ｂに入射した光は遮光スペーサ３を介して偏光フィルタ４の偏光子領域４１ｂに入射し、偏光子領域４１ｂで水平偏光成分の光のみを固体撮像ユニット６の固体撮像素子９２ｂに入射する。固体撮像素子９２ａ，９２ｂで撮影された画像信号は信号処理部８の信号前処理部８１ａ，８１ｂで処理されて垂直偏光画像と水平偏光画像がそれぞれ画像メモリ８２ａ，８２ｂに格納される。演算処理部８４は画像メモリ８２ａ，８２ｂに格納された垂直偏光画像と水平偏光画像の偏光比を演算して路面状態判別部８５に出力する。路面状態判別部８５は入力した垂直偏光画像と水平偏光画像の偏光比の大小から路面の湿潤状態を判別し、入力した垂直偏光画像と水平偏光画像の偏光比とあらかじめ設定された基準値とを比較して入力した偏光比が基準値を超えているか否により路面の欠陥の有無を判別する。 First, the imaging device is arranged such that one of the polarizer regions 41a and 41b of the polarizing filter 4 of the imaging device 100, for example, the groove direction of the polarizer region 41b is parallel to the road surface, and is mounted on a vehicle, for example. Shoot the road surface. The light incident on the lens 21a of the lens array 2 by this photographing enters the polarizer region 41a of the polarizing filter 4 through the light shielding spacer 3, and only the light of the vertical polarization component is emitted from the polarizer region 41a to the solid state of the solid-state imaging unit 6. The light enters the image sensor 92a. Further, the light incident on the lens 21b of the lens array 2 enters the polarizer region 41b of the polarizing filter 4 through the light shielding spacer 3, and only the light of the horizontal polarization component is captured by the solid-state imaging unit 6 in the polarizer region 41b. Incident on element 92b. The image signals photographed by the solid-state imaging devices 92a and 92b are processed by the signal preprocessing units 81a and 81b of the signal processing unit 8, and the vertically polarized images and the horizontally polarized images are stored in the image memories 82a and 82b, respectively. The arithmetic processing unit 84 calculates the polarization ratio between the vertical polarization image and the horizontal polarization image stored in the image memories 82 a and 82 b and outputs the polarization ratio to the road surface state determination unit 85. The road surface state determination unit 85 determines the wet state of the road surface from the magnitude of the polarization ratio between the input vertical polarization image and the horizontal polarization image, and determines the polarization ratio between the input vertical polarization image and the horizontal polarization image and a preset reference value. The presence or absence of a road surface defect is determined based on whether or not the polarization ratio input in comparison exceeds a reference value.

この路面状態判別部８５で路面の湿潤の判定処理について図１０の模式図を参照して説明する。図１０（ａ）に示すように、湿潤時の路面は表面の凹凸部分に水がたまることによって鏡面となり、この鏡面からの反射光は偏光特性を示す。この場合、反射光の垂直偏光成分と水平偏光成分の反射率をＲｓ、Ｒｐとすると、光強度Ｉの入射光に対する反射光強度Ｉｓ，Ｉｐは下記式で表され、その入射角依存性は図１１に示すようになる。
Ｉｓ＝Ｒｓ・Ｉ
Ｉｐ＝Ｒｐ・Ｉ
このように、鏡面における反射光の水平偏光成分は入射角がブリュースタ角（53.1度）に等しいとき反射光強度が零となり、垂直偏光成分は反射光強度が入射角の増大に伴って漸増する特性を示す。 A road surface wetness determination process by the road surface state determination unit 85 will be described with reference to the schematic diagram of FIG. As shown in FIG. 10 (a), the wet road surface becomes a mirror surface when water accumulates on the uneven portions of the surface, and the reflected light from this mirror surface exhibits polarization characteristics. In this case, if the reflectances of the vertical polarization component and the horizontal polarization component of the reflected light are Rs and Rp, the reflected light intensities Is and Ip with respect to the incident light of the light intensity I are expressed by the following equations, and the incident angle dependency is shown in FIG. 11 as shown.
Is = Rs · I
Ip = Rp · I
Thus, the horizontal polarization component of the reflected light at the mirror surface has a reflected light intensity of zero when the incident angle is equal to the Brewster angle (53.1 degrees), and the vertical polarized light component gradually increases as the incident angle increases. Show properties.

一方、図１０（ｂ）に示すように乾燥時の路面は表面が粗面であるため乱反射が支配的となり、反射光は偏光特性を示さず、各偏光成分の反射光強度はほぼ等しくなる（Ｒｓ＝Ｒｐ）。したがって垂直偏光画像と水平偏光画像の輝度情報から、偏光特性に基づいて、路面水分に関する情報を抽出することが可能になる。 On the other hand, as shown in FIG. 10 (b), the road surface at the time of drying has a rough surface, so that irregular reflection is dominant, the reflected light does not show the polarization characteristics, and the reflected light intensity of each polarization component is almost equal ( Rs = Rp). Therefore, it is possible to extract information on road surface moisture from the luminance information of the vertically polarized image and the horizontally polarized image based on the polarization characteristics.

具体的には下記式に示すように、垂直偏光成分の反射光強度Ｉｓと水平偏光成分の反射光強度Ｉｐ、すなわち画像輝度の比Ｈを求める。
Ｈ＝Ｉｓ/Ｉｐ＝Ｒｓ/Ｒｐ
この反射光強度Ｉｓ，Ｉｐの比Ｈは入射光強度Ｉに依存しなくなるため、外界の輝度変動の影響を除去しつつ、安定に偏光特性を抽出することが可能となる。
この偏光比Ｈの輝度平均値などを求め、その値の大小から路面の湿潤状態を判別する。例えば路面が乾燥している場合には、垂直偏光成分と水平偏光成分は略等しくなるため、偏光比Ｈは１前後の値となる。また、路面が完全に濡れている場合には、水平偏光成分は垂直偏光成分よりもかなり大きくなるため偏光比Ｈは大きな値となる。また、路面が僅かだけ濡れているような場合には、偏光比Ｈはこれらの中間値となる。したがって偏光比Ｈの値から路面の湿潤状態を算出することができる。 Specifically, as shown in the following formula, the reflected light intensity Is of the vertical polarization component and the reflected light intensity Ip of the horizontal polarization component, that is, the ratio H of the image luminance is obtained.
H = Is / Ip = Rs / Rp
Since the ratio H between the reflected light intensities Is and Ip does not depend on the incident light intensity I, it is possible to stably extract the polarization characteristic while removing the influence of the luminance fluctuation of the outside world.
A luminance average value of the polarization ratio H is obtained, and the wet state of the road surface is determined from the magnitude of the value. For example, when the road surface is dry, the vertical polarization component and the horizontal polarization component are substantially equal, so the polarization ratio H is about 1. In addition, when the road surface is completely wet, the horizontal polarization component is considerably larger than the vertical polarization component, so that the polarization ratio H is a large value. In addition, when the road surface is slightly wet, the polarization ratio H is an intermediate value thereof. Therefore, the wet state of the road surface can be calculated from the value of the polarization ratio H.

この路面状態判別部８５で判別した路面の湿潤状態や欠陥の有無は出力部８８から不図示の表示装置に出力して表示する。このようにして移動する車両で路面の湿潤状態を撮影することができ、スリップ注意などの注意情報を発することができる。 The wet state of the road surface determined by the road surface state determination unit 85 and the presence or absence of a defect are output from the output unit 88 to a display device (not shown) and displayed. In this way, the moving vehicle can take a picture of the wet state of the road surface, and can issue caution information such as a slip caution.

一方、路面情報認識部８７は例えば画像メモリ８２ａに格納された垂直偏光画像を読み取り、読み取った画像と路面情報記憶部に記憶した文字や標識と比較して路面に表示された文字や標識を認識し、認識した文字や標識を出力部８８から表示装置に出力して表示する。このようにして路面に表示された上限スピード表示や停止表示等の情報や車線を区画する白線等を確実に検知して、運転者に対してより高度の運転支援を行うことができる。 On the other hand, the road surface information recognition unit 87 reads, for example, a vertically polarized image stored in the image memory 82a, and recognizes characters and signs displayed on the road surface by comparing the read image with characters and signs stored in the road surface information storage unit. The recognized characters and signs are output from the output unit 88 to the display device and displayed. In this way, it is possible to reliably detect information such as an upper limit speed display and a stop display displayed on the road surface, a white line that divides the lane, and the like, and provide more advanced driving assistance to the driver.

この路面情報認識部８７で垂直偏光画像を読み取る利点について、自動車の運転席部分を示す図１２を参照して説明する。図１２において、１０１はルームミラー、１０２は自動車の天井、１０３は自動車のフロントガラス、１０４はダッシュボード、１０４ａはダッシュボードの上面部であり、撮像装置１００はルームミラー１０１の裏面に装着されている。この自動車の運転席部分に太陽１０５からの光が入射してダッシュボード１０４の上面部１０４ａで反射し、この反射光がフロントガラス１０３内面に入射し、ここで再び反射した反射光が撮像装置１００に入射すると、撮像装置１００で本来得られるべき画像のコントラストを著しく低下させてしまう、いわゆるフロントガラス１０３からの映り込み問題が発生していた。これはダッシュボード１０４の上面部１０４ａに地図帳とかタオルなど反射率の高いものを置いた場合に特に顕著である。 The advantage of reading the vertically polarized image by the road surface information recognition unit 87 will be described with reference to FIG. In FIG. 12, 101 is a rearview mirror, 102 is a car ceiling, 103 is a car windshield, 104 is a dashboard, 104a is an upper surface of the dashboard, and the imaging device 100 is mounted on the rear surface of the room mirror 101. Yes. The light from the sun 105 enters the driver's seat of the automobile and is reflected by the upper surface portion 104a of the dashboard 104. The reflected light is incident on the inner surface of the windshield 103, and the reflected light reflected here again is the imaging device 100. When the light is incident on the image pickup device 100, there is a problem of reflection from the windshield 103 that significantly lowers the contrast of an image that should be originally obtained by the imaging apparatus 100. This is particularly noticeable when a highly reflective object such as a map book or towel is placed on the upper surface 104 a of the dashboard 104.

このようなガラスからの反射光は光の振動方向が一方向（水平偏光成分）のみの偏光になっているため、撮像装置１００の路面情報認識部８６で垂直偏光画像を取り出すことによりフロントガラス１０３からの映り込みの影響を低減した状態での路面状態の撮像が可能である。同様に太陽光に伴う路面反射光の成分のうち水平偏光成分をカットすることも可能である。 Since such reflected light from the glass is polarized light whose light vibration direction is only one direction (horizontal polarization component), the windshield 103 is obtained by taking out the vertically polarized image by the road surface information recognition unit 86 of the imaging device 100. It is possible to take an image of the road surface state in a state where the influence of reflection from the road is reduced. Similarly, it is also possible to cut a horizontal polarization component among the components of road surface reflected light accompanying sunlight.

前記説明では光フィルタ４の偏光子領域４１ａ，４１ｂを例えばフォトニック結晶で形成した場合について説明したが、偏光子領域４１ａ，４１ｂとしてワイヤグリッド型の偏光子を使用しても良い。このワイヤグリッド型の偏光子とは、細い金属ワイヤを周期的に配列することにより形成された偏光子であり、従来、電磁波のミリ波領域において多く用いられてきた偏光子である。ワイヤグリッド型偏光子の構造は、入力光の波長に比べて十分細い金属細線が波長に比べて十分に短い間隔で並んだ構造を有する。このような構造に光を入射した場合、金属細線に平行な偏光は反射され、それに直交する偏光は透過されることはすでに知られている。金属細線の方向については、１枚の基板内において領域ごとに独立に変化させて作製することができるため、ワイヤグリッド偏光子の特性を領域毎に変えることができる。これを利用すれば、偏光子領域４１ａ，４１ｂ毎に透過軸の方向を変化させた構造とすることができる。 In the above description, the case where the polarizer regions 41a and 41b of the optical filter 4 are formed of, for example, a photonic crystal has been described. However, wire grid polarizers may be used as the polarizer regions 41a and 41b. This wire grid type polarizer is a polarizer formed by periodically arranging thin metal wires, and has been conventionally used in the millimeter wave region of electromagnetic waves. The structure of the wire grid polarizer has a structure in which fine metal wires that are sufficiently thin compared to the wavelength of the input light are arranged at intervals that are sufficiently short compared to the wavelength. It is already known that when light is incident on such a structure, polarized light parallel to the metal thin wire is reflected and polarized light orthogonal thereto is transmitted. With respect to the direction of the fine metal wire, since it can be produced by changing each region independently in one substrate, the characteristics of the wire grid polarizer can be changed for each region. If this is utilized, it can be set as the structure which changed the direction of the transmission axis for every polarizer area | region 41a, 41b.

このワイヤグリッドの作製方法としては、基板上に金属膜を形成し、リソグラフィによりパターニングを行うことで、細線状の金属を残すことができる。また、他の作製方法としては、リソグラフィにより基板に溝を形成し、この溝の方向とは直角で基板の法線から傾いた方向（基板面に斜めの方向）から真空蒸着により金属を成膜することで作製することができる。真空蒸着では蒸着源から飛来する粒子はその途中で他の分子もしくは原子にほとんど衝突することはなく、粒子は蒸着源から基板にむかって直線的に進むため、溝を構成する凸部にのみ成膜される一方、溝の底部（凹部）では、凸部に遮蔽されほとんど成膜されない。したがって、成膜量を制御することで、基板上に形成された溝の凸部にのみ金属膜を成膜することができ、金属細線を作製することができる。このワイヤグリッド型偏光子に用いられるワイヤ金属としては、アルミニウムもしくは銀が望ましいが、例えばタングステンなど、そのほかの金属であっても同様の現象を実現できる。また、リソグラフィとしては、光リソグラフィ、電子ビームリソグラフィ又はＸ線リソグラフィなどが挙げられるが、可視光での動作を想定すると細線の間隔が１００ｎｍ程度になるため、電子ビームリソグラフィもしくはＸ線リソグラフィがより望ましい。また、金属の成膜では真空蒸着が望ましいが、主として基板に入射する粒子の方向性が重要であるので、高真空度の雰囲気におけるスパッタリング、もしくはコリメーターを用いたコリメーションスパッタでも可能である。 As a method for manufacturing this wire grid, a thin metal can be left by forming a metal film on a substrate and performing patterning by lithography. As another manufacturing method, a groove is formed on the substrate by lithography, and a metal is formed by vacuum deposition from a direction perpendicular to the direction of the groove and inclined from the normal line of the substrate (a direction oblique to the substrate surface). It can produce by doing. In vacuum deposition, particles flying from the deposition source hardly collide with other molecules or atoms in the middle of the deposition, and the particles travel linearly from the deposition source to the substrate. On the other hand, at the bottom part (concave part) of the groove, the film is shielded by the convex part and hardly formed. Therefore, by controlling the amount of film formation, a metal film can be formed only on the convex portion of the groove formed on the substrate, and a thin metal wire can be produced. The wire metal used in the wire grid polarizer is preferably aluminum or silver, but the same phenomenon can be realized even with other metals such as tungsten. In addition, as lithography, optical lithography, electron beam lithography, X-ray lithography, and the like can be given. However, when an operation with visible light is assumed, the interval between thin lines is about 100 nm, and thus electron beam lithography or X-ray lithography is more preferable. . Also, vacuum deposition is desirable for metal film formation. However, since the directionality of particles incident on the substrate is important, sputtering in a high vacuum atmosphere or collimation sputtering using a collimator is also possible.

この発明の撮像装置の光学系の概略構成を示す分解斜視図である。It is a disassembled perspective view which shows schematic structure of the optical system of the imaging device of this invention. 撮像装置の概略構成を示す断面図である。It is sectional drawing which shows schematic structure of an imaging device. 撮像装置の信号処理部の構成を示すブロック図である。It is a block diagram which shows the structure of the signal processing part of an imaging device. レンズアレイの作製方法を示す模式図である。It is a schematic diagram which shows the preparation methods of a lens array. レンズアレイの他の構成を示す断面図である。It is sectional drawing which shows the other structure of a lens array. 偏光フィルタの偏光子領域の構成を示す斜視図である。It is a perspective view which shows the structure of the polarizer area | region of a polarizing filter. 偏光フィルタの構成を示す斜視図である。It is a perspective view which shows the structure of a polarizing filter. 遮光スペーサの作製方法を示す斜視図である。It is a perspective view which shows the preparation methods of a light shielding spacer. 車間距離を測定するときの処理を示す模式図である。It is a schematic diagram which shows a process when measuring a distance between vehicles. 路面の湿潤状態を示す模式図である。It is a schematic diagram which shows the wet state of a road surface. 入射光に対する垂直偏光成分と水平偏光成分の入射角依存性を示す特性図である。It is a characteristic view which shows the incident angle dependence of the vertical polarization component and horizontal polarization component with respect to incident light. 撮像装置を自動車に装着した状態を示す配置図である。It is a layout view showing a state where the imaging device is mounted on a car.

Explanation of symbols

１００；撮像装置、１；光学系、２；レンズアレイ、３；遮光スペーサ、４；偏光フィルタ、５；スペーサ、６；固体撮像ユニット、７；光軸、８；信号処理部、
２１；レンズ、３１；開口部、４１；偏光子領域、５１；開口部、６１；基板、
６２；固体撮像素子、８１；信号前処理部、８２；画像メモリ、８３；演算処理部、
８４；路面状態判別部、８５；路面情報記憶部、８６；路面情報認識部、
８７；出力部。 DESCRIPTION OF SYMBOLS 100; Imaging device, 1; Optical system, 2; Lens array, 3; Light-shielding spacer, 4; Polarization filter, 5; Spacer, 6: Solid-state imaging unit, 7: Optical axis, 8;
21; Lens, 31; Opening, 41; Polarizer region, 51; Opening, 61; Substrate,
62; solid-state imaging device, 81; signal preprocessing unit, 82; image memory, 83; arithmetic processing unit,
84; Road surface state determination unit, 85; Road surface information storage unit, 86; Road surface information recognition unit,
87: Output unit.

Claims

A lens array having a plurality of lenses on the same substrate, an imaging unit having a plurality of imaging areas for capturing a subject image by receiving a light beam transmitted through each lens of the lens array, and a subject imaged by the imaging unit An image pickup apparatus including a signal processing device that processes an image signal of an image,
A plurality of lenses of the lens array have different focal lengths from each other,
The imaging unit is a single unit in which the plurality of imaging regions are provided on the same plane,
The signal processing device is configured to calculate the imaging device based on a deviation amount from an optical axis of an image captured in each imaging region of the imaging unit, a height from the road surface of the imaging device, and a focal length of each lens. An imaging apparatus characterized by calculating a distance ahead.

Between the lens array and the imaging unit, there is a filter that is divided into a plurality of regions according to each light beam passing through each lens of the lens array, and at least one of the filters transmits a vertically polarized component The imaging apparatus according to claim 1, further comprising: a polarizer region that calculates a distance ahead of the imaging apparatus from a vertically polarized image captured by the imaging unit.

The imaging apparatus according to claim 2, further comprising a light shielding unit that separates each light beam transmitted through each lens of the lens array and enters the filter.

The polarizer region of the filter is formed of a multilayer structure in which a plurality of transparent materials having different refractive indexes are laminated on a transparent substrate, and has a one-dimensional periodic uneven shape repeated in one direction for each layer. The imaging device according to claim 2.

The imaging device according to claim 2, wherein the polarizer region of the filter is configured by a wire grid polarizer.