JP5152655B2 - Imaging device - Google Patents

Imaging device Download PDF

Info

Publication number
JP5152655B2
JP5152655B2 JP2008158603A JP2008158603A JP5152655B2 JP 5152655 B2 JP5152655 B2 JP 5152655B2 JP 2008158603 A JP2008158603 A JP 2008158603A JP 2008158603 A JP2008158603 A JP 2008158603A JP 5152655 B2 JP5152655 B2 JP 5152655B2
Authority
JP
Japan
Prior art keywords
imaging
image
lens
light
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008158603A
Other languages
Japanese (ja)
Other versions
JP2010004090A (en
Inventor
秀明 平井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2008158603A priority Critical patent/JP5152655B2/en
Publication of JP2010004090A publication Critical patent/JP2010004090A/en
Application granted granted Critical
Publication of JP5152655B2 publication Critical patent/JP5152655B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

この発明は、例えば自車両と前方車両との車間距離を計測する撮像装置に関するものである。   The present invention relates to an imaging device that measures a distance between a host vehicle and a preceding vehicle, for example.

例えば特許文献1に示すように、画像による3次元計測技術として、ステレオカメラで対象物を異なる位置から撮像した複数の画像間の相関を求め、同一物体に対する視差からステレオカメラの取り付け位置や焦点距離等のカメラパラメータを用いて三角測量の原理により距離を求めるステレオ法による画像処理が知られている。   For example, as shown in Patent Document 1, as a three-dimensional measurement technique using an image, a correlation between a plurality of images obtained by capturing an object from different positions with a stereo camera is obtained, and the stereo camera mounting position and focal length are calculated from parallax with respect to the same object. Image processing by a stereo method for obtaining a distance by the principle of triangulation using camera parameters such as is known.

特許文献1などに記載されているステレオ法は撮像装置を2つ配置する必要がある。このステレオ法を利用して自車両と先行車両との間の車間距離を測定するためには撮像装置をルームミラーなどの車両上部に配置する必要がある。また、2つの撮像装置間のずれが距離計測のずれの原因となるため、2つの撮像装置を保持する筐体として熱や振動の影響を受けにくい頑強な構成が要求され大型化してしまう。このため2つの撮像装置をルームミラー周辺に装着するために大きな占有領域が必要になり、車両に2つの撮像装置を装着することは困難であった。   In the stereo method described in Patent Document 1 and the like, it is necessary to arrange two imaging devices. In order to measure the inter-vehicle distance between the host vehicle and the preceding vehicle using this stereo method, it is necessary to dispose the imaging device on the upper part of the vehicle such as a room mirror. In addition, since the displacement between the two image pickup devices causes a difference in distance measurement, a robust structure that is not easily affected by heat and vibration is required as a housing for holding the two image pickup devices, which increases the size. For this reason, a large occupied area is required in order to mount the two imaging devices around the room mirror, and it is difficult to mount the two imaging devices on the vehicle.

このステレオ法による撮像装置の大型化の問題を解消するため、非特許文献1には、1つの撮像装置で撮影した画像を処理して前方車両との車間距離を計測する距離計測方法が開示されている。この距離計測方法は、車両に装着した撮像装置の路面からの高さyと撮像装置のレンズの焦点距離fと撮像素子にレンズで投影された前方車両が存在している位置の路面の画像の光軸からの距離zから、自車両から前方車両が存在している位置までの距離xを三角形の相似から下記式で算出するようにしている。
x=f・y/z
特開2008−39491号公報 Automotive Technology days 2007 Autumn 日経エレクトロニクス主催のセミナー予稿集
In order to solve the problem of increasing the size of the imaging device by the stereo method, Non-Patent Document 1 discloses a distance measurement method for processing an image photographed by one imaging device and measuring an inter-vehicle distance from a preceding vehicle. ing. In this distance measurement method, the height y from the road surface of the imaging device mounted on the vehicle, the focal length f of the lens of the imaging device, and the image of the road surface at the position where the front vehicle projected by the lens on the imaging device is present. From the distance z from the optical axis, the distance x from the own vehicle to the position where the preceding vehicle is present is calculated from the similarity of the triangle by the following equation.
x = f · y / z
JP 2008-39491 A Automotive Technology days 2007 Autumn Seminar proceedings hosted by Nikkei Electronics

非特許文献1に示された距離計測方法は、いわゆる単眼レンズで距離計測ができるが、その計測範囲は焦点距離に依存する。すなわち焦点距離の短いレンズを用いた場合は近い位置の距離計測を行えるが遠方の距離計測には分解能が落ちてしまう問題があった。   The distance measurement method shown in Non-Patent Document 1 can measure distances with a so-called monocular lens, but the measurement range depends on the focal length. In other words, when a lens with a short focal length is used, distance measurement at a close position can be performed, but there is a problem that resolution decreases in distance measurement at a long distance.

この発明は、この問題を解消し、自車両と前方車両との間隔をいわゆるステレオ法ではなく単眼により距離計測を行い車両に容易に装着することができるとともに遠方にいる車両から近接する車両までの広範囲な距離を計測することができる撮像装置を提供することを目的とするものである。   The present invention solves this problem, and can measure the distance between the host vehicle and the preceding vehicle by a monocular instead of the so-called stereo method and can easily attach the vehicle to a vehicle from a distant vehicle to a nearby vehicle. An object of the present invention is to provide an imaging apparatus capable of measuring a wide range of distances.

この発明の撮像装置は、複数のレンズを同一基板上に有するレンズアレイと、該レンズアレイの各レンズを透過した光束を受光して被写体像を撮影する複数の撮像領域を有する撮像ユニットと、該撮像ユニットで撮影した被写体の画像の画像信号を処理する信号処理装置とを備えた撮像装置であって、前記レンズアレイの複数のレンズは互いに異なる焦点距離を有し、前記撮像ユニットは前記複数の撮像領域が同一平面上に設けられた単一のユニットであり、前記信号処理装置は、前記撮像ユニットの各撮像領域で撮影した画像の光軸からのずれ量と、あらかじめ設定されている前記撮像装置の路面からの高さ及び各レンズの焦点距離から前記撮像装置より前方の距離を算出することを特徴とする。 An image pickup apparatus according to the present invention includes a lens array having a plurality of lenses on the same substrate, an image pickup unit having a plurality of image pickup areas for receiving a light beam transmitted through each lens of the lens array and shooting a subject image, the imaging device and a signal processing apparatus for processing an image signal of an image of a subject captured by the imaging unit, the plurality of lenses of the lens array have different focal lengths from each other, the imaging unit includes a plurality The imaging region is a single unit provided on the same plane, and the signal processing device includes a deviation amount from an optical axis of an image captured in each imaging region of the imaging unit, and the preset imaging The distance ahead of the imaging device is calculated from the height of the device from the road surface and the focal length of each lens.

前記レンズアレイと前記撮像ユニットの間に、前記レンズアレイの各レンズを通過する各光束に応じて複数に領域分離されたフィルタを有し、該フィルタの少なくともいずれか1つは垂直偏光成分を透過する偏光子領域を有し、前記撮像ユニットで撮影した垂直偏光画像から前記撮像装置より前方の距離を算出することを特徴とする。   Between the lens array and the imaging unit, there is a filter that is divided into a plurality of regions according to each light beam passing through each lens of the lens array, and at least one of the filters transmits a vertically polarized component And a distance ahead of the imaging device is calculated from a vertically polarized image captured by the imaging unit.

前記レンズアレイの各レンズを透過した光束毎に分離して前記フィルタに入射する遮光手段を有することが望ましい。   It is desirable to have a light-shielding unit that separates each light beam transmitted through each lens of the lens array and enters the filter.

また、前記フィルタの偏光子領域は、透明基板上に屈折率が異なる複数の透明材料を積層した多層構造体からなり、各層毎に一方向に繰り返される1次元周期的な凹凸形状を有することを特徴とする。   In addition, the polarizer region of the filter is formed of a multilayer structure in which a plurality of transparent materials having different refractive indexes are stacked on a transparent substrate, and has a one-dimensional periodic uneven shape that is repeated in one direction for each layer. Features.

さらに、前記フィルタの偏光子領域を、ワイヤグリッド型偏光子により構成しても良い。   Furthermore, the polarizer region of the filter may be constituted by a wire grid polarizer.

この発明は、1つの撮像装置で前方までの距離を所謂ステレオ法ではなく単眼により測定することにより、撮像装置の小型化を図ることができ、車両に搭載して前方車両までの車間距離を精度良く測定することができ、ドライバに事前に注意情報を知らせることができる。   The present invention can reduce the size of the imaging device by measuring the distance to the front with a single eye instead of the so-called stereo method with one imaging device. It is possible to measure well and to inform the driver of attention information in advance.

また、焦点距離の異なる複数のレンズを有するレンズアレイからの情報により距離計測を行うため、遠方から近いところまでの広範囲の距離計測を精度良く行うことができる。   In addition, since distance measurement is performed based on information from a lens array having a plurality of lenses having different focal lengths, a wide range of distance measurement from far to near can be performed with high accuracy.

さらに、路面の垂直偏光画像を利用して距離計測を行うことにより、太陽光の反射の影響を低減した状態で路面を撮影することができ、安定して距離計測を行うことができる。   Furthermore, by performing distance measurement using a vertically polarized image of the road surface, the road surface can be photographed in a state where the influence of sunlight reflection is reduced, and distance measurement can be performed stably.

また、フィルタの偏光子領域を、透明基板上に屈折率が異なる複数の透明材料を積層した多層構造体で形成し、各層毎に一方向に繰り返される1次元周期的な凹凸形状を有することにより、偏光子領域を高精度で作製することができる。   Also, the polarizer region of the filter is formed of a multilayer structure in which a plurality of transparent materials having different refractive indexes are laminated on a transparent substrate, and has a one-dimensional periodic uneven shape that is repeated in one direction for each layer. The polarizer region can be produced with high accuracy.

図1と図2、はこの発明の撮像装置100の光学系の概略構成を示し、図1は分解斜視図、図2は断面図である。図に示すように、撮像装置100の光学系1は、路面の状態を撮像するものであり、レンズアレイ2と遮光スペーサ3と偏光フィルタ4とスペーサ5及び固体撮像ユニット6が積層されて形成されている。   1 and 2 show a schematic configuration of an optical system of an imaging apparatus 100 according to the present invention, FIG. 1 is an exploded perspective view, and FIG. 2 is a sectional view. As shown in the figure, the optical system 1 of the image pickup apparatus 100 picks up an image of a road surface, and is formed by laminating a lens array 2, a light shielding spacer 3, a polarizing filter 4, a spacer 5, and a solid-state image pickup unit 6. ing.

レンズアレイ2は、2つのレンズ21a,21bを有する。この2つのレンズ21a,21bは互いに独立し、レンズ21aは焦点距離f1、レンズ21bは焦点距離f2(f2>f1)と焦点距離が異なる単レンズ又はレンズ群で形成され、光軸7a,7bを平行にして配置している。ここでレンズ21a,21bの光軸7a,7bと平行な方向をZ軸、Z軸に垂直な一方向をX軸、Z軸とX軸に垂直な方向をY軸とすると、レンズ21a,21bは、同一のXY平面上に配置されている。   The lens array 2 has two lenses 21a and 21b. The two lenses 21a and 21b are independent from each other, the lens 21a is formed by a single lens or a lens group having a focal length different from the focal length f2 (f2> f1), and the optical axes 7a and 7b are arranged. They are arranged in parallel. Here, assuming that the direction parallel to the optical axes 7a and 7b of the lenses 21a and 21b is the Z axis, one direction perpendicular to the Z axis is the X axis, and the direction perpendicular to the Z axis and the X axis is the Y axis, the lenses 21a and 21b. Are arranged on the same XY plane.

遮光スペーサ3は、2つの開口部31a,31bを有し、レンズアレイ2に対して被写体側とは反対側に設けられている。2つの開口部31a,31bは光軸7a,7bをそれぞれ中心として所定の大きさで貫通され、内壁面には黒塗りや粗面やつや消しなどにより光の反射防止処理がされている。   The light-shielding spacer 3 has two openings 31a and 31b, and is provided on the side opposite to the subject side with respect to the lens array 2. The two openings 31a and 31b are penetrated with a predetermined size centering on the optical axes 7a and 7b, respectively, and the inner wall surface is subjected to antireflection treatment of light by blacking, roughing or matting.

偏光フィルタ4は、偏光面が90度異なる2つの偏光子領域41a,41bを有し、遮光スペーサ3に対してレンズアレイ2とは反対側に設けられている。2つの偏光子領域41a,41bはそれぞれ光軸7a,7bを中心としてXY平面と平行に設けられている。この偏光子領域41a,41bは、不特定の方向に電磁界が振動する無偏光を、偏光面に沿った方向の振動成分だけを透過させて直線偏光にする。   The polarizing filter 4 has two polarizer regions 41 a and 41 b having a polarization plane different by 90 degrees, and is provided on the opposite side of the light blocking spacer 3 from the lens array 2. The two polarizer regions 41a and 41b are provided in parallel with the XY plane around the optical axes 7a and 7b, respectively. The polarizer regions 41a and 41b convert non-polarized light whose electromagnetic field vibrates in unspecified directions into linearly polarized light by transmitting only vibration components in the direction along the polarization plane.

スペーサ5は、偏光フィルタ4の偏光子領域41a,41bに対応する領域が貫通した開口部51を有する矩形枠状に形成され、偏光フィルタ4に対して遮光スペース3とは反対側に設けられている。   The spacer 5 is formed in a rectangular frame shape having an opening 51 through which regions corresponding to the polarizer regions 41 a and 41 b of the polarizing filter 4 pass, and is provided on the side opposite to the light shielding space 3 with respect to the polarizing filter 4. Yes.

固体撮像ユニット6は、信号処理部8を有する基板61上に搭載された2つの固体撮像素子62a,62bを有し、スペーサ5に対して偏光フィルタ4とは反対側に設けられている。2つの固体撮像素子62a,62bの実際に被写体像が結像する撮像領域はそれぞれ光軸7a,7bを中心としてXY平面と平行な同一平面上に設けられている。この固体撮像素子62a,62bは白黒のセンシングを行う場合は内部にカラーフィルタを有しなく、カラー画像のセンシングを行う場合は、カラーフィルタを前段に配置してやれば良い。   The solid-state imaging unit 6 has two solid-state imaging elements 62 a and 62 b mounted on a substrate 61 having a signal processing unit 8, and is provided on the opposite side of the polarization filter 4 with respect to the spacer 5. Imaging regions where the subject images are actually formed by the two solid-state imaging devices 62a and 62b are provided on the same plane parallel to the XY plane with the optical axes 7a and 7b as the centers. The solid-state imaging devices 62a and 62b do not have a color filter inside when performing monochrome sensing, and a color filter may be disposed at the previous stage when sensing a color image.

このように撮像装置100の光学系1は路面から垂直偏光画像と水平偏光画像を撮影する2系統の光学系を有し、固体撮像素子62a,62bの撮像領域にゴミなどの異物が入らないようにレンズアレイ2から固体撮像ユニット6までの間が密閉されている。   As described above, the optical system 1 of the image pickup apparatus 100 has two optical systems for taking a vertically polarized image and a horizontally polarized image from the road surface so that foreign matters such as dust do not enter the image pickup regions of the solid-state image pickup devices 62a and 62b. The space from the lens array 2 to the solid-state imaging unit 6 is sealed.

この撮像装置100の固体撮像ユニット6の基板61に設けられた信号処理部8は、図3のブロック図に示すように、信号前処理部81a,81bと画像メモリ82a,82bと距離演算部83と演算処理部84と路面状態判別部85と路面情報記憶部86と路面情報認識部87及び出力部88を有する。信号前処理部81a,81bは固体撮像ユニット6の個体撮像素子62a,62bから出力された画像信号の感度むら等を補正するシェーディング補正等を行って路面の垂直偏光画像と水平偏光画像を画像メモリ82a,82bに格納する。距離演算部83は画像メモリ2a,2bに格納された垂直偏光画像と水平偏光画像のいずれか一方を利用して撮像装置から前方位置まで距離を演算する。演算処理部84は画像メモリ82a,82bに格納された垂直偏光画像と水平偏光画像との偏向比を演算する。路面状態判別部85は演算処理部84で演算した偏光比により路面の状態を判定する。路面情報記憶部86には路面上に記載する文字や標識があらかじめ格納されている。路面情報認識部87は画像メモリ82a,82bのいずれか又は両方の画像、例えば画像メモリ82aに格納された画像を取り込み、路面情報記憶部86に記憶した文字や標識と照合して文字や標識を認識する。出力部88は距離演算部83で演算した前方位置までの距離と路面情報判別部85で判定した路面の状態及び路面情報認識部87で認識した文字や標識を不図示の表示装置に出力する。   As shown in the block diagram of FIG. 3, the signal processing unit 8 provided on the substrate 61 of the solid-state imaging unit 6 of the imaging apparatus 100 includes signal preprocessing units 81 a and 81 b, image memories 82 a and 82 b, and a distance calculation unit 83. An arithmetic processing unit 84, a road surface state determination unit 85, a road surface information storage unit 86, a road surface information recognition unit 87, and an output unit 88. The signal preprocessors 81a and 81b perform shading correction and the like for correcting the sensitivity unevenness of the image signals output from the individual image pickup devices 62a and 62b of the solid-state image pickup unit 6 so that the vertically polarized image and the horizontally polarized image of the road surface are stored in the image memory. 82a and 82b. The distance calculation unit 83 calculates the distance from the imaging device to the front position using either the vertically polarized image or the horizontally polarized image stored in the image memories 2a and 2b. The arithmetic processing unit 84 calculates the deflection ratio between the vertically polarized image and the horizontally polarized image stored in the image memories 82a and 82b. The road surface state determination unit 85 determines the road surface state based on the polarization ratio calculated by the arithmetic processing unit 84. The road surface information storage unit 86 stores characters and signs to be written on the road surface in advance. The road surface information recognition unit 87 captures one or both of the image memories 82a and 82b, for example, an image stored in the image memory 82a, and compares the characters and signs stored in the road surface information storage unit 86 with the characters and signs. recognize. The output unit 88 outputs the distance to the front position calculated by the distance calculation unit 83, the road surface state determined by the road surface information determination unit 85, and the characters and signs recognized by the road surface information recognition unit 87 to a display device (not shown).

この撮像装置100の光学系1の各構成要素について詳細に説明する。   Each component of the optical system 1 of the imaging apparatus 100 will be described in detail.

光学系1のレンズアレイ2は、図4(a)に示すリフロー法や、(b)に示すイオン拡散法、(c)に示すインクジェット法、(d)に示すグレイスケールマスク法等で作製する。図4(a)に示すリフロー法は、ガラス基板211の表面にフォトリソグラフィにより円柱状のフォトレジストパターン212を作製した後、透明基板211を加熱してレジストを流動させ、表面張力によりレンズ形状213を作製する方法である。また、図4(b)に示すイオン拡散法は、レンズ形状に合わせたマスクを形成したガラス基板211にTlなどのイオンを拡散させて段階的な屈折率変化をもたせる方法である。図4(c)に示すインクジェット法は、インクジェットプリンタヘッド214を利用して微量の樹脂材料215を所定の位置に滴下し、表面張力によりレンズ形状を作製する。これらの方法は、表面張力やイオンの拡散により自然に生じる形状や屈折率分布をレンズとして利用している。また、図4(d)に示すグレイスケールマスク法は、グレイスケールマスク216に与えた透過率分布によってガラス基板211に形成したレジスト217の形状をコントロールしてレンズ形状213を形成する。この方法は他の方法に比べて様々な形状を作製できる。 The lens array 2 of the optical system 1 is manufactured by the reflow method shown in FIG. 4A, the ion diffusion method shown in FIG. 4B, the ink jet method shown in FIG. 4C, the gray scale mask method shown in FIG. . In the reflow method shown in FIG. 4A, a cylindrical photoresist pattern 212 is produced on the surface of a glass substrate 211 by photolithography, and then the transparent substrate 211 is heated to cause the resist to flow, and the lens shape 213 is caused by surface tension. It is a method of producing. In addition, the ion diffusion method shown in FIG. 4B is a method in which ions such as Tl + are diffused in a glass substrate 211 on which a mask matched to the lens shape is formed to cause a stepwise change in refractive index. In the ink jet method shown in FIG. 4C, a small amount of resin material 215 is dropped at a predetermined position using an ink jet printer head 214, and a lens shape is produced by surface tension. These methods use the shape and refractive index distribution that occur naturally by surface tension and ion diffusion as lenses. In the gray scale mask method shown in FIG. 4D, the lens shape 213 is formed by controlling the shape of the resist 217 formed on the glass substrate 211 by the transmittance distribution given to the gray scale mask 216. This method can produce various shapes compared to other methods.

図4に示すリフロー法やグレイスケールマスク法では、フォトレジストでレンズ形状を作製するところまでを示しているが、通常フォトレジストで作製したレンズはそのままでは透過率不足や湿度や光照射に対する耐性が弱い等の問題があるため、異方性ドライエッチングによりレジストパターンを基板材料に転写してから利用される。しかしながら,異方性ドライエッチングプロセスではレジスト形状とエッチング後の形状で大きな形状変化が生じる場合があり、目的の形状に対して誤差の少ないレンズを作製するのは困難であった。また、この形状変化はエッチング装置の種類、エッチング条件、基板材料の種類によって変化する。特に、レンズを評価する上で重要なパラメータである透過率と波長範囲、屈折率は基板の種類によって制限されるため,様々な基板材料に対して高い形状精度を持つレンズを作製できるようにすることは重要である。   The reflow method and the gray scale mask method shown in FIG. 4 show that the lens shape is made with a photoresist, but a lens made with a photoresist usually has insufficient transmittance and resistance to humidity and light irradiation. Since there are problems such as weakness, the resist pattern is used after being transferred to the substrate material by anisotropic dry etching. However, in the anisotropic dry etching process, a large shape change may occur between the resist shape and the shape after etching, and it is difficult to produce a lens with little error with respect to the target shape. Further, this shape change varies depending on the type of etching apparatus, etching conditions, and the type of substrate material. In particular, since the transmittance, wavelength range, and refractive index, which are important parameters for evaluating a lens, are limited by the type of substrate, it is possible to manufacture a lens having high shape accuracy for various substrate materials. That is important.

また、通常のレンズ作製に用いられる研磨や、金型を作製して樹脂材を封入するモールド法を用いても良い。また、図5(a)に示すように、複数枚のレンズアレイ22をスペーサ23などを介して積層して焦点距離がf1,f2と異なるレンズ21a,21bを形成しても良い。このように複数枚のレンズアレイ22を組み合わせることにより、各レンズの形状を簡素化して用に作製することができる。また、図5(b)に示すように、複数枚のレンズアレイ22のレンズ形状を変えてやっても良い。例えば、偏光方向に応じて入射光量が異なるためアイリス調整をレンズ開口を変えてやっても良い。   Moreover, you may use the grinding | polishing used for normal lens manufacture, or the mold method which manufactures a metal mold | die and encloses a resin material. Further, as shown in FIG. 5A, a plurality of lens arrays 22 may be stacked via a spacer 23 or the like to form lenses 21a and 21b having focal lengths different from f1 and f2. By combining a plurality of lens arrays 22 in this way, the shape of each lens can be simplified and manufactured for use. Further, as shown in FIG. 5B, the lens shape of the plurality of lens arrays 22 may be changed. For example, since the amount of incident light varies depending on the polarization direction, iris adjustment may be performed by changing the lens aperture.

また、1つの撮像素子に対して複数のレンズで撮影させる方法は複眼方式として知られている。このような複眼方式は撮像装置を薄型化する方法として知られている。すなわち、レンズ系を介して被写体像を固体撮像素子上に結像して画像化する撮像装置はデジタルスチル撮像装置や携帯電話用撮像装置などに広く用いられている。近年、撮像装置には高画素化と薄型化の両立が求められている。一般に画素数の増大とともにレンズ系に高解像性が要求されるために、撮像装置の光軸方向の厚みが大きくなる傾向がある。これに対して撮像素子の画素ピッチを小さくして同一画素数でも撮像素子のサイズを小さくすることによってレンズ系のスケールダウンを可能にし、高画素化と薄型化とが両立された撮像装置を実現する試みが取り組まれている。しかしながら、固体撮像素子の感度と飽和出力とは画素サイズに比例するために、画素ピッチの縮小化については限界がある。撮像装置としては、光軸に沿って1又は2以上のレンズが配置された1つのレンズ系と、この光軸上に配置された1つの固体撮像素子とからなる、いわゆる単眼式が一般的である。これに対して、近年、撮像装置の薄型化を図るために、同一平面上に配置された複数のレンズ系と、この複数のレンズ系に一対一に対応して同一平面上に配置された複数の撮像領域とからなる撮像装置が提案されている。この撮像装置は、対をなす1つのレンズ系と1つの撮像領域とを含む撮像ユニットを複数備えることから複眼式と呼ばれている。このような複眼式の撮像装置は例えば特許第3397758号公報などに記載され、高画素化と薄型化を図ることができる。したがってレンズアレイ2に2つのレンズ21a,21bを設け、レンズ21a,21bに入射して偏光フィルタ4の偏光子領域41a,41bを透過して固体撮像ユニット6の固体撮像素子62a,62bに入射した光に得た画像を合成することにより高画質の画像を得ることができるともに薄型化を図ることができる。   Further, a method of photographing with a plurality of lenses with respect to one image sensor is known as a compound eye system. Such a compound eye system is known as a method for thinning an imaging apparatus. That is, an image pickup apparatus that forms an image of a subject image on a solid-state image pickup device via a lens system is widely used in a digital still image pickup apparatus, an image pickup apparatus for a mobile phone, and the like. In recent years, imaging devices are required to achieve both high pixel count and thin thickness. In general, as the number of pixels increases, the lens system is required to have high resolution, and thus the thickness of the imaging device in the optical axis direction tends to increase. On the other hand, by reducing the pixel pitch of the image sensor and reducing the size of the image sensor even with the same number of pixels, it is possible to scale down the lens system and realize an image pickup device that achieves both high pixel count and thinning. An attempt to do so is underway. However, since the sensitivity and saturation output of the solid-state imaging device are proportional to the pixel size, there is a limit to reducing the pixel pitch. A so-called monocular system is generally used as an imaging device, which includes one lens system in which one or more lenses are arranged along an optical axis and one solid-state imaging device arranged on the optical axis. is there. On the other hand, in recent years, in order to reduce the thickness of the imaging apparatus, a plurality of lens systems arranged on the same plane and a plurality of lenses arranged on the same plane corresponding to the plurality of lens systems on a one-to-one basis. There has been proposed an imaging apparatus including a plurality of imaging areas. This imaging apparatus is called a compound eye type because it includes a plurality of imaging units including a pair of lens systems and a single imaging region. Such a compound eye type imaging apparatus is described in, for example, Japanese Patent No. 3397758, and can achieve high pixels and thinning. Accordingly, the lens array 2 is provided with two lenses 21 a and 21 b, enters the lenses 21 a and 21 b, passes through the polarizer regions 41 a and 41 b of the polarization filter 4, and enters the solid-state imaging devices 62 a and 62 b of the solid-state imaging unit 6. By synthesizing images obtained with light, a high-quality image can be obtained and the thickness can be reduced.

次に偏光フィルタ4の偏光子領域41a,41bについて図6の斜視図を参照して説明する。偏光子領域41a,41bは、例えばフォトニック結晶からなる偏光子からなり、図6に示すように、周期的な溝列を形成した透明基板411上に、透明で高屈折率の媒質層412と低屈折率の媒質層413とを界面の形状を保存しながら交互に積層して形成されている。この高屈折率の媒質層412と低屈折率の媒質層413の各層は、図6に示すように、透明基板411の溝列と直交するX方向に周期性を持つが、溝列と平行なY方向には一様であっても良いし、X方向より大きい長さの周期的または非周期的な構造を有していても良い。このような微細な周期構造(フォトニック結晶)は、特開平10−335758号公報などに記載されてなる自己クローニング技術と呼ばれる方式を用いることにより、再現性良く且つ高い均一性で作製することができる。   Next, the polarizer regions 41a and 41b of the polarizing filter 4 will be described with reference to the perspective view of FIG. The polarizer regions 41a and 41b are made of a polarizer made of, for example, a photonic crystal, and as shown in FIG. 6, a transparent high refractive index medium layer 412 and a transparent substrate 411 on which periodic groove arrays are formed. The low refractive index medium layers 413 are alternately stacked while preserving the shape of the interface. As shown in FIG. 6, each of the high refractive index medium layer 412 and the low refractive index medium layer 413 has periodicity in the X direction orthogonal to the groove rows of the transparent substrate 411, but is parallel to the groove rows. It may be uniform in the Y direction, or may have a periodic or aperiodic structure with a length greater than the X direction. Such a fine periodic structure (photonic crystal) can be produced with high reproducibility and high uniformity by using a method called a self-cloning technique described in JP-A-10-335758. it can.

このフォトニック結晶からなる偏光子領域41a,41bは、図7(a)の斜視図に示すように、光軸7a,7bと平行なZ軸と、Z軸と直交するXY軸を有する直交座標系において、XY面に平行な1つの基板411の上に2種以上の透明材料をZ軸方向に交互に積層した多層構造体、例えばTaとSiOの交互多層膜からななり、偏光子領域41a,41bは各膜が凹凸形状を有しており、この凹凸形状はXY面内の一つの方向に周期的に繰り返されて形成されている。そして偏光子領域41aは、図7(b)に示すように、溝の方向がY軸方向に対して平行であり、偏光子領域41bは溝の方向がX軸方向に対して平行であり、偏光子領域41aと偏光子領域41bで溝の方向が90度異なって形成されている。すなわちXY面に入射される入力光から、偏光子領域41aと偏光子領域41bによって偏光方向が異なる偏光成分を透過させるとともに、偏光子領域41aと偏光子領域41bでそれぞれ等量の無偏光成分を透過させるようになっている。なお、偏光フィルタ4に2種類の凹凸形状の溝を設けたが、凹凸形状の溝方向は複数種類でも良い。このように偏光子領域41a,41bをフォトニック結晶で形成することにより、紫外線劣化などに優れて長期間安定して使用することができる。 As shown in the perspective view of FIG. 7A, the polarizer regions 41a and 41b made of the photonic crystal are orthogonal coordinates having a Z axis parallel to the optical axes 7a and 7b and an XY axis orthogonal to the Z axis. The system comprises a multilayer structure in which two or more transparent materials are alternately laminated in the Z-axis direction on one substrate 411 parallel to the XY plane, for example, an alternating multilayer film of Ta 2 O 5 and SiO 2 . Each film | membrane has uneven | corrugated shape in polarizer area | region 41a, 41b, and this uneven | corrugated shape is periodically repeated in one direction in XY plane, and is formed. As shown in FIG. 7B, the polarizer region 41a has a groove direction parallel to the Y-axis direction, and the polarizer region 41b has a groove direction parallel to the X-axis direction. The directions of the grooves are different by 90 degrees between the polarizer region 41a and the polarizer region 41b. That is, from the input light incident on the XY plane, the polarization components having different polarization directions are transmitted by the polarizer region 41a and the polarizer region 41b, and equal amounts of non-polarized components are respectively transmitted by the polarizer region 41a and the polarizer region 41b. It is designed to be transparent. Note that, although two types of concave and convex grooves are provided in the polarizing filter 4, a plurality of concave and convex grooves may be provided. Thus, by forming the polarizer regions 41a and 41b with a photonic crystal, the polarizer regions 41a and 41b can be used stably for a long period of time with excellent ultraviolet deterioration.

この偏光子領域41a,41bの開口面積や透過軸は、はじめに透明基板411に加工する溝パターンの大きさや方向で自由に設計することができる。この溝パターンのパターン形成は、電子ビームリソグラフィやフォトリソグラフィ、干渉露光法、ナノプリンティングなど様々な方法で行うことができる。いずれの場合でも、微小領域ごとに溝の方向を高精度に定めることができる。そのため、透過軸の異なる微小偏光子を組み合わせた偏光子領域と、更にそれを複数並べた偏光子を形成することが可能となる。また、凹凸パターンを持つ特定の領域のみが偏光子の動作をするため、その周辺の領域を平坦あるいは、面内で等方的な凹凸パターンにしておけば偏波依存性のない媒質として光は透過する。したがって、特定の領域にのみ偏光子を作りこむことができる。   The opening areas and transmission axes of the polarizer regions 41a and 41b can be freely designed according to the size and direction of the groove pattern to be processed on the transparent substrate 411 first. The groove pattern can be formed by various methods such as electron beam lithography, photolithography, interference exposure, and nanoprinting. In any case, the direction of the groove can be determined with high accuracy for each minute region. Therefore, it is possible to form a polarizer region in which micropolarizers having different transmission axes are combined, and a polarizer in which a plurality of polarizer regions are arranged. In addition, since only a specific region having a concavo-convex pattern operates as a polarizer, if the peripheral region is flat or isotropic concavo-convex pattern in the plane, light can be used as a medium having no polarization dependency. To Penetrate. Therefore, a polarizer can be formed only in a specific region.

偏光フィルタ4の偏光子領域41a,41bはいずれかの溝方向は路面と平行に配置されるように撮像装置を配置して、偏光子領域41a,41bで路面反射光の垂直偏光画像と水平偏光画像を取得する。   An imaging device is arranged in the polarizer regions 41a and 41b of the polarization filter 4 so that either groove direction is parallel to the road surface, and the vertically polarized image and the horizontal polarization of the road surface reflected light in the polarizer regions 41a and 41b. Get an image.

次に遮光スペーサ3の作製方法を図8の斜視図を参照して説明する。図8(a)に示すように、銀を含有した感光性のガラス基板311の外表面に紫外線を遮光する塗料312を塗布し、遮光壁32を形成しようとする部分312ではパターニングにより塗料312を取り除く。この感光性ガラス311に紫外線を照射した後、塗料312を除去する。この紫外線の照射により、図8(b)に示すように、ガラス基板311のうち紫外線が直接照射された遮光壁を形成しようとする部分312に銀が析出し、黒化して遮光部313が形成される。この遮光部313は遮光壁32を形成しようとする部分312のガラスの内部にも形成される。この状態でガラス基板311の遮光壁32を形成しようとする部分312以外を機械加工やエッチングにより除去して、図8(c)に示すように2つの開口部31a,31bと遮光部313を有する遮光壁32とを形成する。このようにして2つの開口部31a,31bを有する遮光スペーサ3を容易に作製することができる。この遮光スペース3の開口部31a,31bを偏光フィルタ2の偏光子領域41a,41bに対応して配置することにより隣接する偏光子領域に光が漏れ出すことを確実に防止することができる。また、各開口部31a,31bの内壁面が黒化しているから内壁面で反射した迷光が固体撮像ユニット6の固体撮像素子62a,62bに入射することを避けることができる。   Next, a manufacturing method of the light shielding spacer 3 will be described with reference to a perspective view of FIG. As shown in FIG. 8A, a coating 312 for shielding ultraviolet rays is applied to the outer surface of a photosensitive glass substrate 311 containing silver, and the coating 312 is formed by patterning in a portion 312 where the light shielding wall 32 is to be formed. remove. After the photosensitive glass 311 is irradiated with ultraviolet rays, the paint 312 is removed. By this ultraviolet irradiation, as shown in FIG. 8B, silver is deposited on the portion 312 of the glass substrate 311 where the ultraviolet light is directly irradiated to form the light shielding wall, and is blackened to form the light shielding portion 313. Is done. The light shielding portion 313 is also formed inside the glass of the portion 312 where the light shielding wall 32 is to be formed. In this state, portions other than the portion 312 where the light shielding wall 32 of the glass substrate 311 is to be formed are removed by machining or etching, and two openings 31a and 31b and a light shielding portion 313 are provided as shown in FIG. A light shielding wall 32 is formed. In this way, the light-shielding spacer 3 having the two openings 31a and 31b can be easily manufactured. By arranging the openings 31a and 31b of the light shielding space 3 corresponding to the polarizer regions 41a and 41b of the polarizing filter 2, it is possible to reliably prevent light from leaking into the adjacent polarizer regions. Moreover, since the inner wall surfaces of the openings 31a and 31b are blackened, stray light reflected by the inner wall surfaces can be prevented from entering the solid-state imaging elements 62a and 62b of the solid-state imaging unit 6.

次に、この撮像装置100を自動車等の車両に装着して、自車両から前方車両までの車間距離を測定するときの処理を図9の模式図を参照して説明する。   Next, processing when the imaging apparatus 100 is mounted on a vehicle such as an automobile and the distance between the host vehicle and the preceding vehicle is measured will be described with reference to the schematic diagram of FIG.

まず、撮像装置の偏光フィルタ4の偏光子領域41a,41bの内いずれか一方、例えば偏光子領域41bの溝方向が路面と平行になるように撮像装置100を配置して車両に装着して前方車両200が存在している位置の路面の画像を撮影する。この撮影によりレンズアレイ2のレンズ21a,21bに入射して偏光フィルタ4の偏光子領域41a,41bを透過して固体撮像ユニット6の固体撮像素子62a,62bに入射した光により前方車両が存在している位置の路面の画像が画像メモリ82a,82bに格納されると、距離計測部83は、画像メモリ82aに格納された固体撮像ユニット6の固体撮像素子62aにレンズ21aで投影された前方車両200が存在している位置の路面の画像を画像メモリ82aから読み出し、読み出した画像の光軸7aからの距離と、あらかじめ設定されている撮像装置100の路面からの高さy及び例えばレンズ21aの焦点距離f1から、自車両から前方車両200が存在している位置までの距離xを三角形の相似から下記式で算出する。
x=f1・y/z
このようにして前方車両200までの車間距離xを測定することができる。この距離xの計測範囲はレンズ21a,21bの焦点距離f1,f2に依存する。すなわち焦点距離が短いレンズを用いた場合は近い位置の距離計測が行え、遠方の計測には分解能が落ちてしまう。これに対してレンズアレイ2に焦点距離が異なるレンズ21a,21bの2系統の光学系を設け、遠方に対しては焦点距離が長いレンズ21bの光学系で撮影した画像を利用し、近いところでは焦点距離が短いレンズ21aの光学系で撮影した画像を用いて前方車両200までの車間距離xを検出することにより遠方にいる前方車両200から近接する前方車両200までの広範囲な距離を計測することができる。例えば車両が走行中は焦点距離が長いレンズ21bの光学系で撮影した画像を利用し、停止するときあるいは走行を開始するときは焦点距離が短いレンズ21aの光学系で撮影した画像を利用すれば良い。あるいは車両の速度により焦点距離が長いレンズ21bの光学系と焦点距離が短いレンズ21aの光学系を切り替えても良い。
First, one of the polarizer regions 41a and 41b of the polarizing filter 4 of the imaging device, for example, the imaging device 100 is arranged so that the groove direction of the polarizer region 41b is parallel to the road surface, and is mounted on the vehicle. An image of the road surface at the position where the vehicle 200 exists is taken. By this photographing, there is a vehicle ahead by the light incident on the lenses 21 a and 21 b of the lens array 2, transmitted through the polarizer regions 41 a and 41 b of the polarization filter 4 and incident on the solid-state imaging devices 62 a and 62 b of the solid-state imaging unit 6. When the image of the road surface at the current position is stored in the image memories 82a and 82b, the distance measuring unit 83 projects the front vehicle projected by the lens 21a onto the solid-state imaging device 62a of the solid-state imaging unit 6 stored in the image memory 82a. 200 is read from the image memory 82a, the distance from the optical axis 7a of the read image, the height y from the road surface of the imaging device 100 set in advance and the lens 21a, for example, A distance x from the own vehicle to the position where the preceding vehicle 200 exists is calculated from the focal distance f1 by the following formula from the similarity of the triangle.
x = f1 · y / z
In this way, the inter-vehicle distance x to the preceding vehicle 200 can be measured. The measurement range of the distance x depends on the focal lengths f1 and f2 of the lenses 21a and 21b. That is, when a lens with a short focal length is used, the distance measurement at a close position can be performed, and the resolution is deteriorated for the measurement at a long distance. In contrast to this, the lens array 2 is provided with two optical systems of lenses 21a and 21b having different focal lengths, and an image photographed by the optical system of the lens 21b having a long focal length is used for a far distance, and in the near place. By measuring an inter-vehicle distance x to the front vehicle 200 using an image captured by the optical system of the lens 21a having a short focal length, a wide range distance from the far front vehicle 200 to the adjacent front vehicle 200 is measured. Can do. For example, when the vehicle is running, an image taken with the optical system of the lens 21b having a long focal length is used, and when stopping or starting running, an image taken with the optical system of the lens 21a having a short focal length is used. good. Or you may switch the optical system of the lens 21b with a long focal distance, and the optical system of the lens 21a with a short focal distance by the speed of a vehicle.

次に、撮像装置100で路面の状態を検出するときの動作を説明する。   Next, an operation when the imaging apparatus 100 detects a road surface state will be described.

まず、撮像装置100の偏光フィルタ4の偏光子領域41a,41bの内いずれか一方、例えば偏光子領域41bの溝方向が路面と平行になるように撮像装置を配置して例えば車両に装着して路面の撮影を行う。この撮影によりレンズアレイ2のレンズ21aに入射した光は遮光スペーサ3を介して偏光フィルタ4の偏光子領域41aに入射し、偏光子領域41aで垂直偏光成分の光のみを固体撮像ユニット6の固体撮像素子92aに入射する。また、レンズアレイ2のレンズ21bに入射した光は遮光スペーサ3を介して偏光フィルタ4の偏光子領域41bに入射し、偏光子領域41bで水平偏光成分の光のみを固体撮像ユニット6の固体撮像素子92bに入射する。固体撮像素子92a,92bで撮影された画像信号は信号処理部8の信号前処理部81a,81bで処理されて垂直偏光画像と水平偏光画像がそれぞれ画像メモリ82a,82bに格納される。演算処理部84は画像メモリ82a,82bに格納された垂直偏光画像と水平偏光画像の偏光比を演算して路面状態判別部85に出力する。路面状態判別部85は入力した垂直偏光画像と水平偏光画像の偏光比の大小から路面の湿潤状態を判別し、入力した垂直偏光画像と水平偏光画像の偏光比とあらかじめ設定された基準値とを比較して入力した偏光比が基準値を超えているか否により路面の欠陥の有無を判別する。   First, the imaging device is arranged such that one of the polarizer regions 41a and 41b of the polarizing filter 4 of the imaging device 100, for example, the groove direction of the polarizer region 41b is parallel to the road surface, and is mounted on a vehicle, for example. Shoot the road surface. The light incident on the lens 21a of the lens array 2 by this photographing enters the polarizer region 41a of the polarizing filter 4 through the light shielding spacer 3, and only the light of the vertical polarization component is emitted from the polarizer region 41a to the solid state of the solid-state imaging unit 6. The light enters the image sensor 92a. Further, the light incident on the lens 21b of the lens array 2 enters the polarizer region 41b of the polarizing filter 4 through the light shielding spacer 3, and only the light of the horizontal polarization component is captured by the solid-state imaging unit 6 in the polarizer region 41b. Incident on element 92b. The image signals photographed by the solid-state imaging devices 92a and 92b are processed by the signal preprocessing units 81a and 81b of the signal processing unit 8, and the vertically polarized images and the horizontally polarized images are stored in the image memories 82a and 82b, respectively. The arithmetic processing unit 84 calculates the polarization ratio between the vertical polarization image and the horizontal polarization image stored in the image memories 82 a and 82 b and outputs the polarization ratio to the road surface state determination unit 85. The road surface state determination unit 85 determines the wet state of the road surface from the magnitude of the polarization ratio between the input vertical polarization image and the horizontal polarization image, and determines the polarization ratio between the input vertical polarization image and the horizontal polarization image and a preset reference value. The presence or absence of a road surface defect is determined based on whether or not the polarization ratio input in comparison exceeds a reference value.

この路面状態判別部85で路面の湿潤の判定処理について図10の模式図を参照して説明する。図10(a)に示すように、湿潤時の路面は表面の凹凸部分に水がたまることによって鏡面となり、この鏡面からの反射光は偏光特性を示す。この場合、反射光の垂直偏光成分と水平偏光成分の反射率をRs、Rpとすると、光強度Iの入射光に対する反射光強度Is,Ipは下記式で表され、その入射角依存性は図11に示すようになる。
Is=Rs・I
Ip=Rp・I
このように、鏡面における反射光の水平偏光成分は入射角がブリュースタ角(53.1度)に等しいとき反射光強度が零となり、垂直偏光成分は反射光強度が入射角の増大に伴って漸増する特性を示す。
A road surface wetness determination process by the road surface state determination unit 85 will be described with reference to the schematic diagram of FIG. As shown in FIG. 10 (a), the wet road surface becomes a mirror surface when water accumulates on the uneven portions of the surface, and the reflected light from this mirror surface exhibits polarization characteristics. In this case, if the reflectances of the vertical polarization component and the horizontal polarization component of the reflected light are Rs and Rp, the reflected light intensities Is and Ip with respect to the incident light of the light intensity I are expressed by the following equations, and the incident angle dependency is shown in FIG. 11 as shown.
Is = Rs · I
Ip = Rp · I
Thus, the horizontal polarization component of the reflected light at the mirror surface has a reflected light intensity of zero when the incident angle is equal to the Brewster angle (53.1 degrees), and the vertical polarized light component gradually increases as the incident angle increases. Show properties.

一方、図10(b)に示すように乾燥時の路面は表面が粗面であるため乱反射が支配的となり、反射光は偏光特性を示さず、各偏光成分の反射光強度はほぼ等しくなる(Rs=Rp)。したがって垂直偏光画像と水平偏光画像の輝度情報から、偏光特性に基づいて、路面水分に関する情報を抽出することが可能になる。   On the other hand, as shown in FIG. 10 (b), the road surface at the time of drying has a rough surface, so that irregular reflection is dominant, the reflected light does not show the polarization characteristics, and the reflected light intensity of each polarization component is almost equal ( Rs = Rp). Therefore, it is possible to extract information on road surface moisture from the luminance information of the vertically polarized image and the horizontally polarized image based on the polarization characteristics.

具体的には下記式に示すように、垂直偏光成分の反射光強度Isと水平偏光成分の反射光強度Ip、すなわち画像輝度の比Hを求める。
H=Is/Ip=Rs/Rp
この反射光強度Is,Ipの比Hは入射光強度Iに依存しなくなるため、外界の輝度変動の影響を除去しつつ、安定に偏光特性を抽出することが可能となる。
この偏光比Hの輝度平均値などを求め、その値の大小から路面の湿潤状態を判別する。例えば路面が乾燥している場合には、垂直偏光成分と水平偏光成分は略等しくなるため、偏光比Hは1前後の値となる。また、路面が完全に濡れている場合には、水平偏光成分は垂直偏光成分よりもかなり大きくなるため偏光比Hは大きな値となる。また、路面が僅かだけ濡れているような場合には、偏光比Hはこれらの中間値となる。したがって偏光比Hの値から路面の湿潤状態を算出することができる。
Specifically, as shown in the following formula, the reflected light intensity Is of the vertical polarization component and the reflected light intensity Ip of the horizontal polarization component, that is, the ratio H of the image luminance is obtained.
H = Is / Ip = Rs / Rp
Since the ratio H between the reflected light intensities Is and Ip does not depend on the incident light intensity I, it is possible to stably extract the polarization characteristic while removing the influence of the luminance fluctuation of the outside world.
A luminance average value of the polarization ratio H is obtained, and the wet state of the road surface is determined from the magnitude of the value. For example, when the road surface is dry, the vertical polarization component and the horizontal polarization component are substantially equal, so the polarization ratio H is about 1. In addition, when the road surface is completely wet, the horizontal polarization component is considerably larger than the vertical polarization component, so that the polarization ratio H is a large value. In addition, when the road surface is slightly wet, the polarization ratio H is an intermediate value thereof. Therefore, the wet state of the road surface can be calculated from the value of the polarization ratio H.

この路面状態判別部85で判別した路面の湿潤状態や欠陥の有無は出力部88から不図示の表示装置に出力して表示する。このようにして移動する車両で路面の湿潤状態を撮影することができ、スリップ注意などの注意情報を発することができる。   The wet state of the road surface determined by the road surface state determination unit 85 and the presence or absence of a defect are output from the output unit 88 to a display device (not shown) and displayed. In this way, the moving vehicle can take a picture of the wet state of the road surface, and can issue caution information such as a slip caution.

一方、路面情報認識部87は例えば画像メモリ82aに格納された垂直偏光画像を読み取り、読み取った画像と路面情報記憶部に記憶した文字や標識と比較して路面に表示された文字や標識を認識し、認識した文字や標識を出力部88から表示装置に出力して表示する。このようにして路面に表示された上限スピード表示や停止表示等の情報や車線を区画する白線等を確実に検知して、運転者に対してより高度の運転支援を行うことができる。   On the other hand, the road surface information recognition unit 87 reads, for example, a vertically polarized image stored in the image memory 82a, and recognizes characters and signs displayed on the road surface by comparing the read image with characters and signs stored in the road surface information storage unit. The recognized characters and signs are output from the output unit 88 to the display device and displayed. In this way, it is possible to reliably detect information such as an upper limit speed display and a stop display displayed on the road surface, a white line that divides the lane, and the like, and provide more advanced driving assistance to the driver.

この路面情報認識部87で垂直偏光画像を読み取る利点について、自動車の運転席部分を示す図12を参照して説明する。図12において、101はルームミラー、102は自動車の天井、103は自動車のフロントガラス、104はダッシュボード、104aはダッシュボードの上面部であり、撮像装置100はルームミラー101の裏面に装着されている。この自動車の運転席部分に太陽105からの光が入射してダッシュボード104の上面部104aで反射し、この反射光がフロントガラス103内面に入射し、ここで再び反射した反射光が撮像装置100に入射すると、撮像装置100で本来得られるべき画像のコントラストを著しく低下させてしまう、いわゆるフロントガラス103からの映り込み問題が発生していた。これはダッシュボード104の上面部104aに地図帳とかタオルなど反射率の高いものを置いた場合に特に顕著である。   The advantage of reading the vertically polarized image by the road surface information recognition unit 87 will be described with reference to FIG. In FIG. 12, 101 is a rearview mirror, 102 is a car ceiling, 103 is a car windshield, 104 is a dashboard, 104a is an upper surface of the dashboard, and the imaging device 100 is mounted on the rear surface of the room mirror 101. Yes. The light from the sun 105 enters the driver's seat of the automobile and is reflected by the upper surface portion 104a of the dashboard 104. The reflected light is incident on the inner surface of the windshield 103, and the reflected light reflected here again is the imaging device 100. When the light is incident on the image pickup device 100, there is a problem of reflection from the windshield 103 that significantly lowers the contrast of an image that should be originally obtained by the imaging apparatus 100. This is particularly noticeable when a highly reflective object such as a map book or towel is placed on the upper surface 104 a of the dashboard 104.

このようなガラスからの反射光は光の振動方向が一方向(水平偏光成分)のみの偏光になっているため、撮像装置100の路面情報認識部86で垂直偏光画像を取り出すことによりフロントガラス103からの映り込みの影響を低減した状態での路面状態の撮像が可能である。同様に太陽光に伴う路面反射光の成分のうち水平偏光成分をカットすることも可能である。   Since such reflected light from the glass is polarized light whose light vibration direction is only one direction (horizontal polarization component), the windshield 103 is obtained by taking out the vertically polarized image by the road surface information recognition unit 86 of the imaging device 100. It is possible to take an image of the road surface state in a state where the influence of reflection from the road is reduced. Similarly, it is also possible to cut a horizontal polarization component among the components of road surface reflected light accompanying sunlight.

前記説明では光フィルタ4の偏光子領域41a,41bを例えばフォトニック結晶で形成した場合について説明したが、偏光子領域41a,41bとしてワイヤグリッド型の偏光子を使用しても良い。このワイヤグリッド型の偏光子とは、細い金属ワイヤを周期的に配列することにより形成された偏光子であり、従来、電磁波のミリ波領域において多く用いられてきた偏光子である。ワイヤグリッド型偏光子の構造は、入力光の波長に比べて十分細い金属細線が波長に比べて十分に短い間隔で並んだ構造を有する。このような構造に光を入射した場合、金属細線に平行な偏光は反射され、それに直交する偏光は透過されることはすでに知られている。金属細線の方向については、1枚の基板内において領域ごとに独立に変化させて作製することができるため、ワイヤグリッド偏光子の特性を領域毎に変えることができる。これを利用すれば、偏光子領域41a,41b毎に透過軸の方向を変化させた構造とすることができる。   In the above description, the case where the polarizer regions 41a and 41b of the optical filter 4 are formed of, for example, a photonic crystal has been described. However, wire grid polarizers may be used as the polarizer regions 41a and 41b. This wire grid type polarizer is a polarizer formed by periodically arranging thin metal wires, and has been conventionally used in the millimeter wave region of electromagnetic waves. The structure of the wire grid polarizer has a structure in which fine metal wires that are sufficiently thin compared to the wavelength of the input light are arranged at intervals that are sufficiently short compared to the wavelength. It is already known that when light is incident on such a structure, polarized light parallel to the metal thin wire is reflected and polarized light orthogonal thereto is transmitted. With respect to the direction of the fine metal wire, since it can be produced by changing each region independently in one substrate, the characteristics of the wire grid polarizer can be changed for each region. If this is utilized, it can be set as the structure which changed the direction of the transmission axis for every polarizer area | region 41a, 41b.

このワイヤグリッドの作製方法としては、基板上に金属膜を形成し、リソグラフィによりパターニングを行うことで、細線状の金属を残すことができる。また、他の作製方法としては、リソグラフィにより基板に溝を形成し、この溝の方向とは直角で基板の法線から傾いた方向(基板面に斜めの方向)から真空蒸着により金属を成膜することで作製することができる。真空蒸着では蒸着源から飛来する粒子はその途中で他の分子もしくは原子にほとんど衝突することはなく、粒子は蒸着源から基板にむかって直線的に進むため、溝を構成する凸部にのみ成膜される一方、溝の底部(凹部)では、凸部に遮蔽されほとんど成膜されない。したがって、成膜量を制御することで、基板上に形成された溝の凸部にのみ金属膜を成膜することができ、金属細線を作製することができる。このワイヤグリッド型偏光子に用いられるワイヤ金属としては、アルミニウムもしくは銀が望ましいが、例えばタングステンなど、そのほかの金属であっても同様の現象を実現できる。また、リソグラフィとしては、光リソグラフィ、電子ビームリソグラフィ又はX線リソグラフィなどが挙げられるが、可視光での動作を想定すると細線の間隔が100nm程度になるため、電子ビームリソグラフィもしくはX線リソグラフィがより望ましい。また、金属の成膜では真空蒸着が望ましいが、主として基板に入射する粒子の方向性が重要であるので、高真空度の雰囲気におけるスパッタリング、もしくはコリメーターを用いたコリメーションスパッタでも可能である。   As a method for manufacturing this wire grid, a thin metal can be left by forming a metal film on a substrate and performing patterning by lithography. As another manufacturing method, a groove is formed on the substrate by lithography, and a metal is formed by vacuum deposition from a direction perpendicular to the direction of the groove and inclined from the normal line of the substrate (a direction oblique to the substrate surface). It can produce by doing. In vacuum deposition, particles flying from the deposition source hardly collide with other molecules or atoms in the middle of the deposition, and the particles travel linearly from the deposition source to the substrate. On the other hand, at the bottom part (concave part) of the groove, the film is shielded by the convex part and hardly formed. Therefore, by controlling the amount of film formation, a metal film can be formed only on the convex portion of the groove formed on the substrate, and a thin metal wire can be produced. The wire metal used in the wire grid polarizer is preferably aluminum or silver, but the same phenomenon can be realized even with other metals such as tungsten. In addition, as lithography, optical lithography, electron beam lithography, X-ray lithography, and the like can be given. However, when an operation with visible light is assumed, the interval between thin lines is about 100 nm, and thus electron beam lithography or X-ray lithography is more preferable. . Also, vacuum deposition is desirable for metal film formation. However, since the directionality of particles incident on the substrate is important, sputtering in a high vacuum atmosphere or collimation sputtering using a collimator is also possible.

この発明の撮像装置の光学系の概略構成を示す分解斜視図である。It is a disassembled perspective view which shows schematic structure of the optical system of the imaging device of this invention. 撮像装置の概略構成を示す断面図である。It is sectional drawing which shows schematic structure of an imaging device. 撮像装置の信号処理部の構成を示すブロック図である。It is a block diagram which shows the structure of the signal processing part of an imaging device. レンズアレイの作製方法を示す模式図である。It is a schematic diagram which shows the preparation methods of a lens array. レンズアレイの他の構成を示す断面図である。It is sectional drawing which shows the other structure of a lens array. 偏光フィルタの偏光子領域の構成を示す斜視図である。It is a perspective view which shows the structure of the polarizer area | region of a polarizing filter. 偏光フィルタの構成を示す斜視図である。It is a perspective view which shows the structure of a polarizing filter. 遮光スペーサの作製方法を示す斜視図である。It is a perspective view which shows the preparation methods of a light shielding spacer. 車間距離を測定するときの処理を示す模式図である。It is a schematic diagram which shows a process when measuring a distance between vehicles. 路面の湿潤状態を示す模式図である。It is a schematic diagram which shows the wet state of a road surface. 入射光に対する垂直偏光成分と水平偏光成分の入射角依存性を示す特性図である。It is a characteristic view which shows the incident angle dependence of the vertical polarization component and horizontal polarization component with respect to incident light. 撮像装置を自動車に装着した状態を示す配置図である。It is a layout view showing a state where the imaging device is mounted on a car.

符号の説明Explanation of symbols

100;撮像装置、1;光学系、2;レンズアレイ、3;遮光スペーサ、4;偏光フィルタ、5;スペーサ、6;固体撮像ユニット、7;光軸、8;信号処理部、
21;レンズ、31;開口部、41;偏光子領域、51;開口部、61;基板、
62;固体撮像素子、81;信号前処理部、82;画像メモリ、83;演算処理部、
84;路面状態判別部、85;路面情報記憶部、86;路面情報認識部、
87;出力部。
DESCRIPTION OF SYMBOLS 100; Imaging device, 1; Optical system, 2; Lens array, 3; Light-shielding spacer, 4; Polarization filter, 5; Spacer, 6: Solid-state imaging unit, 7: Optical axis, 8;
21; Lens, 31; Opening, 41; Polarizer region, 51; Opening, 61; Substrate,
62; solid-state imaging device, 81; signal preprocessing unit, 82; image memory, 83; arithmetic processing unit,
84; Road surface state determination unit, 85; Road surface information storage unit, 86; Road surface information recognition unit,
87: Output unit.

Claims (5)

複数のレンズを同一基板上に有するレンズアレイと、該レンズアレイの各レンズを透過した光束を受光して被写体像を撮影する複数の撮像領域を有する撮像ユニットと、該撮像ユニットで撮影した被写体の画像の画像信号を処理する信号処理装置とを備えた撮像装置であって、
前記レンズアレイの複数のレンズは互いに異なる焦点距離を有し、
前記撮像ユニットは前記複数の撮像領域が同一平面上に設けられた単一のユニットであり、
前記信号処理装置は、前記撮像ユニットの各撮像領域で撮影した画像の光軸からのずれ量と、あらかじめ設定されている前記撮像装置の路面からの高さ及び各レンズの焦点距離から前記撮像装置より前方の距離を算出することを特徴とする撮像装置。
A lens array having a plurality of lenses on the same substrate, an imaging unit having a plurality of imaging areas for capturing a subject image by receiving a light beam transmitted through each lens of the lens array, and a subject imaged by the imaging unit An image pickup apparatus including a signal processing device that processes an image signal of an image,
A plurality of lenses of the lens array have different focal lengths from each other,
The imaging unit is a single unit in which the plurality of imaging regions are provided on the same plane,
The signal processing device is configured to calculate the imaging device based on a deviation amount from an optical axis of an image captured in each imaging region of the imaging unit, a height from the road surface of the imaging device, and a focal length of each lens. An imaging apparatus characterized by calculating a distance ahead.
前記レンズアレイと前記撮像ユニットの間に、前記レンズアレイの各レンズを通過する各光束に応じて複数に領域分離されたフィルタを有し、該フィルタの少なくともいずれか1つは垂直偏光成分を透過する偏光子領域を有し、前記撮像ユニットで撮影した垂直偏光画像から前記撮像装置より前方の距離を算出することを特徴とする請求項1記載の撮像装置。   Between the lens array and the imaging unit, there is a filter that is divided into a plurality of regions according to each light beam passing through each lens of the lens array, and at least one of the filters transmits a vertically polarized component The imaging apparatus according to claim 1, further comprising: a polarizer region that calculates a distance ahead of the imaging apparatus from a vertically polarized image captured by the imaging unit. 前記レンズアレイの各レンズを透過した光束毎に分離して前記フィルタに入射する遮光手段を有することを特徴とする請求項2記載の撮像装置。   The imaging apparatus according to claim 2, further comprising a light shielding unit that separates each light beam transmitted through each lens of the lens array and enters the filter. 前記フィルタの偏光子領域は、透明基板上に屈折率が異なる複数の透明材料を積層した多層構造体からなり、各層毎に一方向に繰り返される1次元周期的な凹凸形状を有することを特徴とする請求項2記載の撮像装置。   The polarizer region of the filter is formed of a multilayer structure in which a plurality of transparent materials having different refractive indexes are laminated on a transparent substrate, and has a one-dimensional periodic uneven shape repeated in one direction for each layer. The imaging device according to claim 2. 前記フィルタの偏光子領域は、ワイヤグリッド型偏光子により構成されていることを特徴とする請求項2記載の撮像装置。   The imaging device according to claim 2, wherein the polarizer region of the filter is configured by a wire grid polarizer.
JP2008158603A 2008-06-18 2008-06-18 Imaging device Expired - Fee Related JP5152655B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008158603A JP5152655B2 (en) 2008-06-18 2008-06-18 Imaging device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008158603A JP5152655B2 (en) 2008-06-18 2008-06-18 Imaging device

Publications (2)

Publication Number Publication Date
JP2010004090A JP2010004090A (en) 2010-01-07
JP5152655B2 true JP5152655B2 (en) 2013-02-27

Family

ID=41585476

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008158603A Expired - Fee Related JP5152655B2 (en) 2008-06-18 2008-06-18 Imaging device

Country Status (1)

Country Link
JP (1) JP5152655B2 (en)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5440927B2 (en) * 2009-10-19 2014-03-12 株式会社リコー Distance camera device
WO2011148851A1 (en) * 2010-05-28 2011-12-01 ソニー株式会社 Imaging device and imaging method
JP5761601B2 (en) * 2010-07-01 2015-08-12 株式会社リコー Object identification device
US20140192238A1 (en) 2010-10-24 2014-07-10 Linx Computational Imaging Ltd. System and Method for Imaging and Image Processing
JP2012113280A (en) * 2010-11-05 2012-06-14 Asahi Kasei E-Materials Corp Wire grid polarizer and optical sensor
JP5722605B2 (en) * 2010-12-08 2015-05-20 株式会社Ihi Underwater visual inspection equipment
JP5786381B2 (en) * 2011-03-10 2015-09-30 株式会社リコー Apparatus for acquiring polarization image of light incident from road surface, method for acquiring polarization image of light incident from road surface, program, and computer-readable recording medium
JP5936098B2 (en) * 2011-07-29 2016-06-15 株式会社リコー Imaging apparatus, object detection apparatus including the same, and optical filter
JP5990953B2 (en) * 2012-03-16 2016-09-14 株式会社リコー Imaging device, object detection device, vehicle travel support image processing system, and vehicle
JP5509400B1 (en) 2012-08-30 2014-06-04 オリンパスメディカルシステムズ株式会社 Endoscope
JP6189061B2 (en) * 2013-03-19 2017-08-30 株式会社東芝 Solid-state imaging device
JPWO2015045501A1 (en) * 2013-09-27 2017-03-09 日立オートモティブシステムズ株式会社 External recognition device
CN105530419B (en) 2016-02-05 2019-12-31 京东方科技集团股份有限公司 Image acquisition system, image acquisition processing system and image acquisition processing method
CN109984841B (en) * 2019-04-17 2021-12-17 南京医科大学 System for intelligently eliminating osteophytes of lower limb bone images by utilizing generated confrontation network model

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3290757B2 (en) * 1993-05-14 2002-06-10 株式会社小糸製作所 Automotive glare sensor
JP3783588B2 (en) * 2001-08-20 2006-06-07 オムロン株式会社 Road surface discrimination device
JP4974543B2 (en) * 2005-08-23 2012-07-11 株式会社フォトニックラティス Polarization imaging device

Also Published As

Publication number Publication date
JP2010004090A (en) 2010-01-07

Similar Documents

Publication Publication Date Title
JP5152655B2 (en) Imaging device
JP5610254B2 (en) Imaging apparatus and road surface state determination method
EP2875315B1 (en) Stereo camera
US20130010106A1 (en) Ranging camera apparatus
JP5505761B2 (en) Imaging device
JP2010261877A (en) Stereoscopic camera device and vehicle-outside monitoring apparatus using the same
JP5637425B2 (en) Droplet detection device and in-vehicle monitoring device
US20140267622A1 (en) Stereo camera
KR20100122058A (en) Two-dimensional solid-state image capture device and polarization-light data processing method therefor
US20120300037A1 (en) Three-dimensional imaging system using a single lens system
US9456198B2 (en) Depth estimating image capture device and image sensor
JP2007086720A (en) Polarization imaging device
JP2009157043A (en) Imaging device and imaging equipment having the same
JP2010243463A (en) Stereo camera and vehicle-outside monitor
JP2010210607A (en) Droplet recognition device, raindrop recognition device, automatic wiper device, and droplet recognition method
JP5488958B2 (en) Front monitor camera device and vehicle left and right side confirmation device
JP5440907B2 (en) Image recognition device and vehicle exterior monitoring device
JP2016127512A (en) Imaging apparatus
JP3289563B2 (en) Distance measuring device

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20091207

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20100115

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110311

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120615

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120806

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121109

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121122

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151214

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151214

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees