JP4264464B2 - 撮像装置及び半導体回路素子 - Google Patents
撮像装置及び半導体回路素子 Download PDFInfo
- Publication number
- JP4264464B2 JP4264464B2 JP2008550304A JP2008550304A JP4264464B2 JP 4264464 B2 JP4264464 B2 JP 4264464B2 JP 2008550304 A JP2008550304 A JP 2008550304A JP 2008550304 A JP2008550304 A JP 2008550304A JP 4264464 B2 JP4264464 B2 JP 4264464B2
- Authority
- JP
- Japan
- Prior art keywords
- imaging signal
- imaging
- temperature
- unit
- lens
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 title claims description 677
- 239000004065 semiconductor Substances 0.000 title claims description 15
- 230000003287 optical effect Effects 0.000 claims description 271
- 238000004364 calculation method Methods 0.000 claims description 227
- 238000012937 correction Methods 0.000 claims description 161
- 230000008859 change Effects 0.000 claims description 100
- 238000000034 method Methods 0.000 claims description 36
- 230000008569 process Effects 0.000 claims description 33
- 238000003860 storage Methods 0.000 claims description 33
- 238000012545 processing Methods 0.000 claims description 16
- 241000257465 Echinoidea Species 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 67
- 238000011156 evaluation Methods 0.000 description 49
- 230000000875 corresponding effect Effects 0.000 description 41
- 238000006243 chemical reaction Methods 0.000 description 37
- 238000005259 measurement Methods 0.000 description 16
- 238000012546 transfer Methods 0.000 description 16
- 239000000758 substrate Substances 0.000 description 13
- 238000007781 pre-processing Methods 0.000 description 10
- 239000011347 resin Substances 0.000 description 9
- 229920005989 resin Polymers 0.000 description 9
- 239000006059 cover glass Substances 0.000 description 8
- 238000001514 detection method Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 8
- 230000014509 gene expression Effects 0.000 description 7
- 230000002596 correlated effect Effects 0.000 description 5
- 238000005520 cutting process Methods 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000012544 monitoring process Methods 0.000 description 5
- 238000002474 experimental method Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 239000002184 metal Substances 0.000 description 3
- 229910052751 metal Inorganic materials 0.000 description 3
- 239000005304 optical glass Substances 0.000 description 3
- 239000000853 adhesive Substances 0.000 description 2
- 230000001070 adhesive effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 102100039856 Histone H1.1 Human genes 0.000 description 1
- 101001035402 Homo sapiens Histone H1.1 Proteins 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 238000001746 injection moulding Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000001681 protective effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005476 soldering Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000002277 temperature effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C3/00—Measuring distances in line of sight; Optical rangefinders
- G01C3/02—Details
- G01C3/06—Use of electric means to obtain final indication
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C3/00—Measuring distances in line of sight; Optical rangefinders
- G01C3/10—Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J1/00—Photometry, e.g. photographic exposure meter
- G01J1/02—Details
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J1/00—Photometry, e.g. photographic exposure meter
- G01J1/02—Details
- G01J1/0266—Field-of-view determination; Aiming or pointing of a photometer; Adjusting alignment; Encoding angular position; Size of the measurement area; Position tracking; Photodetection involving different fields of view for a single detector
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J1/00—Photometry, e.g. photographic exposure meter
- G01J1/42—Photometry, e.g. photographic exposure meter using electric radiation detectors
- G01J1/4228—Photometry, e.g. photographic exposure meter using electric radiation detectors arrangements with two or more detectors, e.g. for sensitivity compensation
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S11/00—Systems for determining distance or velocity not using reflection or reradiation
- G01S11/12—Systems for determining distance or velocity not using reflection or reradiation using electromagnetic waves other than radio waves
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/14603—Special geometry or disposition of pixel-elements, address-lines or gate-electrodes
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/14625—Optical elements or arrangements associated with the device
- H01L27/14627—Microlenses
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L31/00—Semiconductor devices sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation; Processes or apparatus specially adapted for the manufacture or treatment thereof or of parts thereof; Details thereof
- H01L31/02—Details
- H01L31/0232—Optical elements or arrangements associated with the device
- H01L31/02325—Optical elements or arrangements associated with the device the optical elements not being integrated nor being directly associated with the device
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L2224/00—Indexing scheme for arrangements for connecting or disconnecting semiconductor or solid-state bodies and methods related thereto as covered by H01L24/00
- H01L2224/01—Means for bonding being attached to, or being formed on, the surface to be connected, e.g. chip-to-package, die-attach, "first-level" interconnects; Manufacturing methods related thereto
- H01L2224/42—Wire connectors; Manufacturing methods related thereto
- H01L2224/44—Structure, shape, material or disposition of the wire connectors prior to the connecting process
- H01L2224/45—Structure, shape, material or disposition of the wire connectors prior to the connecting process of an individual wire connector
- H01L2224/45001—Core members of the connector
- H01L2224/45099—Material
- H01L2224/451—Material with a principal constituent of the material being a metal or a metalloid, e.g. boron (B), silicon (Si), germanium (Ge), arsenic (As), antimony (Sb), tellurium (Te) and polonium (Po), and alloys thereof
- H01L2224/45138—Material with a principal constituent of the material being a metal or a metalloid, e.g. boron (B), silicon (Si), germanium (Ge), arsenic (As), antimony (Sb), tellurium (Te) and polonium (Po), and alloys thereof the principal constituent melting at a temperature of greater than or equal to 950°C and less than 1550°C
- H01L2224/45144—Gold (Au) as principal constituent
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L2224/00—Indexing scheme for arrangements for connecting or disconnecting semiconductor or solid-state bodies and methods related thereto as covered by H01L24/00
- H01L2224/01—Means for bonding being attached to, or being formed on, the surface to be connected, e.g. chip-to-package, die-attach, "first-level" interconnects; Manufacturing methods related thereto
- H01L2224/42—Wire connectors; Manufacturing methods related thereto
- H01L2224/47—Structure, shape, material or disposition of the wire connectors after the connecting process
- H01L2224/48—Structure, shape, material or disposition of the wire connectors after the connecting process of an individual wire connector
- H01L2224/4805—Shape
- H01L2224/4809—Loop shape
- H01L2224/48091—Arched
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/14618—Containers
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/14625—Optical elements or arrangements associated with the device
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L2924/00—Indexing scheme for arrangements or methods for connecting or disconnecting semiconductor or solid-state bodies as covered by H01L24/00
- H01L2924/15—Details of package parts other than the semiconductor or other solid state devices to be connected
- H01L2924/161—Cap
- H01L2924/1615—Shape
- H01L2924/16195—Flat cap [not enclosing an internal cavity]
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Electromagnetism (AREA)
- Power Engineering (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Condensed Matter Physics & Semiconductors (AREA)
- Computer Hardware Design (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Measurement Of Optical Distance (AREA)
- Studio Devices (AREA)
- Focusing (AREA)
- Solid State Image Pick-Up Elements (AREA)
- Lens Barrels (AREA)
Description
しかしながら、レンズアレイ903は温度変化により変形し、それに伴いレンズの光軸の間隔Bが変化するため、温度が変化すると正しく距離を求められない。
I1(x, y) = I1(x, y) …(3)
I2(x, y) = I2(x+z/p, y) …(4)
I3(x, y) = I3(y, x+z/p) …(5)
I4(x, y) = I4(x+z/p, y+z/p) …(6)
本発明の実施の形態1に係る撮像装置は、温度センサにより検知された温度に基づき複数のレンズの光軸の間隔の変化量を求め、複数のレンズの光軸原点を変化量の半分だけ移動し、光軸原点周りの歪みをなくすように画像を補正する。これにより、歪みの影響を適切に低減できるため、高精度な視差を検知でき、高精度に距離測定できる。
その他のレンズ部間についても同様の関係が成立する。このように、被写体距離に応じて4つのレンズ部113a,113b,113c,113dがそれぞれ形成する4つの物体像の相対的位置が変化する。例えば、被写体距離Lが小さくなると、視差Δが大きくなる。
入力バッファ134は、DRAM(Dynamic Random Access Memory)などにより構成され、撮像信号入力部133から入力された撮像信号I0(x,y)を保存する。
I1(x,y) = [1 - tx1f(x,y)] × [1 - ty1f(x,y)] × I0(tx1i(x,y),ty1i(x,y))
+ tx1f(x,y) × [1 - ty1f(x,y)] ×I0(tx1i(x,y)+1,ty1i(x,y))
+ [1 - tx1f(x,y)] × ty1f(x,y) ×I0(tx1i(x,y),ty1i(x,y)+1)
+ tx1f(x,y) × ty1f(x,y) ×I0(tx1i(x,y)+1,ty1i(x,y)+1) …(10)
I2(x,y) = I0(tx2(x,y),ty2(x,y)) …(11)
I3(x,y) = I0(tx3(x,y),ty3(x,y)) …(12)
I4(x,y) = I0(tx4(x,y),ty4(x,y)) …(13)
歪みがなく、温度によるレンズの膨張がない場合、図8のように、第1の撮像信号I1(x,y)は、原点を(x01,y01)として、x軸方向にH1画素、y軸方向にV1画素だけ撮像信号I0を切り出した領域の画像を示す信号であり、第2の撮像信号I2(x,y)は、原点を(x02,y02)として、x軸方向にH1画素、y軸方向にV1画素だけ撮像信号I0を切り出した領域の画像を示す信号である。また、第3の撮像信号I3(x,y)は、原点を(x03,y03)として、x軸方向にH1画素、y軸方向にV1画素だけ撮像信号I0を切り出した領域の画像を示す信号であり、第4の撮像信号I4(x,y)は、原点を(x04,y04)として、x軸方向にH1画素、y軸方向にV1画素だけ撮像信号I0を切り出した領域の画像を示す信号である。
dby = Dy × (aL - aS) × (Th - Th0) / p …(15)
レンズアレイ113は略円形であるため、温度上昇に伴い各レンズ部は等方的に膨張する。すなわち、図8に示すように、温度上昇に伴うレンズ部の光軸間の間隔の変化の半分(x軸方向にdbx/2、y軸方向にdby/2)だけ移動する。そこで、第1の撮像信号I1(x,y)用の変換テーブルtx1(x,y)及びty1(x,y)を下記式(16)、(17)及び(18)のように生成する。ここで、(x01,y01)は撮像信号I0における歪みがないときの原点座標、(xc1,yc1)は撮像信号I1(x,y)における基準温度Th0での光軸中心座標、(-dbx/2,-dby/2)は温度上昇による光軸中心の移動量、kd2及びkd4は歪曲係数である。なお、式(18)における^2は二乗値を示す。また、第2の撮像信号I2(x,y)用の変換テーブルtx2(x,y)及びty2(x,y)を下記式(19)、(20)、及び(21)のように生成する。ここで、(x02,y02)は撮像信号I0における歪みがないときの原点座標、(xc2,yc2)は撮像信号I2(x,y)における基準温度Th0での光軸中心座標、(+dbx/2,-dby/2)は温度上昇による光軸中心の移動量、kd2及びkd4は歪曲係数である。なお、式(21)における^2は二乗値を示す。また、第3の撮像信号I3(x,y)用の変換テーブルtx3(x,y)及びty3(x,y)を下記式(22)、(23)、及び(24)のように生成する。ここで、(x03,y03)は撮像信号I0における歪みがないときの原点座標、(xc3,yc3)は撮像信号I3(x,y)における基準温度Th0での光軸中心座標、(-dbx/2,+dby/2)は温度上昇による光軸中心の移動量、kd2及びkd4は歪曲係数である。なお、式(24)における^2は二乗値を示す。さらに、第4の撮像信号I4(x,y)用の変換テーブルtx4(x,y)及びty4(x,y)を下記式(25)、(26)、及び(27)のように生成する。ここで、(x04,y04)は撮像信号I0における歪みがないときの原点座標、(xc4,yc4)は撮像信号I4(x,y)における基準温度Th0での光軸中心座標、(+dbx/2,+dby/2)は温度上昇による光軸中心の移動量、kd2及びkd4は歪曲係数である。なお、式(27)における^2は二乗値を示す。
ty1(x,y) = y01 + yc1 + [y - yc1 - dby/2]×(1 + kd2 × r2 + kd4 × r4) …(17)
r2 = [x - xc1 - dbx/2]^2+ [y - yc1 - dby/2]^2、r4 = r2^2 …(18)
tx2(x,y) = x02 + xc2 + [x - xc2 + dbx/2]×(1 + kd2 × r2 + kd4 × r4) …(19)
ty2(x,y) = y02 + yc2 + [y - yc2 - dby/2]×(1 + kd2 × r2 + kd4 × r4) …(20)
r2 = [x - xc2 + dbx/2]^2+ [y - yc2 - dby/2]^2、r4 = r2^2 …(21)
tx3(x,y) = x03 + xc3 + [x - xc3 - dbx/2]×(1 + kd2 × r2 + kd4 × r4) …(22)
ty3(x,y) = y03 + yc3 + [y - yc3 + dby/2]×(1 + kd2 × r2 + kd4 × r4) …(23)
r2 = [x - xc3 - dbx/2]^2+ [y - yc3 + dby/2]^2、r4 = r2^2 …(24)
tx4(x,y) = x04 + xc4 + [x - xc4 + dbx/2]×(1 + kd2 × r2 + kd4 × r4) …(25)
ty4(x,y) = y04 + yc4 + [y - yc4 + dby/2]×(1 + kd2 × r2 + kd4 × r4) …(26)
r2 = [x - xc4 + dbx/2]^2+ [y - yc4 + dby/2]^2、r4 = r2^2 …(27)
なお、歪みが生じない場合、上記の座標変換テーブルを用いてなされる座標変換は、下記式(28)乃至(31)のように、撮像信号I0(x,y)から画像を切り出し、その後、下記式(32)乃至(35)のように、平行移動を行うことに相当する。
I2(x, y) = I0(x + x02, y + y02) …(29)
I3(x, y) = I0(x + x03, y + y03) …(30)
I4(x, y) = I0(x + x04, y + y04) …(31)
I1(x, y) = I1(x-dbx/2, y-dby/2) …(32)
I2(x, y) = I2(x+dbx/2, y-dby/2) …(33)
I3(x, y) = I3(y-dbx/2, x+dby/2) …(34)
I4(x, y) = I4(x+dbx/2, y+dby/2) …(35)
図9Aは、本発明の実施の形態1に係る撮像装置の動作を示すフローチャートである。SLSI125のシステム制御部131により、撮像装置101は、このフローチャートのとおりに動作される。
この視差評価値R(kx)は、第1の演算バッファ141aのデータBc1と、x軸方向にkxだけ離れた領域における第2の演算バッファ141bのデータBc2とがどれだけ相関があるかを示し、値が小さいほど相関が大きい(よく似ている)ことを示す。ここで、第1の演算バッファ141aのデータBc1は、第1の撮像信号I1を転送したものであり、第2の演算バッファ141bのデータBc2は、第2の撮像信号I2を転送したものであるため、視差評価値R(kx)は、第1の撮像信号I1と対応する第2の撮像信号I2とがどれだけ相関があるかを示すことになる。
/ ΣΣ(Bc1(x,y)-avg1)(Bc1(x,y)-avg1)
/ ΣΣ(Bc2(x+Δ12(ibx,iby),y)-avg2)(Bc2(x+Δ12(ibx,iby),y)-avg2)
avg1 = ΣΣBc1(x,y)/(HB*VB)
avg2 = ΣΣBc2(x+Δ12(ibx,iby),y)/(HB*VB) …(37)
ステップS1360において、ブロックインデックスibに1を加える。次に、ステップS1370を実行する。
ここで、HB=32、VB=32であるため、x=0〜31、y=0〜31+SBである。
この視差評価値R(ky)は、第1の演算バッファ141aのデータBc1と、y軸方向にkyだけ離れた領域における第2の演算バッファ141bのデータBc2とがどれだけ相関があるかを示し、値が小さいほど相関が大きい(よく似ている)ことを示す。ここで、第1の演算バッファ141aのデータBc1は、第1の撮像信号I1を転送したものであり、第2の演算バッファ141bのデータBc2は、第3の撮像信号I3を転送したものであるため、視差評価値R(ky)は、第1の撮像信号I1と対応する第3の撮像信号I3とがどれだけ相関があるかを示すことになる。
/ ΣΣ(Bc1(x,y)-avg1)(Bc1(x,y)-avg1)
/ ΣΣ(Bc2(x,yΔ13(ibx,iby))-avg2)(Bc2(x,y+Δ13(ibx,iby))-avg2)
avg1 = ΣΣBc1(x,y)/(HB*VB)
avg2 = ΣΣBc2(x,y+Δ13(ibx,iby))/(HB*VB) …(39)
ステップS1460において、ブロックインデックスibに1を加える。次に、ステップS1470を実行する。
ky = kx * Dy / Dx …(41)
この視差評価値R(kx)は、第1の演算バッファ141aのデータBc1と、x軸方向にkxだけy軸方向にkyだけ離れた領域における第2の演算バッファ141bのデータBc2と
がどれだけ相関があるかを示し、値が小さいほど相関が大きい(よく似ている)ことを示す。ここで、第1の演算バッファ141aのデータBc1は、第1の撮像信号I1を転送したものであり、第2の演算バッファ141bのデータBc2は、第4の撮像信号I4を転送したものであるため、視差評価値R(kx)は、第1の撮像信号I1と対応する第4の撮像信号I4とがどれだけ相関があるかを示すことになる。
= ΣΣ(Bc1(x,y)-avg1)(Bc2(xΔ14(ibx,iby),y+Δ14(ibx,iby)*Dy/Dx)-avg2)
/ ΣΣ(Bc1(x,y)-avg1)(Bc1(x,y)-avg1)
/ ΣΣ(Bc2(x+Δ14(ibx,iby),y+Δ14(ibx,iby)*Dy/Dx)-avg2)
(Bc2(x+Δ14(ibx,iby),y+Δ14(ibx,iby)*Dy/Dx)-avg2)
avg1 = ΣΣBc1(x,y)/(HB*VB)
avg2 = ΣΣBc2(x+Δ14(ibx,iby),y+Δ14(ibx,iby))/(HB*VB) …(42)
ステップS1560において、ブロックインデックスibに1を加える。次に、ステップS1570を実行する。
Δ(ibx,iby) = Δ13(ibx,iby)*Dx/Dy E13(ibx,iby)が最大のとき
Δ(ibx,iby) = Δ14(ibx,iby) E14(ibx,iby)が最大のとき …(43)
ステップS1260において、距離演算部143は、距離演算を行い、その結果を、順次、第2の出力バッファ137bに、距離データとして転送する。前述のように式 (7)に基づき距離を演算する。すなわち、視差Δ(ibx,iby)を持つブロックにおける被写体の距離L(ibx,iby)は、下記式(44)のように演算される。なお、fはレンズ部113の焦点距離であり、Dxは各レンズ部113a〜113dのx軸方向の間隔であり、pは撮像素子の素子間隔である。次に、ステップS1270を実行する。
ステップS1270において、演算動作を終了し、上位ルーチンへ戻る。次に、ステップS1910を実行する。
本発明の実施の形態1に係る撮像装置は、レンズアレイ113が略円形に成型され、各レンズ部(第1のレンズ部113a、第2のレンズ部113b、第3のレンズ部113c、および第4のレンズ部113d)がレンズアレイ113の中心から同一距離に配置されている。そして、温度センサ126によって検知された温度に基づきレンズアレイ113の各レンズ部の光軸の間隔の変化量を求め、各レンズ部の光軸原点を変化量の半分だけ移動し、光軸原点周りの歪みをなくすように画像を補正する。これにより、温度が変化しても正しく歪みの影響を低減できるため、高精度な視差を検知し、それゆえ高精度に距離測定する撮像装置を実現した。また、温度が変化しても、画像中心が変化しない撮像装置を実現した。
dby1 = Dy1 × (aL - aS) × (Th - Th0) / p …(46)
dbx2 = (Dx/2) × (aL - aS) × (Th - Th0) / p …(47)
dby2 = Dy1 × (aL - aS) × (Th - Th0) / p …(48)
dbx3 = (Dx/2) × (aL - aS) × (Th - Th0) / p …(49)
dby3 = Dy2 × (aL - aS) × (Th - Th0) / p …(50)
dbx4 = (Dx/2) × (aL - aS) × (Th - Th0) / p …(51)
dby4 = Dy2 × (aL - aS) × (Th - Th0) / p …(52)
撮像装置は、上述の温度上昇に伴う移動量だけ、各撮像信号を補正する。すなわち、第1の撮像信号I1(x,y)用の変換テーブルtx1(x,y)及びty1(x,y)を下記式(53)、(54)及び(55)のように生成する。ここで、(x01,y01)は撮像信号I0における歪みがないときの原点座標、(xc1,yc1)は撮像信号I1(x,y)における基準温度Th0での光軸中心座標、(-dbx1,-dby1)は温度上昇による光軸中心の移動量、kd2及びkd4は歪曲係数である。なお、式(55)における^2は二乗値を示す。また、第2の撮像信号I2(x,y)用の変換テーブルtx2(x,y)及びty2(x,y)を下記式(56)、(57)及び(58)のように生成する。ここで、(x02,y02)は撮像信号I0における歪みがないときの原点座標、(xc2,yc2)は撮像信号I2(x,y)における基準温度Th0での光軸中心座標、(+dbx2,-dby2)は温度上昇による光軸中心の移動量、kd2及びkd4は歪曲係数である。なお、式(58)における^2は二乗値を示す。また、第3の撮像信号I3(x,y)用の変換テーブルtx3(x,y)及びty3(x,y)を下記式(59)、(60)及び(61)のように生成する。ここで、(x03,y03)は撮像信号I0における歪みがないときの原点座標、(xc3,yc3)は撮像信号I3(x,y)における基準温度Th0での光軸中心座標、(-dbx3,+dby3)は温度上昇による光軸中心の移動量、kd2及びkd4は歪曲係数である。なお、式(61)における^2は二乗値を示す。また、第4の撮像信号I4(x,y)用の変換テーブルtx4(x,y)及びty4(x,y)を下記式(62)、(63)及び(64)のように作成する。ここで、(x04,y04)は撮像信号I0における歪みがないときの原点座標、(xc4,yc4)は撮像信号I4(x,y)における基準温度Th0での光軸中心座標、(+dbx4,+dby4)は温度上昇による光軸中心の移動量、kd2及びkd4は歪曲係数である。なお、式(64)における^2は二乗値を示す。
ty1(x,y) = y01 + yc1 + [y - yc1 - dby1]×(1 + kd2 × r2 + kd4 × r4) …(54)
r2= [x - xc1 - dbx1]^2 + [y - yc1 - dby1]^2、r4 = r2^2 …(55)
tx2(x,y) = x02 + xc2 + [x - xc2 + dbx2]×(1 + kd2 × r2 + kd4 × r4) …(56)
ty2(x,y) = y02 + yc2 + [y - yc2 - dby2]×(1 + kd2 × r2 + kd4 × r4) …(57)
r2= [x - xc2 + dbx2]^2 + [y - yc2 - dby2]^2、r4 = r2^2 …(58)
tx3(x,y) = x03 + xc3 + [x - xc3 - dbx3]×(1 + kd2 × r2 + kd4 × r4) …(59)
ty3(x,y) = y03 + yc3 + [y - yc3 + dby3]×(1 + kd2 × r2 + kd4 × r4) …(60)
r2= [x - xc3 - dbx3]^2 + [y - yc3 + dby3]^2、r4 = r2^2 …(61)
tx4(x,y) = x04 + xc4 + [x - xc4 + dbx4]×(1 + kd2 × r2 + kd4 × r4) …(62)
ty4(x,y) = y04 + yc4 + [y - yc4 + dby4]×(1 + kd2 × r2 + kd4 × r4) …(63)
r2= [x - xc4 + dbx4]^2 + [y - yc4 + dby4]^2、r4 = r2^2 …(64)
なお、歪みが生じない場合、上記の座標変換テーブルを用いてなされる座標変換は、下記式(65)乃至(68)のように、撮像信号I0(x,y)から画像を切り出し、その後、下記式(69)乃至(72)のように、平行移動することに相当する。
I2(x, y) = I0(x + x02, y + y02) …(66)
I3(x, y) = I0(x + x03, y + y03) …(67)
I4(x, y) = I0(x + x04, y + y04) …(68)
I1(x, y) = I1(x-dbx1, y-dby1) …(69)
I2(x, y) = I2(x+dbx2, y-dby2) …(70)
I3(x, y) = I3(y-dbx3, x+dby3) …(71)
I4(x, y) = I4(x+dbx4, y+dby4) …(72)
本実施の形態の撮像装置が以上のように構成されて動作することにより、実施の形態1と同様の効果が奏される。
本発明の実施の形態3に係る撮像装置は、温度毎の係数を持ち、温度センサにより検知された温度に基づき複数のレンズの光軸の間隔の変化量を求め、複数のレンズの光軸原点を変化量の半分だけ移動し、光軸原点周りの歪みをなくすように画像を補正する。これにより、小規模の回路で歪みの影響を適切に低減できるため、高精度な視差を検知でき、低コストで高精度に距離測定できる。
dby = Dy * (aL - aS) * (T - Th0) / p ・・・(110)
そして、温度上昇に伴い各レンズ部の光軸中心は等方的に膨張するため、図2のように、温度上昇に伴うレンズ間の光軸間の間隔の変化の半分(x方向にp*dbx/2、y方向にp*dby/2)だけ移動する。すなわち、第1のレンズ部113aの光軸中心は、x方向に-p*dbx/2、y方向に-p*dby/2だけ移動する。また、第2のレンズ部113bの光軸中心は、x方向に+p*dbx/2、y方向に-p*dby/2だけ移動する。また、第3のレンズ部113cの光軸中心は、x方向に-p*dbx/2、y方向に+p*dby/2だけ移動する。また、第4のレンズ部113dの光軸中心は、x方向に+p*dbx/2、y方向に+p*dby/2だけ移動する。
なお、係数保存部241に保存される係数は以下のように作成され保存される。各レンズ部の光軸中心は、式(109)、(110)に基づき、下記式(112)、(113)のように、温度上昇に伴う光軸間の間隔のx方向の変化量dbx、y方向の変化量dbyを演算し、その半分(x方向にp*dbx/2、y方向にp*dby/2)だけ光軸中心が移動するとして作成する。ここで、T(Ts)はADCによりデジタル値に変換された温度センサ信号Tsのときの物理的な温度を示す。具体的には、下記式(114)、(115)のように、第1のレンズ部113aの光軸中心(xc1,yc1)は、基準温度Th0における光軸中心(xc10,yc10)からx方向に-dbx/2、y方向に-dby/2だけ移動するように作成する。また、下記式(116)、(117)のように、第2のレンズ部113bの光軸中心(xc2,yc2)は、基準温度Th0における光軸中心(xc20,yc20)からx方向に+dbx/2、y方向に-dby/2だけ移動するように作成する。また、下記式(118)、(119)のように、第3のレンズ部113cの光軸中心(xc3,yc3)は、基準温度Th0における光軸中心(xc30,yc30)からx方向に-dbx/2、y方向に+dby/2だけ移動するように作成する。また、第4のレンズ部113dの光軸中心(xc4,yc4)は、基準温度Th0における光軸中心(xc40,yc40)からx方向に+dbx/2、y方向に+dby/2だけ移動するように作成する。
dby = Dy * (aL - aS) * (T(Ts) - Th0) / p ・・・(113)
xc1 = xc10 - dbx/2 ・・・(114)
yc1 = yc10 - dby/2 ・・・(115)
xc2 = xc20 + dbx/2 ・・・(116)
yc2 = yc20 - dby/2 ・・・(117)
xc3 = xc30 - dbx/2 ・・・(118)
yc3 = yc30 + dby/2 ・・・(119)
xc4 = xc40 + dbx/2 ・・・(120)
yc4 = yc40 + dby/2 ・・・(121)
歪曲係数k2,k4は、光学解析や実験などで各温度における値を求め、作成する。
rx = [1+kk*(T(Ts)-Th0)] ・・・(123)
ry = [1+kk*(T(Ts)-Th0)] ・・・(124)
焦点距離fは、光学解析や実験などで各温度における値を求め、作成する。
なお、各温度で各種方法で測定された係数を保存してもよい。次に、ステップS1120を実行する。
ty1 = y01 + yc1 + (y - yc1] * (1 + kd2 * r1^2 + kd4 * r1^4) * ry ・・・(127)
r1^2 = (x - xc1)^2 + (y - yc1)^2、r1^4 = (r1^2)^2 ・・・(128)
I1(x,y) = I0(tx1,ty1) ・・・(129)
I1(x,y) = (1 ? tx1f) * (1 ? ty1f) * I0(tx1i,ty1i)
+ tx1f * (1 ? ty1f) * I0(tx1i+1,ty1i)
+ (1 ? tx1f) * ty1f * I0(tx1i,ty1i+1)
+ tx1f * ty1f * I0(tx1i+1,ty1i+1) ・・・(130)
tx2 = x02 + xc2 + (x - xc2) * (1 + kd2 * r2^2 + kd4 * r2^4) * rx ・・・(131)
ty2 = y02 + yc2 + (y - yc2) * (1 + kd2 * r2^2 + kd4 * r2^4) * ry ・・・(132)
r2^2 = (x - xc2)^2 + (y - yc2)^2、r2^4 = (r2^2)^2 ・・・(133)
I2(x,y) = I0(tx2,ty2) ・・・(134)
tx3 = x03 + xc3 + (x - xc3) * (1 + kd2 * r3^2 + kd4 * r3^4) * rx ・・・(135)
ty3 = y03 + yc3 + (y - yc3) * (1 + kd2 * r3^2 + kd4 * r3^4) * ry ・・・(136)
r3^2 = (x - xc3)^2 + (y - yc3)^2、r2^4 = (r2^2)^2 ・・・(137)
I3(x,y) = I0(tx3,ty3) ・・・(138)
tx4 = x04 + xc4 + (x - xc4) * (1 + kd2 * r4^2 + kd4 * r4^4) * rx ・・・(139)
ty4 = y04 + yc4 + (y - yc4) * (1 + kd2 * r4^2 + kd4 * r4^4) * ry ・・・(140)
r4^2 = (x - xc4)^2 + (y - yc4)^2、r2^4 = (r2^2)^2 ・・・(141)
I4(x,y) = I0(tx4,ty4) ・・・(142)
なお、上記の変換において、歪みがなく、倍率を補正しないとき、下記式(143)、(144)、(145)、(146)のように、撮像信号I0(x,y)から画像を切り出し、その後、下記式(147)、(148)、(149)、(150)のように、平行移動することに相当する。次に、ステップS1200を実行する。
I2(x, y) = I0(x + x02, y + y02) ・・・(144)
I3(x, y) = I0(x + x03, y + y03) ・・・(145)
I4(x, y) = I0(x + x04, y + y04) ・・・(146)
I1(x, y) = I1(x-dbx/2, y-dby/2) ・・・(147)
I2(x, y) = I2(x+dbx/2, y-dby/2) ・・・(148)
I3(x, y) = I3(y-dbx/2, x+dby/2) ・・・(149)
I4(x, y) = I4(x+dbx/2, y+dby/2) ・・・(150)
ステップS1200において、距離を演算する。距離演算部244は、第1の撮像信号I1、第2の撮像信号I2、第3の撮像信号I3、第4の撮像信号I4、焦点距離f、x方向の光軸間距離Dxを入力し、距離を演算し、距離データDISを出力する。
この視差評価値R12(kx)は、選択ブロックB(ih,iv)の第1のレンズ撮像信号I1と選択ブロックからx方向にkxだけずれた領域における第2のレンズ撮像信号I2とがどれだけ相関があるかを示し、値が小さいほど相関が大きい(よく似ている)ことを示す。
C12(ih,iv) = R12(Δ) ・・・ (153)
次に、第1のレンズ撮像信号I1と第3のレンズ撮像信号I3との視差と信頼信頼度も同様に求める。ただし、ずらす方向をy方向に変更し、ずらし量をkyとする。下記式(154)のように、選択ブロックB(ih,iv)における第1のレンズ撮像信号I1と第3のレンズ撮像信号I3の視差評価値R13(ky)を求める。すなわち、第1のレンズ撮像信号I1を基準として、視差評価値R13(ky)を演算する。そして、最小値を与えるずらし量、すなわち視差Δを、下記式(155)のように、選択ブロックB(ih,iv)における第1のレンズ撮像信号I1と第3のレンズ撮像信号I3との視差値Δ13(ih,iv)とし、下記式(156)のように、視差評価値R13(Δ)を選択ブロックB(ih,iv)における第1のレンズ撮像信号I1と第3のレンズ撮像信号I3との信頼度C13(ih,iv)とする。
Δ13(ih,iv) = Δ ・・・ (155)
C13(ih,iv) = R13(Δ) ・・・ (156)
次に、第1のレンズ撮像信号I1と第4のレンズ撮像信号I4との視差と信頼信頼度も同様に求める。ただし、ずらす方向を斜め方向(第1のレンズ部113aの光軸と第4のレンズ部113dの光軸とを結ぶ方向)に変更し、ずらし量はx方向にkx、y方向にkx*Dy/Dxとする。下記式(157)のように、選択ブロックB(ih,iv)における第1のレンズ撮像信号I1と第4のレンズ撮像信号I4の視差評価値R14(kx)を求める。すなわち、第1のレンズ撮像信号I1を基準として、視差評価値R14(kx)を演算する。そして、最小値を与えるずらし量、すなわち視差Δを、下記式(158)のように、選択ブロックB(ih,iv)における第1のレンズ撮像信号I1と第4のレンズ撮像信号I4との視差値Δ14(ih,iv)とし、下記式(159)のように、視差評価値R14(Δ)を選択ブロックB(ih,iv)における第1のレンズ撮像信号I1と第4のレンズ撮像信号I4との信頼度C14(ih,iv)とする。なお、式(157)において座標(x+kx,y+kx*Dy/Dx)が小数となるとき、レンズ撮像信号I4は周辺画素から線形補間などにより求める。なお、図2のように、Dx、およびDyは、第1のレンズ部113aと第4のレンズ部113dにおけるx方向のレンズ部の間隔、およびy方向のレンズ部の間隔である。
Δ14(ih,iv) = Δ ・・・ (158)
C14(ih,iv) = R14(Δ) ・・・ (159)
そして、上記3つの視差信頼度を比較し最も信頼できる視差値をこのブロックにおける視差値とする。すなわち、下記式(60)のように、3つの視差信頼度C12(ih,iv)、C13(ih,iv)、C14(ih,iv)を比較し、C12(ih,iv)が最も小さいときΔ12(ih,iv)をブロックB(ih,iv)における視差値Δ(ih,iv)とし、C13(ih,iv)が最も小さいときΔ13(ih,iv)をブロックB(ih,iv)における視差値Δ(ih,iv)とし、C14(ih,iv)が最も小さいときΔ14(ih,iv)をブロックB(ih,iv)における視差値Δ(ih,iv)とする。なお、信頼度(C12、C13、C14)として絶対値差分総和(式(53)、(56)、(59))を用いたが正規化相関係数を用いてもよい。この場合、最も大きい信頼度を与える視差値を選択する。ここで、視差値をx方向に統一するため、Δ13(ih,iv)を採用するとき、レンズ部の間隔の比であるDx/Dyを乗ずる。次に、ステップS1360を実行する。
= Δ13(ih,iv)*Dx/Dy (C13(ih,iv)が最も小さいとき)
= Δ14(ih,iv) (C14(ih,iv)が最も小さいとき)
ステップS1360において、視差から距離を演算する。式(7)を距離Aについて解くと式(8)のように表されるため、ブロックB(ih,iv)に含まれる領域の距離DIS(x,y)は、下記式(161)にように示される。ここで、fは焦点距離、Dxはx方向の光軸間距離、pは撮像素子123の受光素子の間隔である。視差値Δが画素単位であるため、視差値Δにpを乗ずることにより、焦点距離fなどと同一の単位系に変換する。次に、ステップS1370を実行する。
ステップS1370において、距離演算を終了するかどうかを判断する。全てのブロックが選択されたとき(選択ブロックがB(Nh-1,Nv-1)のとき)、距離演算を終了すると判断し、次に、ステップS1380を実行する。一方、全てのブロックが選択されたされていないとき(選択ブロックがB(Nh-1,Nv-1)でないとき)、距離演算を継続すると判断し、次に、ステップS1340を実行する。
ry = [1+kk*(T(Ts)-Tk0)]*(f/f0) ・・・(163)
また、実施の形態3の撮像装置において、レンズアレイ113は4つのレンズ部を持ったがこれに限定されない。レンズ部の数が異なっていてもよい。
yc1 = yc10 ・・・(165)
xc2 = xc20 + dbx/2 ・・・(166)
yc2 = yc20 ・・・(167)
また、図37(b)に示すレンズアレイ113Dのように、最外周部のレンズ部同士がx方向にDxだけ、y方向にDyだけ離れた9つのレンズ部(第1のレンズ部113Da、第2のレンズ部113Db、第3のレンズ部113Dc、第4のレンズ部113Dd、第5のレンズ部113De、第6のレンズ部113Df、第7のレンズ部113Dg、第8のレンズ部113Dh、および第9のレンズ部113Di。x方向、y方向に関してそれぞれ等間隔に配置されたもの)を持つものでもよい。なお、係数保存部241にぞれぞれのレンズ部の光軸中心を以下のように決定し保存する。
yc1 = yc10 - dby/2 ・・・(169)
xc2 = xc20 ・・・(170)
yc2 = yc20 - dby/2 ・・・(171)
xc3 = xc30 + dbx/2 ・・・(172)
yc3 = yc30 - dby/2 ・・・(173)
xc4 = xc40 - dbx/2 ・・・(174)
yc4 = yc40 ・・・(175)
xc5 = xc50 ・・・(176)
yc5 = yc50 ・・・(177)
xc6 = xc60 + dbx/2 ・・・(178)
yc6 = yc60 ・・・(179)
xc7 = xc70 - dbx/2 ・・・(180)
yc7 = yc70 + dby/2 ・・・(181)
xc8 = xc80 ・・・(182)
yc8 = yc80 + dby/2 ・・・(183)
xc9 = xc90 + dbx/2 ・・・(184)
yc9 = yc90 + dby/2 ・・・(185)
また、実施の形態3の撮像装置は、歪曲係数kd2,kd4、倍率(rx,ry)、第1のレンズ部113aの光軸中心(xc1,yc1)、第2のレンズ部113bの光軸中心(xc2,yc2)、第3のレンズ部113cの光軸中心(xc3,yc3)、第4のレンズ部113dの光軸中心(xc4,yc4)、焦点距離f、および各レンズ部のx方向の光軸間距離Dxを温度補償し、撮像信号を補正したが、これに限定されない。例えば、高次歪曲係数や、各レンズ部ごとの倍率や、各レンズ部ごとの回転補正などをしてもよい。
110 レンズモジュール
111 鏡筒
112 上部カバーガラス
113 レンズアレイ
113a 第1のレンズ部
113b 第2のレンズ部
113c 第3のレンズ部
113d 第4のレンズ部
120 回路部
121 基板
122 パッケージ
123 撮像素子
124 パッケージカバーガラス
125 SLSI
126 温度センサ
127 金線
131 システム制御部
132 撮像素子駆動部
133 撮像信号入力部
134 入力バッファ
135 前処理部
135a 第1の中間バッファ
135b 第2の中間バッファ
135c 第3の中間バッファ
135d 第4の中間バッファ
135e 前処理演算部
136 演算部
137 出力バッファ
137a 第1の出力バッファ
137b 第2の出力バッファ
138 入出力部
139 温度補償部
139a 温度センサ信号入力部
139b 温度補償演算部
141 演算バッファ
141 第1の演算バッファ
141 第2の演算バッファ
142 視差演算部
143 距離演算部
225 SLSI
234 温度センサ信号入力部
235 入出力部
241 係数保存部
242 温度補償演算部
243 撮像信号補正部
244 距離演算部
Claims (19)
- 複数のレンズを含むレンズアレイと、
前記複数のレンズと一対一に対応して設けられ、対応する前記レンズの光軸方向に対して略垂直な受光面をそれぞれ有する複数の撮像領域と、
前記レンズアレイの近傍に配置され温度を検知する温度センサと、
前記温度センサにより検知された温度に基づいて、前記複数のレンズのすべての光軸の移動量に応じて前記撮像領域において生成された撮像信号を補正する温度補償/撮像信号補正部と、
前記温度補償/撮像信号補正部により補正された前記撮像信号に基づき視差を演算する視差演算部と、を備える、撮像装置。 - 前記温度補償/撮像信号補正部は、前記温度センサにより検知された温度に基づいて、前記複数のレンズのすべての光軸の移動量を推定する移動量推定部と、前記移動量推定部により推定された前記光軸の移動量に基づいて、前記撮像領域において生成された撮像信号を補正する撮像信号補正部と、を含み、
前記視差演算部は、前記撮像信号補正部により補正された前記撮像信号に基づき視差を演算するよう構成されている、請求項1に記載の撮像装置。 - 前記移動量推定部は、前記検知された温度に基づき前記複数のレンズの光軸間の間隔の変化量を算出し、その算出された変化量に基づいて、前記光軸の移動量を推定するように構成されている、請求項2に記載の撮像装置。
- 前記移動量推定部は、前記算出された変化量の半分を前記光軸の移動量と推定するように構成されている、請求項3に記載の撮像装置。
- 前記撮像信号補正部は、前記移動量に基づき、光軸位置を補正し、その光軸周りの歪曲を補正するように構成されている、請求項2に記載の撮像装置。
- 前記撮像信号補正部は、前記移動量に基づき、切り出し領域を変化させるように構成されている、請求項2に記載の撮像装置。
- 前記温度補償/撮像信号補正部は、前記温度センサにより検知された温度に基づいて、前記複数のレンズのすべての光軸の移動量を含む補正係数を作成する補正係数作成部と、前記補正係数に基づいて、前記撮像領域において生成された撮像信号を補正し補正後撮像信号を作成する撮像信号補正部と、を含み、
視差演算部は、前記補正後撮像信号に基づき視差を演算するように構成されている、請求項1に記載の撮像装置。 - 前記補正係数作成部は、前記検知された温度に基づき前記複数のレンズの光軸間の間隔の変化量を算出し、その算出された変化量の半分を前記光軸の移動量として前記補正係数を作成するように構成されている、請求項7に記載の撮像装置。
- 前記温度に応じた複数組の補正係数を複数の補正係数保存値として保存する補正係数保存部を有し、
前記補正係数作成部は、前記複数組の補正係数保存値から前記温度に応じた補正係数保存値を選択して前記補正係数を作成するように構成されている、 請求項7に記載の撮像装置。 - 前記温度センサの信号を入力しデジタル値である温度値を作成する温度センサ信号入力部を有し、
前記補正係数保存部は、前記温度値よりも分解能が粗い組の前記補正係数保存値を保存するように構成されており、
前記補正係数作成部は、前記温度値に基づき複数組の前記補正係数保存値を選択し補間処理して、前記補正係数を作成するように構成されている、請求項9に記載の撮像装置。 - 前記撮像信号補正部は、前記補正係数に基づき参照先座標を求め、前記参照先座標が示す複数の撮像信号を参照し補間処理を施し補正後撮像信号を作成するように構成されている、請求項7に記載の撮像装置。
- 複数のレンズを含むレンズアレイと、前記複数のレンズと一対一に対応して設けられ、対応する前記レンズの光軸方向に対して略垂直な受光面をそれぞれ有する複数の撮像領域とを有する撮像装置に用いられる半導体回路素子であって、
前記レンズアレイの近傍に配置された温度センサによって検知された温度に基づいて、前記複数のレンズのすべての光軸の移動量に応じて前記撮像領域において生成された撮像信号を補正する温度補償/撮像信号補正部と、
前記温度補償/撮像信号補正部により補正された前記撮像信号に基づき視差を演算する視差演算部と、を備える、半導体回路素子。 - 前記温度補償/撮像信号補正部は、前記温度センサにより検知された温度に基づいて、前記複数のレンズのすべての光軸の移動量を推定する移動量推定部と、前記移動量推定部により推定された前記光軸の移動量に基づいて、前記撮像領域において生成された撮像信号を補正する撮像信号補正部と、を含み、
前記視差演算部は、前記撮像信号補正部により補正された前記撮像信号に基づき視差を演算するよう構成されている、請求項12に記載の半導体回路素子。 - 前記移動量推定部は、前記検知された温度に基づき前記複数のレンズの光軸間の間隔の変化量を算出し、その算出された変化量に基づいて、前記光軸の移動量を推定するように構成されている、請求項13に記載の半導体回路素子。
- 前記移動量推定部は、前記算出された変化量の半分を前記光軸の移動量と推定するように構成されている、請求項14に記載の半導体回路素子。
- 前記撮像信号補正部は、前記移動量に基づき、光軸位置を補正し、その光軸周りの歪曲を補正するように構成されている、請求項13に記載の半導体回路素子。
- 前記撮像信号補正部は、前記移動量に基づき、切り出し領域を変化させるように構成されている、請求項13に記載の半導体回路素子。
- 前記温度補償/撮像信号補正部は、前記温度センサにより検知された温度に基づいて、前記複数のレンズのすべての光軸の移動量を含む補正係数を作成する補正係数作成部と、前記補正係数に基づいて、前記撮像領域において生成された撮像信号を補正し補正後撮像信号を作成する撮像信号補正部と、を含み、
視差演算部は、前記補正後撮像信号に基づき視差を演算するように構成されている、請求項12に記載の半導体回路素子。 - 前記補正係数作成部は、前記検知された温度に基づき前記複数のレンズの光軸間の間隔の変化量を算出し、その前記算出された変化量の半分を前記光軸の移動量として前記補正係数を作成するように構成されている、請求項18に記載の半導体回路素子。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007170420 | 2007-06-28 | ||
JP2007170420 | 2007-06-28 | ||
PCT/JP2008/001667 WO2009001563A1 (ja) | 2007-06-28 | 2008-06-26 | 撮像装置及び半導体回路素子 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP4264464B2 true JP4264464B2 (ja) | 2009-05-20 |
JPWO2009001563A1 JPWO2009001563A1 (ja) | 2010-08-26 |
Family
ID=40185388
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008550304A Active JP4264464B2 (ja) | 2007-06-28 | 2008-06-26 | 撮像装置及び半導体回路素子 |
Country Status (3)
Country | Link |
---|---|
US (1) | US8395693B2 (ja) |
JP (1) | JP4264464B2 (ja) |
WO (1) | WO2009001563A1 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2010010707A1 (ja) * | 2008-07-23 | 2010-01-28 | パナソニック株式会社 | 撮像装置及び半導体回路素子 |
JP2011044801A (ja) * | 2009-08-19 | 2011-03-03 | Toshiba Corp | 画像処理装置 |
US8395693B2 (en) | 2007-06-28 | 2013-03-12 | Panasonic Corporation | Image pickup apparatus and semiconductor circuit element |
JP2014174484A (ja) * | 2013-03-12 | 2014-09-22 | Ricoh Co Ltd | 撮像システム |
Families Citing this family (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2010100915A1 (ja) * | 2009-03-06 | 2010-09-10 | パナソニック株式会社 | 測距装置及びその製造方法 |
JP5493900B2 (ja) * | 2010-01-18 | 2014-05-14 | 株式会社リコー | 撮像装置 |
US9122320B1 (en) * | 2010-02-16 | 2015-09-01 | VisionQuest Imaging, Inc. | Methods and apparatus for user selectable digital mirror |
JP5387856B2 (ja) * | 2010-02-16 | 2014-01-15 | ソニー株式会社 | 画像処理装置、画像処理方法、画像処理プログラムおよび撮像装置 |
TWI423143B (zh) * | 2010-06-17 | 2014-01-11 | Pixart Imaging Inc | 影像感測模組 |
US10200671B2 (en) | 2010-12-27 | 2019-02-05 | 3Dmedia Corporation | Primary and auxiliary image capture devices for image processing and related methods |
US8274552B2 (en) * | 2010-12-27 | 2012-09-25 | 3Dmedia Corporation | Primary and auxiliary image capture devices for image processing and related methods |
JP2013109011A (ja) * | 2011-11-17 | 2013-06-06 | Toshiba Corp | カメラモジュール |
JP2013179564A (ja) * | 2012-02-01 | 2013-09-09 | Canon Inc | 画像処理方法、画像処理装置および撮像装置 |
US9177503B2 (en) * | 2012-05-31 | 2015-11-03 | Apple Inc. | Display having integrated thermal sensors |
WO2014192642A1 (ja) * | 2013-05-28 | 2014-12-04 | コニカミノルタ株式会社 | 画像処理装置および画像処理方法 |
KR102316448B1 (ko) | 2015-10-15 | 2021-10-25 | 삼성전자주식회사 | 이미지 장치 및 그것의 뎁쓰 계산 방법 |
US10690495B2 (en) * | 2016-03-14 | 2020-06-23 | Canon Kabushiki Kaisha | Ranging apparatus and moving object capable of high-accuracy ranging |
WO2018230095A1 (ja) * | 2017-06-15 | 2018-12-20 | 日立オートモティブシステムズ株式会社 | 車両制御装置 |
US10342094B1 (en) | 2017-12-19 | 2019-07-02 | Cree, Inc. | Lighting device with active thermal management |
DE102019210508A1 (de) * | 2019-07-16 | 2021-01-21 | Conti Temic Microelectronic Gmbh | Optisches Sensormodul und Verfahren |
WO2024035565A1 (en) * | 2022-08-08 | 2024-02-15 | Vis, Llc | Temperature sensing light control |
Family Cites Families (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04350613A (ja) | 1991-05-28 | 1992-12-04 | Hitachi Ltd | 画像認識装置 |
JPH0787385A (ja) | 1993-09-10 | 1995-03-31 | Canon Inc | 撮像装置 |
JPH10281761A (ja) | 1997-04-02 | 1998-10-23 | Fuji Electric Co Ltd | 測距装置 |
JP3976887B2 (ja) | 1998-04-17 | 2007-09-19 | キヤノン株式会社 | カメラ |
JP2001099643A (ja) * | 1999-07-23 | 2001-04-13 | Fuji Electric Co Ltd | 測距装置 |
US6785028B1 (en) * | 1999-11-24 | 2004-08-31 | Ricoh Company, Ltd. | Optical scanning device having a temperature compensation unit |
CN1454310A (zh) * | 2000-09-04 | 2003-11-05 | 早川昇 | 温度显示装置及温度监视系统 |
US7262799B2 (en) * | 2000-10-25 | 2007-08-28 | Canon Kabushiki Kaisha | Image sensing apparatus and its control method, control program, and storage medium |
JP3703424B2 (ja) | 2000-10-25 | 2005-10-05 | キヤノン株式会社 | 撮像装置及びその制御方法及び制御プログラム及び記憶媒体 |
JP2003143459A (ja) * | 2001-11-02 | 2003-05-16 | Canon Inc | 複眼撮像系およびこれを備えた装置 |
WO2004106857A1 (ja) * | 2003-05-29 | 2004-12-09 | Olympus Corporation | ステレオ光学モジュール及びステレオカメラ |
EP1637837A1 (en) * | 2003-05-29 | 2006-03-22 | Olympus Corporation | Stereo camera system and stereo optical module |
JP2007263563A (ja) | 2004-06-03 | 2007-10-11 | Matsushita Electric Ind Co Ltd | カメラモジュール |
JP2006122338A (ja) * | 2004-10-28 | 2006-05-18 | Aruze Corp | 遊技機及びプログラム |
JP2007033315A (ja) | 2005-07-28 | 2007-02-08 | Pentax Corp | 3次元物体測量装置および測量写真解析装置 |
JP2007081806A (ja) | 2005-09-14 | 2007-03-29 | Konica Minolta Holdings Inc | 撮像システム |
JP4976310B2 (ja) * | 2005-11-22 | 2012-07-18 | パナソニック株式会社 | 撮像装置 |
JP2007271301A (ja) | 2006-03-30 | 2007-10-18 | Matsushita Electric Ind Co Ltd | 撮像装置 |
US7675536B2 (en) * | 2006-04-19 | 2010-03-09 | Lexmark International, Inc. | Architectures for multi-functional image forming devices |
JP2007322128A (ja) | 2006-05-30 | 2007-12-13 | Matsushita Electric Ind Co Ltd | カメラモジュール |
US8395693B2 (en) | 2007-06-28 | 2013-03-12 | Panasonic Corporation | Image pickup apparatus and semiconductor circuit element |
US7826736B2 (en) * | 2007-07-06 | 2010-11-02 | Flir Systems Ab | Camera and method for use with camera |
-
2008
- 2008-06-26 US US12/667,029 patent/US8395693B2/en active Active
- 2008-06-26 JP JP2008550304A patent/JP4264464B2/ja active Active
- 2008-06-26 WO PCT/JP2008/001667 patent/WO2009001563A1/ja active Application Filing
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8395693B2 (en) | 2007-06-28 | 2013-03-12 | Panasonic Corporation | Image pickup apparatus and semiconductor circuit element |
WO2010010707A1 (ja) * | 2008-07-23 | 2010-01-28 | パナソニック株式会社 | 撮像装置及び半導体回路素子 |
US8390703B2 (en) | 2008-07-23 | 2013-03-05 | Panasonic Corporation | Image pickup apparatus and semiconductor circuit element |
JP2011044801A (ja) * | 2009-08-19 | 2011-03-03 | Toshiba Corp | 画像処理装置 |
US8339483B2 (en) | 2009-08-19 | 2012-12-25 | Kabushiki Kaisha Toshiba | Image processing device, solid-state imaging device, and camera module |
JP2014174484A (ja) * | 2013-03-12 | 2014-09-22 | Ricoh Co Ltd | 撮像システム |
Also Published As
Publication number | Publication date |
---|---|
US8395693B2 (en) | 2013-03-12 |
JPWO2009001563A1 (ja) | 2010-08-26 |
US20100182484A1 (en) | 2010-07-22 |
WO2009001563A1 (ja) | 2008-12-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4264464B2 (ja) | 撮像装置及び半導体回路素子 | |
JP4510930B2 (ja) | 撮像装置及び半導体回路素子 | |
EP3399355B1 (en) | Dual-core focusing image sensor, focusing control method for the same, and electronic device | |
US8405820B2 (en) | Ranging device and ranging module and image-capturing device using the ranging device or the ranging module | |
JP4322921B2 (ja) | カメラモジュールおよびそれを備えた電子機器 | |
JP4441585B1 (ja) | 撮像装置及び半導体回路素子 | |
JP4839827B2 (ja) | 3次元測定装置 | |
WO2009125577A1 (ja) | 撮像装置、撮像システムおよび撮像方法 | |
CN106068643B (zh) | 摄像装置 | |
US8314865B2 (en) | Lens shading correction | |
US20120230549A1 (en) | Image processing device, image processing method and recording medium | |
CN102192724B (zh) | 距离测量和光度测定装置、以及成像设备 | |
US20140118516A1 (en) | Solid state imaging module, solid state imaging device, and information processing device | |
EP2902967A1 (en) | Stereo camera calibration method, disparity calculating device, and stereo camera | |
JP6780662B2 (ja) | 受光装置、制御方法、及び、電子機器 | |
JP5857712B2 (ja) | ステレオ画像生成装置、ステレオ画像生成方法及びステレオ画像生成用コンピュータプログラム | |
KR102597470B1 (ko) | 뎁스 맵 결정 방법 및 그 방법을 적용한 전자 장치 | |
CN102202178A (zh) | 图像处理方法及图像处理装置 | |
JP5493900B2 (ja) | 撮像装置 | |
JP2007271301A (ja) | 撮像装置 | |
JP2010002280A (ja) | 撮像装置、測距装置及び視差算出方法 | |
US20120228482A1 (en) | Systems and methods for sensing light | |
JP5434816B2 (ja) | 測距装置及び撮像装置 | |
JP6060482B2 (ja) | 測距装置、測距システム、測距プログラムおよび視差補正方法 | |
CN110955056A (zh) | 多影像投影机以及具有多影像投影机的电子装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090120 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090216 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120220 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4264464 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130220 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130220 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140220 Year of fee payment: 5 |