WO2007132717A1

WO2007132717A1 - 撮像装置及び半導体回路素子

Info

Publication number: WO2007132717A1
Application number: PCT/JP2007/059630
Authority: WO
Inventors: Tomokuni Iijima; Katsumi Imada; Satoshi Tamaki
Original assignee: Panasonic Corporation
Priority date: 2006-05-16
Filing date: 2007-05-10
Publication date: 2007-11-22
Also published as: US20090174804A1; US8107000B2; JP4441585B1; JP2009207158A; CN101449574B; JP4436427B2; JP2010114900A; CN101449574A; JPWO2007132717A1

Abstract

　それぞれが少なくとも１枚のレンズを含む複数のレンズ部と、それらのレンズ部に一対一に対応して設けられ、対応するレンズ部の光軸方向に対して略垂直な受光面をそれぞれ有する複数の撮像領域と、それらの撮像領域により生成された撮像信号の入力を受ける撮像信号入力部１３３と、前記撮像領域から撮像信号入力部１３３へ転送される撮像信号の転送範囲を決定する転送範囲決定部１４４と、転送範囲決定部１４４により決定された転送範囲に応じた撮像信号を撮像信号入力部１３３へ転送するように前記撮像領域を駆動する撮像領域駆動部１３２と、撮像信号入力部１３３に転送された撮像信号に基づき視差を演算する視差演算部１４２とを備えており、転送範囲決定部１４４は、前記複数の撮像領域のうち少なくとも２つの撮像領域で生成される撮像信号を転送範囲と決定する第１の動作モードと、第１の動作モードとは異なる撮像信号を転送範囲と決定する第２の動作モードとを切り替える。

Description

明細書

撮像装置及び半導体回路素子

技術分野

[0001] 本発明は、距離計測可能な撮像装置及びその撮像装置に用いられる半導体回路素子に関する。

背景技術

[0002] 従来の撮像装置として、特許文献 1の撮像装置がある。図 53は、特許文献 1の撮像装置の分解斜視図である。撮像装置 901は、絞り部材 902と、光学レンズアレイ 903 と、光学フィルタ 906と、撮像ユニット 907とを備えている。この撮像装置 901において、 4つの開口部 902— 1、 902— 2、 902— 3、 902— 4を持つ絞り部材 902と、 4つのレンズ 903— 1、 903— 2、 903— 3、 903— 4を持つ光学レンズアレイ 903とにより、 4つの撮像光学系が構成されており、それぞれを通過した光線がそれぞれ撮像ュニッ卜 907上の 4つの画素群 907— 1、 907— 2、 907— 3、 907— 4に結像する。 CC Dセンサなどで形成された撮像ユニット 907は、駆動回路 908と信号処理回路 909と共に半導体基板 910上に形成される。

[0003] 信号処理回路 909は、駆動回路から 908により撮像ユニット 907の画素情報を順次読み出し画素信号として入力し、画素信号から各画素群（907— 1、 907— 2、 907 _ 3、 907— 4)における視差の値を演算し、この視差に基づき距離を演算する。特許文献 1 :特開 2003— 143459号公報

発明の開示

発明が解決しょうとする課題

[0004] 前述のように、特許文献 1に記載された従来の撮像装置において、信号処理回路 9 09は、撮像ユニット 907上の 4つの画素分 907— 1、 907— 2、 907— 3、 907— 4の全ての画素情報を駆動回路 908を用いて読み出し、視差を演算する。そのため、全ての画素情報を撮像ユニット 907から信号処理回路 909へ転送する分だけ転送時間が必要であり、その転送時間の分だけ高速化に限界があった。すなわち、視差演算の間隔は、この転送時間より短くできなかった。 [0005] また、撮像ユニット 907として、ローリングシャツタ方式の CMOSセンサを利用した場合、画素群 907— 1、 907— 2、 907— 3、 907— 4により撮像される時刻が異なる。被写体の動作が速いとき、視差演算に利用する撮像信号が異なるため、求められる視差の精度が低下する。

[0006] 本発明は、上記問題に鑑みなされたもので、高速で高精度な視差演算を可能とする撮像装置及びその撮像装置に用いられる半導体回路素子を提供することを目的とする。すなわち、撮像信号の転送時間を短縮することにより、高速な視差演算を可能とし、被写体の動作が速くても、高精度な視差演算を可能とする撮像装置及び半導体回路素子を提供することを目的とする。

課題を解決するための手段

[0007] 上述した課題を解決するために、本発明の撮像装置は、それぞれが少なくとも 1枚のレンズを含む複数のレンズ部と、前記複数のレンズ部に一対一に対応して設けられ、対応する前記レンズ部の光軸方向に対して略垂直な受光面をそれぞれ有する複数の撮像領域と、前記撮像領域により生成された撮像信号の入力を受ける撮像信号入力部と、前記撮像領域から前記撮像信号入力部へ転送される撮像信号の転送範囲を決定する転送範囲決定部と、前記転送範囲決定部により決定された転送範囲に応じた撮像信号を前記撮像信号入力部へ転送するように前記撮像領域を駆動する撮像領域駆動部と、前記撮像信号入力部に転送された撮像信号に基づき視差を演算する視差演算部とを備え、前記転送範囲決定部は、前記複数の撮像領域のうち少なくとも 2つの撮像領域で生成される撮像信号を前記転送範囲と決定する第 1の動作モードと、第 1の動作モードとは異なる撮像信号を前記転送範囲と決定する第 2の動作モードとを切替可能なように構成されてレ、る。

[0008] 常に撮像領域の全領域で生成される撮像信号を転送する場合、転送時間が長時間となるため、高速な視差演算を行うことは困難である。そこで、上述したように、第 1 の動作モードと第 2の動作モードとを適宜切り替えることにより、転送が必要な範囲のみの撮像信号を転送すれば足りるようになるため、高速な視差演算が可能となる。

[0009] 前記発明に係る撮像装置において、前記転送範囲決定部が、前記撮像領域の略全領域で生成される撮像信号を前記転送範囲とする第 1の動作モードと、前記撮像領域の略半分の領域で生成される撮像信号を前記転送範囲とする第 2の動作モードとを切替可能なように構成されてレ、てもよレ、。

[0010] また、前記発明に係る撮像装置において、前記略半分の領域を、前記撮像領域のうち転送順の早い略半分の領域としてもよぐ 4つの撮像領域が 2行 2列で配設されている場合であれば、前記略半分の領域を、対角位置にある 2つの前記撮像領域としてもよい。

[0011] また、前記発明に係る撮像装置において、前記撮像領域がインターレース走查される複数のフィールドに分割され、前記転送範囲決定部が、前記撮像領域の略全領域で生成される撮像信号を前記転送範囲とする第 1の動作モードと、前記撮像領域の 1フィールド分の撮像信号を前記転送範囲とする第 2の動作モードとを切替可能なように構成されてレ、てもよレ、。

[0012] また、前記発明に係る撮像装置において、前記転送範囲決定部が、被写体に関する情報に基づいて、前記第 1の動作モードと前記第 2の動作モードとを切り替えるように構成されていてもよい。

[0013] また、前記発明に係る撮像装置において、前記転送範囲決定部が、視差の演算に高速性が必要であると判断した場合に、前記第 1の動作モードから前記第 2の動作モードへ切り替えるように構成されてレ、てもよレ、。

[0014] また、前記発明に係る撮像装置において、前記転送範囲決定部が、視差の演算に高精度が必要であると判断した場合に、前記第 2の動作モードから前記第 1の動作モードへ切り替えるように構成されてレ、てもよレ、。

[0015] また、前記発明に係る撮像装置において、前記転送範囲決定部が、前記第 1の動作モード及び前記第 ₂の動作モードの何れにおいても、前記複数の撮像領域のうちの一部の撮像領域で生成される撮像信号を前記転送範囲と決定するように構成されていてもよい。

[0016] また、前記発明に係る撮像装置において、前記転送範囲決定部が、前記第 1の動作モード及び前記第 ₂の動作モードの少なくとも何れかにおいて、動作する被写体を撮像する撮像領域で生成される撮像信号を前記転送範囲と決定するように構成されていてもよい。 [0017] また、前記発明に係る撮像装置において、前記転送範囲決定部が、前記被写体の動作の速さに基づいて、前記第 1の動作モードと前記第 2の動作モードとを切り替えるように構成されてレ、てもよレ、。

[0018] また、前記発明に係る撮像装置において、前記転送範囲決定部が、前記被写体の動作が速い場合には多くの撮像領域で生成される撮像信号を前記転送範囲と決定する動作モードに、前記被写体の動作が遅い場合には少ない撮像領域で生成される撮像信号を前記転送範囲と決定する動作モードにそれぞれ切り替えるように構成されていてもよい。

[0019] また、前記発明に係る撮像装置において、前記転送範囲決定部が、前記第 1の動作モード及び前記第 ₂の動作モードの少なくとも何れかにおいて、前記転送範囲の撮像信号に係る画素数を略一定とするように構成されていてもよい。

[0020] また、前記発明に係る撮像装置において、前記撮像領域が、路面に相当する領域を含む領域を撮像するように構成されており、前記転送範囲決定部が、前記第 1の動作モード及び前記第 2の動作モードの少なくとも何れかにおいて、前記路面に相当する領域以外の領域に係る撮像信号を前記転送範囲とするように構成されていてあよい。

[0021] また、前記発明に係る撮像装置において、前記撮像領域が、人の顔に相当する領域を含む領域を撮像するように構成されており、前記転送範囲決定部が、前記第 1 の動作モード及び前記第 2の動作モードの少なくとも何れかにおいて、前記人の顔に相当する領域に係る撮像信号を前記転送範囲とするように構成されていてもよい。

[0022] また、前記発明に係る撮像装置において、前記複数の撮像領域のうちの少なくとも 2つの撮像領域は、生成する撮像信号の一部を前記撮像信号入力部へ交互に転送することを繰り返すことによって、生成する撮像信号の全てを前記撮像信号入力部へ転送するように構成されてレ、てもよレ、。

[0023] さらに、前記発明に係る撮像装置が、前記視差演算部によって得られた視差に基づいて、被写体までの距離を演算する距離演算部を更に備えるようにしてもよい。

[0024] また、本発明の半導体回路素子は、それぞれが少なくとも 1枚のレンズを含む複数のレンズ部と、前記複数のレンズ部に一対一に対応して設けられ、対応する前記レンズ部の光軸方向に対して略垂直な受光面をそれぞれ有する複数の撮像領域とを有する撮像装置に用いられる半導体回路素子であって、前記撮像領域により生成された撮像信号の入力を受ける撮像信号入力部と、前記撮像領域から前記撮像信号入力部へ転送される撮像信号の転送範囲を決定する転送範囲決定部と、前記転送範囲決定部により決定された転送範囲に応じた撮像信号を前記撮像信号入力部へ転送するように前記撮像領域を駆動する撮像素子駆動部と、前記撮像信号入力部に転送された撮像信号に基づき視差を演算する視差演算部とを備え、前記転送範囲決定部は、前記複数の撮像領域のうち少なくとも 2つの撮像領域で生成される撮像信号を前記転送範囲と決定する第 1の動作モードと、第 1の動作モードとは異なる撮像信号を前記転送範囲と決定する第 2の動作モードとを切替可能なように構成されている。

図面の簡単な説明

[図 1]本発明の実施の形態 1に係る撮像装置の構成を示す断面図

[図 2]本発明の実施の形態 1に係る撮像装置のレンズの構成を示す平面図

[図 3A]本発明の実施の形態 1に係る撮像装置の回路部の構成を示す平面図

[図 3B]本発明の実施の形態 1に係る撮像装置の撮像素子の構成を示す平面図 [図 4]本発明の実施の形態 1に係るカメラモジュールのカラーフィルタの特性図

[図 5]本発明の実施の形態 1に係る撮像装置において、無限遠にある物体像の位置を説明するための図

[図 6]本発明の実施の形態 1に係る撮像装置において、有限距離の位置にある物体像の位置を説明するための図

[図 7]本発明の実施の形態 1に係る撮像装置の構成を示すブロック図

[図 8]本発明の実施の形態 1に係る撮像装置の撮像信号の切り出し位置を説明するための図

[図 9]本発明の実施の形態 1に係る撮像装置の撮像信号の転送を示すタイミングチヤート

[図 10A]本発明の実施の形態 1に係る撮像装置の動作を示すフローチャート

[図 10B]本発明の実施の形態 1に係る撮像装置の動作の変形例を示すフローチヤ一 h

園 11A]本発明の実施の形態 1に係る撮像装置の演算部の動作を示すフローチヤ一 h

園 11B]本発明の実施の形態 1に係る撮像装置の演算部の動作の変形例を示すフロ

^ -"ί ""ヤ^ ト

園 12]本発明の実施の形態 1に係る撮像装置の視差演算の動作を示すフローチヤート

園 13]本発明の実施の形態 1に係る撮像装置の第 1の撮像信号と第 2の撮像信号とを利用した視差演算の動作を示すフローチャート

園 14]本発明の実施の形態 1に係る撮像装置の第 1の撮像信号と第 2の撮像信号とを利用した視差演算における第 1の撮像信号の分割ブロックと演算順番を説明する図

園 15]本発明の実施の形態 1に係る撮像装置の第 1の撮像信号と第 2の撮像信号とを利用した視差演算における第 2の撮像信号の分割ブロックと演算順番を説明する図

園 16]本発明の実施の形態 1に係る撮像装置において、第 1の撮像信号と第 2の撮像信号を利用したときの視差演算における視差評価値の演算領域を説明する図園 17]本発明の実施の形態 1に係る撮像装置の第 1の撮像信号と第 2の撮像信号を利用したときの視差演算における視差と視差評価値との関係を説明する図園 18]本発明の実施の形態 1に係る撮像装置において、第 1の撮像信号と第 2の撮像信号を利用したときの視差演算における視差評価値の信頼度の演算領域を説明する図

園 19]本発明の実施の形態 1に係る撮像装置の変形のフィールド画像を説明する図園 20]本発明の実施の形態 1に係る撮像装置の変形の撮像信号の転送を示すタイミングチャート

園 21]本発明の実施の形態 2に係る撮像装置の構成を示す断面図

[図 22]本発明の実施の形態 2に係る撮像装置の回路部の構成を示す平面図園 23]本発明の実施の形態 2に係るカメラモジュールのカラーフィルタの特性図園 24]本発明の実施の形態 2に係る撮像装置の構成を示すブロック図

園 25]本発明の実施の形態 2に係る撮像装置の撮像信号の切り出し位置を説明するための図

園 26]本発明の実施の形態 2に係る撮像装置の撮像信号の転送を示すタイミングチヤート

園 27]本発明の実施の形態 2に係る撮像装置の動作を示すフローチャート園 28]本発明の実施の形態 2に係る撮像装置の演算部の動作を示すフローチャート園 29]本発明の実施の形態 2に係る撮像装置の視差演算の動作を示すフローチヤート

園 30]本発明の実施の形態 2に係る撮像装置の第 2の撮像信号と第 3の撮像信号とを利用した視差演算の動作を示すフローチャート

園 31]本発明の実施の形態 2に係る撮像装置の第 2の撮像信号と第 3の撮像信号とを利用した視差演算における第 2の撮像信号の分割ブロックと演算順番を説明する図

園 32]本発明の実施の形態 2に係る撮像装置の第 2の撮像信号と第 3の撮像信号とを利用した視差演算における第 3の撮像信号の分割ブロックと演算順番を説明する図

園 33]本発明の実施の形態 2に係る撮像装置の第 2の撮像信号と第 3の撮像信号を利用したときの視差演算における視差評価値の演算領域を説明する図

園 34]本発明の実施の形態 2に係る撮像装置の第 2の撮像信号と第 3の撮像信号を利用したときの視差演算における視差評価値の信頼度の演算領域を説明する図園 35]本発明の実施の形態 2に係る撮像装置の第 1の撮像信号と第 4の撮像信号とを利用した視差演算の動作を示すフローチャート

園 36]本発明の実施の形態 2に係る撮像装置の第 1の撮像信号と第 4の撮像信号とを利用した視差演算における第 4の撮像信号の分割ブロックと演算順番を説明する図

園 37]本発明の実施の形態 2に係る撮像装置の第 1の撮像信号と第 4の撮像信号を利用したときの視差演算における視差評価値の演算領域を説明する図園 38]本発明の実施の形態 2に係る撮像装置の第 1の撮像信号と第 4の撮像信号を利用したときの視差演算における視差評価値の信頼度の演算領域を説明する図 [図 39]本発明の実施の形態 2に係る撮像装置の変形の撮像信号の切り出し位置を説明するための図

[図 40]本発明の実施の形態 3に係る撮像装置の構成を示す断面図

園 41]本発明の実施の形態 3に係る撮像装置のレンズの構成を示す平面図

[図 42]本発明の実施の形態 3に係る撮像装置の回路部の構成を示す平面図園 43]本発明の実施の形態 3に係る撮像装置の構成を示すブロック図

園 44]本発明の実施の形態 3に係る撮像装置の動作を示すフローチャート園 45]本発明の実施の形態 3に係る撮像装置の撮像信号の切り出し位置を説明するための図

園 46]本発明の実施の形態 3に係る撮像装置の第 1の撮像信号と第 2の撮像信号とを利用した視差演算における第 1の撮像信号の分割ブロックと演算順番と転送範囲フラッグとを説明する図

園 47]本発明の実施の形態 3に係る撮像装置の第 1の撮像信号と第 2の撮像信号とを利用した視差演算における第 2の撮像信号の分割ブロックと演算順番と転送範囲フラッグとを説明する図

園 48]本発明の実施の形態 3に係る撮像装置の演算部の動作を示すフローチャート園 49]本発明の実施の形態 3に係る撮像装置の視差演算の動作を示すフローチヤート

園 50]本発明の実施の形態 3に係る撮像装置の転送範囲を説明する図

園 51]本発明の実施の形態 3に係る撮像装置の変形の転送範囲を説明する図園 52]本発明の実施の形態 3に係る撮像装置の変形の転送範囲を説明する図

[図 53]従来技術の特許文献 1の撮像装置の分解斜視図

符号の説明

101 , 201, 301 カメラモジユーノレ

110, 310 レンズモジュール

111 , 311 鏡筒 112, 312 上部カバーガラス

113, 313 レンズ

113a, 313a 第 1のレンズ部 113b, 313b 第 2のレンズ部 1 13c 第 3のレンズ部

113d 第 4のレンズ咅 B

120, 220， 320 回路部

121 , 321 基板

122, 322 パッケージ

123, 223, 323 撮像素子

124, 224 パッケージカバーガラス 124a, 224a 第 1のカラーフィノレタ 124b, 224b 第 2のカラーフィルタ 124c, 224c 第 3のカラーフィノレタ 24d, 224d 第 4のカラーフィルタ 24e, 224e 遮光部

25, 225, 325 SLSI

27, 327 金線

31 , 231， 331 システム制御部 32, 232， 332 撮像素子駆動部 32a 第 1の撮像素子駆動部 32b 第 2の撮像素子駆動部 33, 233， 333 撮像信号入力部 34, 234， 334 前処理部

35, 335 入力バッファ

35a, 335a 第 1の入力バッファ 35b, 335b 第 2の入力バッファ 35c 第 3の入力バッファ 135d 第 4の入力バッファ

136, 236, 336 画像処理部

137, 337 出力バッファ

137a, 337a 第 1の出カノッファ

137b, 337b 第 2の出力バッファ

138, 338 入出力部

141 , 241 , 341 演算ノッファ

141a, 241a, 341a 第 1の演算ノッファ

141b, 241b, 341b 第 2の演算バッファ

142, 242, 342 視差演算部

143, 343 距離演算部

144, 344 出力範囲決定部

発明を実施するための最良の形態

[0027] 以下、本発明の実施の形態に係る撮像装置について、図面を参照しながら説明する。

[0028] (実施の形態 1)

本発明の実施の形態 1に係る撮像装置によれば、転送範囲決定部が、撮像信号の転送範囲を適宜変更する。特に、撮像領域の略全領域で生成される撮像信号を転送範囲とする場合と撮像領域の略半分の領域 (転送順の早い領域)で生成される撮像信号を転送範囲とする場合とを切り替える。すなわち、高速性が要求されるような場合では、撮像領域の略半分の領域 (転送順の早い領域)で生成される撮像信号を転送範囲とする。このことにより、高速性が必要な場合は、転送を半分の領域で生成される撮像信号に限定するため、全領域の場合と比較し、転送に要する時間が半減される。したがって、高速な視差演算、距離演算を可能にする撮像装置を実現することができる。

[0029] 以下、本発明の実施の形態 1に係る撮像装置について、図面を参照しながら説明する。

[0030] 図 1は、本発明の実施の形態 1に係る撮像装置の構成を示す断面図である。図 1に示すように、撮像装置 101は、レンズモジュール部 110、および回路部 120を有する

[0031] レンズモジュール部 110は、鏡筒 111、上部カバーガラス 112、およびレンズ 113を有する。回路部 120は、基板 121、パッケージ 122、撮像素子 123、パッケージカバ一ガラス 124、および半導体回路素子であるシステム LSI (以下、 SLSIと記す） 125 を有する。

[0032] 鏡筒 111は、円筒状であり、その内壁面は光の乱反射を防止するためにつやが消された黒色であり、樹脂を射出成形し形成される。上部カバーガラス 112は、円盤状であり、透明樹脂から形成され、鏡筒 111の上部の内壁に接着剤などにより固着され、その表面は摩擦などによる損傷を防止する保護膜と、入射光の反射を防止する反射防止膜とが設けられている。

[0033] 図 2は、本発明の実施の形態 1に係る撮像装置のレンズの構成を示す平面図である。レンズ 113は、略円盤状であり、ガラスや透明樹脂から形成され、第 1のレンズ部 113a,第 2のレンズ部 113b、第 3のレンズ部 113c、および第 4のレンズ部 113dが 2 行 2列で碁盤目状に配置される。第 1〜第 4のレンズ部 113a〜 113dの配置方向に沿って、図 2に示すように X軸及び y軸を設定する。第 1のレンズ部 113a、第 2のレンズ部 113b、第 3のレンズ部 113c、および第 4のレンズ部 113dにおいて、被写体側力入射した光は、撮像素子 123側へ射出され、撮像素子 123上に 4つの像が結像される。なお、図 2に示すように、第 1のレンズ部 113aの光軸と第 2のレンズ部 113b の光軸は、水平方向（X軸方向）は Dだけ離れており、垂直方向（y軸方向）は一致する。第 1のレンズ部 113aの光軸と第 3のレンズ部 113cの光軸は、水平方向（x軸方向 )は一致しており、垂直方向（y軸方向）は Dだけ離れている。第 3のレンズ部 113cの光軸と第 4のレンズ部 113dの光軸は、水平方向（X軸方向）は Dだけ離れており、垂直方向（y軸方向）は一致する。

[0034] 基板 121は、樹脂基板から構成され、上面に鏡筒 111がその底面を接して接着剤などにより固着される。このようにして、レンズモジュール部 110と回路部 120とが固定され、撮像装置 101を構成する。

[0035] パッケージ 122は、金属端子を有する樹脂からなり、鏡筒 111の内側において、基板 121の上面にその金属端子部が半田づけ等されて固着される。

[0036] 撮像素子 123は、プログレッシブ CCDセンサであり、撮像素子 123の受光面が第 1 のレンズ部 113a、第 2のレンズ部 113b、第 3のレンズ部 113c、および第 4のレンズ部 113dの光軸と略垂直になるようにして配置される。撮像素子 123の各端子は、パッケージ 122の内側の底部の金属端子にワイヤーボンディングにより金線 127で接続され、基板 121を介して、 SLSI125と電気的に接続される。撮像素子 123の受光面に、第 1のレンズ部 113a、第 2のレンズ部 113b、第 3のレンズ部 113c、および第 4 のレンズ部 113dから射出された光がそれぞれ結像し、その光の情報がフォトダイォードにより電気の情報へ変換され、その電気の情報が SLSI125に転送される。

[0037] 図 3Aは、本発明の実施の形態 1に係る撮像装置の回路部の構成を示す平面図である。パッケージカバーガラス 124は、平板状であり、透明樹脂により形成され、パッケージ 122の上面に接着などにより固着される。パッケージカバーガラス 124の上面には、第 1のカラーフィルタ 124a、第 2のカラーフィルタ 124b、第 3のカラーフィルタ 1 24c、第 4のカラーフィルタ 124d、および遮光部 124eが蒸着などにより配置される。また、パッケージカバーガラス 124の下面には、反射防止膜が蒸着などにより配置される。

[0038] 図 3Bは、本発明の実施の形態 1に係る撮像装置の撮像素子の構成を示す平面図である。図 3Bに示すように、撮像素子 123は、第 1の撮像領域 123a、第 2の撮像領域 123b、第 3の撮像領域 123c、および第 4の撮像領域 123dで構成されている。これらの第 1〜第 4の撮像領域 123a〜123dは、それぞれの受光面が、第 1〜第 4のレンズ部 113a〜 113dの光軸と略垂直になるようにして 2行 2列で配置される。これらの各撮像領域 123a〜： 123dにて撮像信号が生成される。

[0039] 上述したように、本実施の形態では、 1個の撮像素子が複数の撮像領域を有しているが、本発明の撮像装置はこれに限定されるわけではなぐその他の態様で複数の撮像領域を有するようにしてもよい。したがって、例えば 1個の撮像素子が 1個の撮像領域となり、そのような撮像素子を複数設けることによって、複数の撮像領域を有するような態様であってもよい。

[0040] 図 4は、本発明の実施の形態 1に係るカメラモジュールのカラーフィルタの特性図である。第 1のカラーフィルタ 124a、および第 2のカラーフィルタ 124bは、図 4の IRで示した主に近赤外光を透過する分光透過特性 (波長 λ 1を中心とする透過特性。例えば、 λ l = 870nm)を有し、第 3のカラーフィルタ 124c、および第 4のカラーフィルタ 1 24dは、図 4の Gで示した主に緑色光を透過する分光透過特性 (波長 λ 2を中心とする透過特性。例えば、 2 = 500nm)を有する。

[0041] したがって、第 1のレンズ部 113aの上部から入射した物体光は、第 1のレンズ部 11 3aの下部力射出され、第 1のカラーフィルタ 124aにより主に近赤外光が透過し、第 1の撮像領域 123aの受光部に結像するため、第 1の撮像領域 123aは物体光のうち近赤外光成分を受光する。また、第 2のレンズ部 113bの上部から入射した物体光は、第 2のレンズ部 113bの下部から射出され、第 2のカラーフィルタ 224b主に近赤外光が透過し、第 2の撮像領域 123bの受光部に結像するため、第 2の撮像領域 123b は物体光のうち近赤外光成分を受光する。また、第 3のレンズ部 1 13cの上部から入射した物体光は、第 3のレンズ部 113cの下部から射出され、第 3のカラーフィルタ 22 4cにより主に緑色光が透過し、第 3の撮像領域 123cの受光部に結像するため、第 3 の撮像領域 123cは物体光のうち緑色光成分を受光する。更に、第 4のレンズ部 113 dの上部から入射した物体光は、第 4のレンズ部 113dの下部から射出され、第 4の力ラーフィルタ 224dにより主に緑色光が透過し、第 4の撮像領域 123dの受光部に結像するため、第 4の撮像領域 123dは物体光のうち緑色光成分を受光する。

[0042] SLSI125は、後述の方法で、撮像素子 123を駆動し、撮像素子 123からの電気情報を入力し、各種演算を行い、上位 CPUと通信を行い、外部に画像情報や距離情報などを出力する。なお、 SLSI125は、電源（例えば 3· 3V)とグランド（例えば、 OV )に接続される。

[0043] 次に、被写体距離と視差との関係を説明する。本発明の実施の形態 1に係る撮像装置は、 4つのレンズ部（第 1のレンズ部 113a、第 2のレンズ部 113b、第 3のレンズ部 113c,および第 4のレンズ部 113d)を有するため、 4つのレンズ部がそれぞれ形成する 4つの物体像の相対的位置が、被写体距離に応じて変化する。

[0044] 図 5は、本発明の実施の形態 1に係る撮像装置において、無限遠にある物体像の位置を説明するための図である。図 5においては、簡単のため、レンズ部 113において、第 1のレンズ部 113a、および第 2のレンズ部 113bのみを記す。無限遠の物体 10 からの光の第 1のレンズ部 113aへの入射光 L1と、第 2のレンズ部 113bへの入射光 L2とは平行である。このため、第 1のレンズ部 113aと第 2のレンズ部 113bとの距離と、撮像素子 123上の物体像 11aと物体像 l ibとの距離は等しい。すなわち、視差はない。

[0045] 図 6は、本発明の実施の形態 1に係る撮像装置において、有限距離の位置にある物体像の位置を説明するための図である。図 6において、簡単のため、レンズ部 113 において、第 1のレンズ部 113a、および第 2のレンズ部 113bのみを記す。有限距離の物体 12からの光の第 1のレンズ部 113aへの入射光 L1と第 2のレンズ部 113bへの入射光 L2とは平行ではない。従って、第 1のレンズ部 113aと第 2のレンズ部 113bとの距離に比べて、撮像素子 123上の物体像 13aと物体像 13bとの距離は長い。すなわち、視差がある。

[0046] 物体像 12までの距離（被写体距離）を A、第 1のレンズ部 113aと第 2のレンズ部 11 3bとの距離を D、レンズ部 113a, 113bの焦点距離を fとすると、図 5の直角を挟む 2 辺の長さが A、 Dの直角三角形と、直角を挟む 2辺の長さが f、 Δの直角三角形とが相似であることより、視差値 Δは、下記式 1のように表される。

[0047] ^ =ϊ'Ό A ■■■ 式 1

その他のレンズ部間についても同様の関係が成立する。このように、被写体距離に応じて 4つのレンズ部 113a, 113b, 113c, 113d力 Sそれぞれ形成する 4つの物体像の相対的位置が変化する。例えば、被写体距離 Aが小さくなると、視差値 Δが大きくなる。

[0048] 次に、本発明の実施の形態 1に係る撮像装置の動作を説明する。図 7は、本発明の実施の形態 1に係る撮像装置の構成を示すブロック図である。 SLSI125は、システム制御部 131、撮像素子駆動部 132、撮像信号入力部 133、前処理部 134、入力バッファ 135、演算部 136、出力バッファ 137、および入出力部 138を有する。入力バッファ 135は、第 1の入力バッファ 135a、第 2の入力バッファ 135b、第 3の入カバッファ 135c、および第 4の入力バッファ 135dを有する。演算部 136は、演算バッファ 141、視差演算部 142、距離演算部 143、および転送範囲決定部 144を有する。演算バッファ 141は、第 1の演算バッファ 141a、および第 2の演算バッファ 141bを有する。出力バッファ 137は、第 1の出力バッファ 137a、および第 2の出力バッファ 137b を有する。

[0049] システム制御部 131は、 CPU (中央演算処理装置： Central Processing Unit)、ロジック回路などから構成され、 SLSI125の全体を制御する。

[0050] 撮像素子駆動部 132は、ロジック回路などから構成され、撮像素子 123を駆動する信号を発生し、この信号に応じた電圧を撮像素子 123に印加する。

[0051] 撮像信号入力部 133は、 CDS回路（相関二重サンプリング回路： Correlated Doubl e Sampling Circuit)、 AGC (自動利得制御器： Automatic Gain Controller)、 ADC ( アナログ Zディジタル変換器: Analog Digital Converter)が直列に接続されて構成され、撮像素子 123からの電気信号が入力され、 CDS回路により固定ノイズを除去し、 AGCによりゲインを調整し、 ADCによりアナログ信号からディジタル値に変換し撮像信号 10とする。

[0052] 転送範囲決定部 144は、後述の方法で、転送範囲フラッグ FOを決定する。転送範囲フラッグ F〇 = l (第 1の動作モード）のとき、撮像領域の全領域で生成される撮像信号が転送範囲となり、転送範囲フラッグ F〇 = 2 (第 2の動作モード）のとき、撮像領域の半分の領域で生成される撮像信号が転送範囲となる。なお、転送範囲フラッグは、 FO = lに初期化されている。

[0053] 上記の撮像素子駆動部 132は、転送範囲決定部 144にて決定された転送範囲に係る撮像信号を撮像信号入力部 133に転送するように撮像素子 123を駆動する。これにより、撮像素子 123から撮像信号入力部 133へ特定の転送範囲に係る撮像信号が転送されることになる。

[0054] 図 8は、本発明の実施の形態 1に係る撮像装置の撮像信号の切り出し位置を説明するための図である。図 9は、本発明の実施の形態 1に係る撮像装置の撮像信号の転送を示すタイミングチャートである。転送範囲フラッグ FO = lのとき、転送範囲が撮像領域の全領域で生成される撮像信号であるため、図 8 (a)のように、水平方向に H 0画素、垂直方向に V0画素の撮像信号を転送する。すなわち、撮像信号入力部 13 3に入力される撮像信号 I0(x，y)は、 X方向に H0画素、 y方向に V0画素を持ち、 10(0,0) ((x,y)=(0，0))、 10(1,0)、 10(2,0)、 · · ·、 I0(H0-1，V0_1)の順に入力され、順次、前処理部 134に転送される。図 9 (a)のように、垂直同期信号 21aの立ち上がりエッジから一定期間後に、信号 23aのハイレベルのタイミングで CCDセンサのフォトダイオードから垂直転送 CCDへ電荷が転送され、信号 24aのハイレベルで、順次垂直 CCD、水平 CCD内を電荷が転送され、撮像信号入力部 133においてアナログ信号からディジタル信号の撮像信号として変換入力される。

[0055] 一方、転送範囲フラッグ FO = 2のとき、転送範囲が撮像領域の半分の領域で生成される撮像信号であるため、図 8 (b)のように、水平方向に H0画素、垂直方向に V0 /2画素の撮像信号を転送する。すなわち、撮像信号入力部 133から入力される撮像信号 I0(x，y)は、 X方向に H0画素、 y方向に V0/2画素を持ち、 10(0,0) ((x,y)=(0，0))、 I 0(1,0), 10(2,0)、 · · ·、 I0(H0-l，V0/2-l)の順に入力され、順次、前処理部 134に転送される。図 8 (b)において、上半分のハッチがない部分は転送する画素（転送範囲である領域）を示し、下半分のハッチ部は転送しない画素（転送範囲でない領域）を示す。図 9 (b)のように、垂直同期信号 21bの立ち上がりエッジから一定期間後に、信号 22bのハイレベルで垂直 CCD内に残された電荷を水平 CCDに掃き出し、信号 23 bのハイレベルのタイミングで CCDセンサのフォトダイオードから垂直転送 CCDへ電荷が転送され、信号 24bのハイレベルで、順次垂直 CCD、水平 CCD内を電荷が転送され、撮像信号入力部 133においてアナログ信号からディジタル信号の撮像信号として変換入力される。なお、 FO = 2の場合の転送範囲は、 FO = lの場合の転送範囲の半分のうち最初に転送される方が設定される。

[0056] 転送範囲フラッグ F〇 = l (第 1の動作モード）のときの電荷の転送時間（信号 24aがハイレベルを取る期間）と比較し、転送範囲フラッグ FO = 2 (第 2の動作モード）のときの電荷の転送時間（信号 24bがハイレベルを取る期間）は略半分であるため、画像 1 枚を転送する時間間隔が短縮化される。なお、 FO = l (第 1の動作モード）のときの電荷の掃き出しを行わず、 F〇 = 2 (第 2の動作モード）のときにのみ電荷の掃き出しを行うため、 FO = l (第 1の動作モード）では電荷の掃き出しの時間が不要であり、 F 0 = 1 (第 1の動作モード）での画像 1枚を転送する時間間隔の増大を防止する。また、 F〇= 2 (第 2の動作モード）のときの電荷の掃き出しは、前回転送されなかった垂直 CCDのみ（すなわち、実施の形態 1では VO/2列）で十分であり、そのことにより、全列の垂直 CCDの掃き出しを行うときと比較し、画像 1枚を転送する時間間隔の増大を最小限に抑制することができる。

[0057] 前処理部 134は、ロジック回路などから構成され、撮像信号 10から画像を切り出し、強度補正処理を行い、順次、入力バッファ 135に転送する。 F〇 = lのとき、転送範囲が撮像領域の全領域で生成される撮像信号であるため、第 1の撮像信号 II、第 2の撮像信号 12、第 3の撮像信号 13、および第 4の撮像信号 14を作成し、順次、入力バッファ 135に転送する。第 1の撮像信号 II、第 2の撮像信号 12、第 3の撮像信号 13、および第 4の撮像信号 14は、それぞれ第 1のレンズ部 113a、第 2のレンズ部 113b、第 3のレンズ部 113c、および第 4のレンズ部 114dによって結像された被写体像によって得られたものである。図 8 (a)、および下記式 2のように、撮像信号 10を原点 (x01，y01)、 x 方向に HI画素、 y方向に VI画素だけ切り出し、第 1の強度補正係数 kslで補正したものを第 1の撮像信号 IIとする。また、図 8 (a)、および下記式 3のように、撮像信号 10を原点 (x02,y02)、 X方向に HI画素、 y方向に VI画素だけ切り出し、第 2の強度補正係数 ks2で補正したものを第 2の撮像信号 12とする。また、図 8 (a)、および下記式 4のように、撮像信号 10を原点 (x03，y03)、 x方向に HI画素、 y方向に VI画素だけ切り出し、第 3の強度補正係数 ks3で補正したものを第 3の撮像信号 13とする。また、図 8 (a)、および下記式 5のように、撮像信号 10を原点 (x04，y04)、 x方向に HI画素、 y方向に VI画素だけ切り出し、第 4の強度補正係数 ks4で補正したものを第 4の撮像信号 14とする。

[0058] Il(x,y) = ksl(x,y) * I0(x+x01,y+y01) … 式 2

I2(x,y) = ks2(x,y) * I0(x+x02,y+y02) … 式 3

I3(x,y) = ks3(x,y) * I0(x+x03,y+y03) … 式 4

I4(x,y) = ks4(x,y) * I0(x+x04,y+y04) … 式 5

第 1の強度補正係数 ksl(x,y)、第 2の強度補正係数 ks2(x，y)、第 3の強度補正係数 ks 3(x,y)、および第 4の強度補正係数 ks4(x,y)は、第 1の撮像信号 II、第 2の撮像信号 12 、第 3の撮像信号 13、および第 4の撮像信号 14の座標 (x,y)における強度補正係数を示し、検查工程などにおいて特定チャートを撮影し決定され、 EEPROMやフラッシュメモリに保存される。なお、各画素の係数を持たずに、代表点のみを持ち、その代表点を用いて線形補間により第 1の強度補正係数 ksl(x,y)、第 2の強度補正係数 ks2(x， y)、第 3の強度補正係数 ks3(x,y)、および第 4の強度補正係数 ks4(x,y)を求めてもよい。また、近似式を策定しその係数のみを持ち、各座標の第 1の強度補正係数 ksl(x，y) 、第 2の強度補正係数 ks2(x,y)、第 3の強度補正係数 ks3(x，y)、および第 4の強度補正係数 ks4(x，y)を作成してもよレ、。また、レンズの光軸のずれなどを校正するために、適宜、座標変換を行ってもよい。

[0059] 一方、 F〇 = 2のとき、転送範囲が撮像領域の半分の領域で生成される撮像信号であるため、第 1の撮像信号 II、および第 2の撮像信号 12を作成し、順次、入力バッファ 135に転送する。 F〇 = lのとき（全領域を転送するとき）と比較し、第 3の撮像信号 13 、および第 4の撮像信号 14に関する処理が省略される。第 1の撮像信号 II、および第 2の撮像信号 12に関する処理は同様であるため、説明を省略する。

[0060] F〇 = lのとき、第 1の入力バッファ 135aは、 DRAM (Dynamic Random Access Me mory)などから構成され、第 1の撮像信号 IIを順次読み込み、 H1*V1画素 (x方向に H 1画素、 y方向に VI画素）のデータを保存する。第 2の入力バッファ 135bは、 DRAM などから構成され、第 2の撮像信号 12を順次読み込み、 H1*V1画素 (X方向に HI画素、 y方向に VI画素）のデータを保存する。第 3の入力バッファ 135cは、 DRAMなどから構成され、第 3の撮像信号 13を順次読み込み、 H1*V1画素 (X方向に HI画素、 y方向に VI画素）のデータを保存する。第 4の入力バッファ 135dは、 DRAMなどから構成され、第 4の撮像信号 14を順次読み込み、 H1*V1画素 (X方向に HI画素、 y方向に VI画素）のデータを保存する。

[0061] 一方、 F〇 = 2のとき、第 1の撮像信号 II、および第 2の撮像信号 12を作成し、順次、入力バッファ 135に入力する。 FO = lのとき（全領域を転送するとき）と比較し、第 3 の入力バッファ 135c、および第 4の入力バッファ 135dに関する処理が省略される。第 1の入力バッファ 135a、および第 2の入力バッファ 135bに関する処理は同様であるため、説明を省略する。

[0062] 演算部 136は、 SRAM(Static Random Access Memory)カゝら構成された第 1の演算バッファ 141a、第 2の演算バッファ 141bと、ロジック回路や CPUなど力、ら構成された視差演算部 142と、ロジック回路や CPUなどから構成された距離演算部 143と、ロジック回路や CPUから構成された転送範囲決定部 144と、から構成される。 FO = lのとき、演算部 136は、第 1の撮像信号 II、第 2の撮像信号 12、第 3の撮像信号 13、および第 4の撮像信号 14をブロック単位で読み込み第 1の演算バッファ 141a、第 2の演算バッファ 141bに保存し、視差演算部 142において第 1の演算バッファ 141a、および第 2の演算バッファ 141bのデータなどに基づき視差を演算し、距離演算部 143において求められた視差に基づき距離を演算し、求められた距離データを出力バッファ 13 7に転送する。

[0063] 一方、 F〇 = 2のとき、転送範囲が撮像領域の半分の領域で生成される撮像信号であり、したがって、第 1の撮像信号 II、および第 2の撮像信号 12のみが転送されているため、演算部 136は、第 1の撮像信号 II、および第 2の撮像信号 12をブロック単位で読み込み第 1の演算バッファ 141a、第 2の演算バッファ 141bに保存し、視差演算部 142において第 1の演算バッファ 141a、および第 2の演算バッファ 141bのデータなどに基づき視差を演算し、距離演算部 143において求められた視差に基づき距離を演算し、求められた距離データを出力バッファ 137に転送する。

[0064] 出力バッファ 137は、 DRAMなどから構成され、入力バッファ 135から転送された画像データと演算部 136から転送された距離データとを保存し、入出力部 138に順次転送する。

[0065] 入出力部 138は、上位 CPU (図示せず）との通信や、上位 CPU、外部メモリ（図示せず）、および液晶ディスプレイなどの外部表示装置（図示せず)へ画像データ、および距離データを出力する。

[0066] 図 10Aは、本発明の実施の形態 1に係る撮像装置の動作を示すフローチャートである。 SLSI125のシステム制御部 131により、撮像装置 101は、このフローチャートのとおりに動作される。

[0067] ステップ S1010において、撮像装置 101は動作を開始する。例えば、上位 CPU ( 図示せず）が、入出力部 136を介し、撮像装置 101に動作の開始を命令することにより、撮像装置 101は、動作を開始する。次に、ステップ S1020Aを実行する。

[0068] ステップ S1020Aにおいて、転送範囲の初期化処理を行う。本実施の形態では、この初期化処理により、転送範囲フラッグ F〇 = l (第 1の動作モード）が設定される。次に、ステップ S1030を実行する。

[0069] ステップ S1030において、撮像信号を入力する。システム制御部 131の命令により、撮像素子駆動部 132が電子シャッターや転送を行うための信号を撮像素子 123に対して随時出力する。その結果、転送範囲フラッグ FO = l (第 1の動作モード）のとき、撮像信号入力部 133は、撮像信号 I0(x，y)を、 X方向に H0画素、 _y方向に V0画素だけ、すなわち、 10(0,0) ((x,y)=(0，0))、 10(1,0)、 10(2,0)、 · · ·、 I0(H0-1，V0_1)の順に入力し、順次、前処理部 134に転送する。前処理部 134は、撮像信号 10から画像を切り出し、強度補正処理を行い、第 1の撮像信号 II、第 2の撮像信号 12、第 3の撮像信号 13 、および第 4の撮像信号 14を作成し、第 1の撮像信号 II、第 2の撮像信号 12、第 3の撮像信号 13、および第 4の撮像信号 14を、それぞれ、順次、第 1の入力バッファ 135a、第 2の入力バッファ 135b、第 3の入力バッファ 135c、および第 4の入力バッファ 135 dに転送する。

[0070] 一方、転送範囲フラッグ FO = 2 (第 2の動作モード）のとき、撮像信号入力部 133は、撮像信号 I0(x，y)を、 X方向に H0画素、 y方向に V0/2画素だけ、すなわち、 10(0,0) ((x ，y)=(0,0))、 10(1,0)、 10(2,0)、 · · ·、 I0(H0-1,V0/2_1)の順に入力し、順次、前処理部 13 4に転送する。前処理部 134は、撮像信号 10から画像を切り出し、強度補正処理を行レ、、第 1の撮像信号 II、および第 2の撮像信号 12を作成し、第 1の撮像信号 II、および第 2の撮像信号を、それぞれ、順次、第 1の入力バッファ 135a、および第 2の入カバッファ 135bに転送する。次に、ステップ S1040を実行する。

[0071] ステップ S1040において、第 1の入力バッファ 135aに保存されている第 1の撮像信号 IIを第 1の出力バッファ 137aに転送し、第 1の出力バッファ 137aは、画像データとして保存する。次に、ステップ S1100Aを実行する。

[0072] ステップ S1100Aにおいて、距離データを作成し、順次、第 2の出力バッファ 137b に転送する。また、転送範囲を決定し、転送範囲フラッグ FOを設定する。この動作の詳細は後述する。次に、ステップ S1910を実行する。

[0073] ステップ S1910において、外部にデータを出力する。入出力部 138は、第 1の出力バッファ 137a上の画像データ、および第 2の出力バッファ 137b上の距離データを、上位 CPU (図示せず)や外部表示装置（図示せず）に出力する。次に、 S1920を実行する。

[0074] ステップ S1920におレ、て、動作を終了するかどうかを判断する。例えば、システム制御部 131は、入出力部 136を介し、上位 CPU (図示せず）と通信し、動作を終了するかどうかの命令を要求する。そして、上位 CPUが終了を命令すれば動作を終了し、次に、ステップ S1930を実行する。一方、上位 CPUが終了を命令しなければ動作を継続し、次に、ステップ S1030を実行する。すなわち、上位 CPUが終了を命令しなレヽ限り、ステップ S1030、ステップ S1040、ステップ S1100A、およびステップ S19 10のループの実行を継続する。

[0075] ステップ S1930におレ、て、動作を終了する。

[0076] 次に、ステップ S1100Aにおける動作の詳細を説明する。図 11Aは、本発明の実施の形態 1に係る撮像装置の演算部の動作を示すフローチャートである。図 11Aのフローチャートは、ステップ S1100Aの動作の詳細を示す。ステップ S1100Aの演算では、まず、ステップ S 1110を実行する。

[0077] ステップ S1110において、演算の動作を開始する。次に、ステップ S1200を実行する。

[0078] ステップ S1200において、視差演算を実行する。図 12は、本発明の実施の形態 1 に係る撮像装置の視差演算の動作を示すフローチャートである。図 12のフローチヤートは、ステップ S 1200の動作の詳細を示す。ステップ S 1200の演算では、まず、ステツプ S 1210を実行する。

[0079] ステップ S1210において、視差演算の動作を開始する。次に、ステップ S1220を実行する。

[0080] ステップ S1220において、転送範囲フラッグ F〇によって分岐する。転送範囲フラッグ F〇= 1のとき（31220で¥)、転送範囲が撮像領域の全領域で生成される撮像信号となり、次に、ステップ S 1230aを実行する。一方、転送範囲フラッグ F〇= 2のとき（ S1220で N)、転送範囲が撮像領域の半分の領域で生成される撮像信号となり、次に、ステップ 1230bを実行する。

[0081] ステップ S1230aにおいて、第 1の撮像信号と第 2の撮像信号とを利用した視差演算を実行する。図 13は、本発明の実施の形態 1に係る撮像装置の第 1の撮像信号と第 2の撮像信号とを利用した視差演算の動作を示すフローチャートである。図 13のフローチ

ヤートは、ステップ S 1230aの動作の詳細を示す。ステップ S 1230の演算では、まず、ステップ S 1310を実行する。

[0082] ステップ S1310において、第 1の撮像信号と第 2の撮像信号とを利用した視差演算の動作を開始する。次に、ステップ S 1320を実行する。

[0083] ステップ S1320において、ブロックインデックス ibに 0を設定して初期化処理を行う。

次に、ステップ S 1330を実行する。

[0084] ステップ S1330におレ、て、ブロックを選択する。図 14は、本発明の実施の形態 1に係る撮像装置の第 1の撮像信号と第 2の撮像信号とを利用した視差演算における第 1の撮像信号の分割ブロックと演算順番を説明する図であり、図 15は、本発明の実施の形態 1に係る撮像装置の第 1の撮像信号と第 2の撮像信号とを利用した視差演算における第 2の撮像信号の分割ブロックと演算順番を説明する図である。図 14において、第 1の撮像信号 IIは、 X方向に HB画素、 y方向に VB画素の長方形状のブロックに分割され、 X方向に HB画素、 y方向に VB画素ずれて配置され、 X方向に Nh 個、 y方向に Nv個のブロックを持つ。そのため、各ブロックは X方向、 y方向ともに重なる部分はなレ、。図 15において、第 2の撮像信号 12は、 X方向に（HB + SB)画素、 y方向に VB画素の長方形状のブロックに分割され、 X方向に HB画素、 y方向に VB画素ずれて配置され、 X方向に Nh個、 y方向に Nv個のブロックを持つ。そのため、 X方向について、隣のブロックと重なる。一方、 y方向について、隣のブロックと重ならなレ、。また、図 15において、右側のブロックにおいて X方向に（HB + SB)画素を取ることができないブロックは、適宜 X方向の右端が削除される。なお、実施の形態 1では、以下、 HB = 32、 VB = 32の ί列を示す。

[0085] 図 14、および図 15において、各ブロックの上段に記述された数字はブロックインデックス ibを示す。また、図 14、および図 15において、各ブロックの下段に記述された座標（ibx、 iby)は、各ブロック力 Sx方向に ibx番目、 y方向に iby番目のブロックであることを示す。ここで、 ibxは 0から Nh— 1まで、 ibyは 0力、ら Vh— 1まで存在する。ステツプ S1320におレ、て、図 14、および図 15でブロックインデックス ibで示されるブロック（座標（ibx、 iby)で示されるブロック）が選択される。次に、ステップ S 1340を実行する

[0086] ステップ S 1340において、撮像信号を転送する。ステップ S 1340において、選択されたブロックの第 1の撮像信号 IIを第 1の演算バッファ 141aに転送する。そして、第 1 の演算バッファ 141aの座標 (x，y)における値を Bcl(x,y)とする。ここで、 HB=32、 VB=3 2であるため、 x=0〜31、 y=0〜31である。ステップ S1340において、選択されたブロックの第 2の撮像信号 12を第 2の演算バッファ 141bに転送する。そして、第 2の演算バッファ 141bの座標 (x，y)における値を Bc2(x,y)とする。ここで、 HB=32、 VB=32であるため、 x=0〜31+SB、 y=0〜31である。例えば、 ib = 0のとき、第 1の演算バッファ 141aには、座標 (0,0)と座標 (31, 31)とで囲まれる 1024画素の撮像信号 IIが転送される。また、第 2の演算バッファ 14 lbには、図 15において右斜上となる斜線が描かれた座標 (0，0 )と座標 (31+SB,31)とで囲まれる (1024+32*SB)画素の撮像信号 12が転送される。次に、 ib = lのとき、第 1の演算バッファ 141aには、座標 (32,0)と座標 (63,31)とで囲まれる 1 024画素の撮像信号 IIが転送される。また、第 2の演算バッファ 141bには、図 15において右斜下となる斜線が描かれた座標 (32,0)と座標 (63+SB, 31)とで囲まれる (1024+32 *SB)画素の撮像信号 12が必要だ力 S、ib = 0と重なる部分 (座標 (32,0)と座標 (31+SB，31 )で囲まれる 32*SB画素の領域）はすでに第 2の演算バッファ 141bに転送されているため、新たに座標 (32+SB，0)と座標 (63+SB，31)とで囲まれる 1024画素のみを第 2の演算バッファ 141bに転送する。これにより、転送時間の増大を防止できる。次に、ステップ S1350を実行する。

[0087] ステップ S1350において、視差演算を実行する。まず、視差評価値 R(k)を演算する。ここで、 kは画像をどれだけずらすかを示すずらし量であり、 k=0、 1、 2、 · · ·、 SBのように変化させる。図 16は、本発明の実施の形態 1に係る撮像装置において、第 1の撮像信号と第 2の撮像信号を利用したときの視差演算における視差評価値の演算領域を説明する図である。図 16において、データ Belで格納されている領域は、第 1の演算バッファ 141a中の領域である。また、データ Bc2で示される領域は、図 16において Belで示されるブロックから X方向にずらし量 kだけ移動した第 2の演算バッファ 141b 中の領域である。そして、ずらし量 k=0から SBについて、下記式 6に示される絶対値差分総和 (SAD : Sum of Absolute Differences)を演算し、視差評価値 R(k)とする。

[0088] R(k) = ∑∑ |Bcl(x,y)-Bc2(x+k,y)| … 式 6

この視差評価値 R(k)は、第 1の演算バッファ 141aのデータ Belと、 x方向に kだけ離れた領域における第 2の演算バッファ 141bのデータ Bc2とがどれだけ相関があるかを示し、値が小さいほど相関が大きいはく似ている）ことを示す。ここで、第 1の演算バッファ 141aのデータ Belは、第 1の撮像信号 IIを転送したものであり、第 2の演算バッファ 141bのデータ Bc2は、第 2の撮像信号 12を転送したものであるため、視差評価値 R4( k)は、第 1の撮像信号 IIと対応する第 2の撮像信号 12とがどれだけ相関があるかを示す。

[0089] 図 17は、本発明の実施の形態 1に係る撮像装置の第 1の撮像信号と第 2の撮像信号を利用したときの視差演算における視差と視差評価値との関係を説明する図である。図 17のように、視差評価値 R(k)はずらし量 kの値によって変化し、ずらし量 k= Δ のとき極小値を持つ。第 1の演算バッファ 141aのデータ Belは、第 1の演算バッファ 1 41aのデータ Belを X方向に kだけ移動した領域に存在する第 2の演算バッファ 141b のデータ Bc2と最も相関がある (最も似ている）ことを示す。したがって、第 1の演算バッファ 141aのデータ Belと第 2の演算バッファ 141bのデータ Bc2との X方向の視差が Δであることが分力る。ここで、この Δをこのブロックでの視差値 Δと呼ぶ。

[0090] 次に、視差値 Δの信頼度を演算する。図 18は、本発明の実施の形態 1に係る撮像装置において、第 1の撮像信号と第 2の撮像信号を利用したときの視差演算における視差評価値の信頼度の演算領域を説明する図である。データ Belが格納されている領域は、第 1の演算バッファ 141 a中の領域である。データ Bc2が格納されている領域は、 Belを X方向に Δだけ移動した第 2の演算バッファ 141b中の領域である。そして、下記式 7のように、それぞれの領域のデータ Bcl(x,y)、 Bc2(x+ A，y)について、正規化相関係数を信頼度 Eとする。

[0091] E(l,2)(ibx,iby) = ∑∑ [{Bcl(x,y)-avg(Bcl(x,y))}

*{Bc2(x+ Δ ,y)-avg(Bc2(x+ Δ ,y))}]

/ ∑[{Bcl(x,y)-avg(Bcl(x,y))}

*{Bcl(x,y)-avg(Bcl(x,y))} / ∑∑ [{Bc2(x+ Δ ,y)-avg(Bc2(x+ Δ y))}

*{Bc2(x+ Δ ,y)-avg(Bc2(x+ Δ ,y))}] … 式 7

そして、この信頼度 Eを、第 1の撮像信号と第 2の撮像信号とを利用した視差演算にお

いて、座標( , )で示される32 32画素のブロックにぉける視差値（1 2)(¾ ¾）の信頼度 E(l,2)(ibx,iby)として保存する。（1 2)は、第 1の撮像信号と第 2の撮像信号とを利用した視差値、および信頼度であることを示す。（ibx,iby)は、ブロックインデックス i bで示されるブロックを示し、図 14において各ブロックの下段に示される座標である。次に、ステップ S 1360を実行する。

[0092] ステップ S1360におレヽて、ブロックインデックス ibに 1を加える。次に、ステップ S13 70を実行する。

[0093] ステップ S1370において、第 1の撮像信号と第 2の撮像信号とを利用した視差演算を終了するかどうかを判断する。ブロックインデックス ibが Nh*Nv未満のとき、次のブロックの視差を演算するために、次に、ステップ S 1330を実行する。一方、ブロックィンデッタス ibが Nh*Nv以上のとき、全てのブロックの視差を演算したと判断し、次に、ステップ S 1380を実行する。

[0094] ステップ S1380において、第 1の撮像信号と第 2の撮像信号とを利用した視差演算を終了し、上位ルーチンへ戻る。このようにして、第 1の撮像信号と第 2の撮像信号とを利用した視差演算において、ブロックインデックス ibで示される 32x32画素のブロックについて、 32 32画素の分解能で視差値（1 2)( ^)とその信頼度8 1,2)( x,iby)とが求められた。ここで、（1,2)は第 1の撮像信号と第 2の撮像信号とを利用してレ、ることを示し、（ibx,iby)は図 14において各ブロックの下段に示される座標である（ib Xは 0力、ら Nh— 1まで、 ibyは Nv— 1まで変化する）。次に、図 12のステップ S1240a を実行する。

[0095] ステップ S1240aにおいて、第 3の撮像信号と第 4の撮像信号とを利用した視差演算を実行する。このステップは、ステップ S1230aにおいて、第 1の撮像信号 IIを第 3 の撮像信号 13に変更し、第 2の撮像信号 12を第 4の撮像信号 14に変更したものと同様である。すなわち、第 3の撮像信号 13をブロックに分割し、第 1の演算バッファ 141aに転送し、第 4の撮像信号 14をブロックに分割し、第 2の演算バッファ 141bに転送し、ステツプ S1230aと同様の動作を行い、 32x32画素の分解能で視差値 A (3,4)(ibx，iby) とその信頼度 E(3,4)(ibx,ib_y)とを求める。ここで、（3,4)は第 3の撮像信号と第 4の撮像信号とを利用していることを示し、（ibx，iby)は図 14の各ブロックの下段に示される座標を示す（図 14のように、 ibxは 0力も Nh_ lまで、 ibyは 0力 Nv_ lまで変化する）。次に、ステップ S 1250aを実行する。

[0096] ステップ S1250aにおいて、視差を選択する。それぞれのブロックに対し、信頼度 E( l，2)(ibx，iby)、および E(3，4)(ibx，iby)を比較し、最大の信頼度を与える視差をそのプロックでの視差値 A (ibx，iby)とする。また、そのときの信頼度を E(ibx，iby)とする。次に、ステップ S 1260を実行する。

[0097] ステップ S1230bにおいて、第 1の撮像信号と第 2の撮像信号とを利用した視差演算を実行する。このステップは、ステップ S1230aと同様であり、説明を省略する。ただし、求められる視差、および信頼度を、それぞれのブロックでの視差値 A (ibx，iby)、および信頼度 E(ibx,iby)とする。次に、ステップ S 1260を実行する。

[0098] ステップ S1260におレ、て、視差演算を終了し、上位ルーチンへ戻る。このようにして、各ブロックにおける視差値 A (ibx，iby)が求められた。ここで、（ibx,iby)は図 14の各ブロックの下段に示される座標であり、 ibxは 0力ら Nh— 1まで、 ibyは Nv—lまで変化する。転送範囲フラッグ FO = l (第 1の動作モード)のとき、第 1の撮像信号 IIと第 2の撮像信号 12とによる視差 (近赤外光による視差)の信頼度と第 3の撮像信号 13と第 4の撮像信号 14とのよる視差 (緑色光による視差)の信頼度とを比較し、信頼度が高い視差を採用した。一方、転送範囲フラッグ F〇 = 2 (第 2の動作モード）のとき、選択は行わず、第 1の撮像信号 IIと第 2の撮像信号 12とによる視差 (近赤外光による視差）を採用した。次に、ステップ S1700を実行する。

[0099] ステップ S1700において、距離演算部 143は、距離演算を行い、その結果を、順次、第 2の出力バッファ 137bに、距離データとして転送する。式 1を距離 Aについて解くと、下記式 8のように示される。したがって、視差値 A (ibx,iby)を持つブロックにおける被写体の距離 A(ibx,iby)は、下記式 9のように演算される。そして、距離データ A(i bx,iby)を第 2出力バッファ 137bに転送する。 [0100] A = f-D/ A … 式 8

A(ibx,iby) = f-D/ A (ibx,iby) … 式 9

次に、ステップ SI 800を実行する。

[0101] ステップ S1800において、転送範囲決定部 144は、転送範囲を決定し、転送範囲フラッグを設定する。下記式 10のように、各ブロック (ibx，iby)での信頼度 E(ibx,iby)の最小値がある設定された値より小さいとき、転送範囲フラッグ FO = lとする。一方、各ブロック (ibx，iby)での信頼度 E(ibx,iby)の最小値がある設定された値以上のとき、転送範囲フラッグ F〇= 2とする。

[0102] FO=l (min(E(ibx,iby)) < E0のとき）

F〇=2 (min(E(ibx,iby))≥ E0のとき） … 式 10

次に、ステップ SI 900を実行する。

[0103] ステップ S1900において、演算動作を終了し、上位ルーチンへ戻る。次に、ステツプ S 1910を実行する。

[0104] 本発明の撮像装置を以上のように構成し、動作させることにより、以下の効果を有する。

[0105] 本発明の実施の形態 1に係る撮像装置によれば、転送範囲決定部 144が撮像信号から作成される信頼度 E(ibx,iby)に基づき、信頼度 E(ibx,iby)が小さいとき、転送範囲フラッグ F〇 = l (第 1の動作モード）とし、信頼度 E(ibx,iby)が大きいとき、転送範囲フラッグ F〇= 2とする（転送範囲を半分の領域とする）。このことにより、信頼度 E(ibx，i by)が大きいとき、高速性を上げる余裕があると判断し、出力フラッグ F〇 = 2 (第 2の動作モード)とすることにより、高速な視差演算、距離演算を可能とする撮像装置を実現する。一方、信頼度 (ibx,iby)が小さいとき、精度がさらに必要であると判断し、出力フラッグ F〇 = l (第 1の動作モード)とすることにより、高精度な視差演算、距離演算を可能とする撮像装置を実現する。

[0106] このように、本実施の形態の撮像装置の場合、信頼度 Eに応じて転送範囲を変更すべぐ動作モードの切替を行っている。ここで、信頼度 Eは、被写体の動き等に応じて変化し得る値である。したがって、本実施の形態の撮像装置は、被写体の動き等の被写体に関する情報に応じて転送範囲を変更してレ、るともいえる。 [0107] また、本発明の撮像装置において、 FO = 2 (第 1の動作モード）のとき、転送順の早い略半分の領域とする。すなわち、図 9 (b) 24bのように、転送に要する時間を半分にし、垂直 CCDに残った電荷は 22bの期間で水平 CCDに掃き出すことにより、転送に要する時間を半減し、高速な視差演算、距離演算を可能にする撮像装置を実現する。

[0108] なお、実施の形態 1の撮像装置において、 FO = l (第 1の動作モード）のとき、転送する撮像信号の垂直方向を VO画素、 F〇 = 2 (第 2の動作モード）のとき、転送する撮像信号の垂直方向を V0Z2画素としたが、若干の変更があってもよい。例えば、 FO = 2 (第 2の動作モード）の転送範囲の垂直方向を 0画素目力 yOl+Vl-1とすれば、さらに転送時間を低減できる。また、レンズのばらつきが大きぐ各光軸のずれが大きい場合には、 FO = 2 (第 2の動作モード）の転送範囲の垂直方向を VO/2より大きくすれば、その分だけ原点の調整の余裕が大きくなる。

[0109] また、実施の形態 1の撮像装置において、信頼度 E(ibx,iby)により転送範囲を変更したが、本発明はこれに限定されない。本発明の要諦は、転送範囲を変更することにより、速度と精度との関係が適当なものになるように、視差演算、距離演算をすることにある。なお、上位 CPUの命令により、転送範囲を変更してもよい。例えば、上位 CP Uが画像データを用いて、転送範囲を変更してもよい。あるいは、ユーザが指定する被写体情報に基づいて、転送範囲を上位 CPUが命令してもよい。

[0110] 図 10Bは、本発明の実施の形態 1に係る撮像装置の動作の変形例を示すフローチヤートである。また、図 11Bは、本発明の実施の形態 1に係る撮像装置の演算部の動作の変形例を示すフローチャートである。この図 11Bのフローチャートでは、図 10B における演算処理（S 1100B)の詳細な処理の流れが示されてレ、る。

[0111] この変形例では、被写体に関する情報に基づくことなぐ転送範囲が決定される。

すなわち、撮像信号がどのような画像に関する信号であるかに関係なぐ所定の基準にしたがって、転送範囲が決定されることになる。例えば、第 1の動作モードと第 2の動作モードとが交互に入れ替わったり、全動作中で第 1の動作モード（又は第 2の動作モード）が占める割合が所定の割合になるように動作モードの切替を行ったりする [0112] 変形例における転送範囲の決定は、図 10Bのフローチャートにおけるステップ S10 20Bにて実行される。そして、ステップ S1100Bの演算処理においては、図 11Bに示すように、上述した開始処理 (S1110)、視差演算（S1200)、距離演算（S1700)、および終了処理（S1900)を実行する。この変形例では、ステップ S1020Bにおいて転送範囲が決定されるため、図 11Aに示されているステップ S1800の転送範囲の決定処理を行う必要はない。

[0113] なお、ユーザが転送範囲を適宜設定することができるようにしてもよい。そのためには、例えば、ユーザが操作可能なスィッチなどを介してユーザから転送範囲設定 (動作モード切替)の指示が出された場合に、その指示を受けた上位 CPUが撮像装置に対して転送範囲の設定 (動作モードの切替）を行うように命令する等すればよい。

[0114] また、実施の形態 1の撮像装置において、転送範囲フラッグの初期値を FO = l (第

1の動作モード）としたが、 FO = 2 (第 2の動作モード）としてもよレ、。

[0115] また、実施の形態 1の撮像装置において、第 1の演算バッファの大きさを 32x32画素（水平方向に 32画素、および垂直方向に 32画素）とした力これに限定されない。例えば、 4x4画素、 8x8画素、 16x16画素でもよい。また、適宜大きさを変更してもよレ、。また、複数の大きさのブロックの視差を求め、選択してもよレ、。さらに、矩形状のブロックではなぐエッジなどを抽出してブロック分割してもよい。また、ブロックの視差を求めることに限定されず、エッジである線分の視差を求めてもよい。

[0116] また、実施の形態 1の撮像装置において、第 1の撮像信号 IIを第 1の出力バッファ 1 37aに転送し、入出力部 138から出力したが、他の撮像信号 (第 2の撮像信号 12、第 3の撮像信号 13、あるいは第 4の撮像信号 14)を出力してもよい。また、複数の撮像信号を出力してもよレ、。さらに、撮像信号の条件により、入出力部 138から出力する撮像信号を変更してもよい。例えば、それぞれの撮像信号を比較し、最も明るい撮像信号 (撮像信号の大きさの平均が最も大きいなどにより判定されたもの）、あるいは最も輪郭がはっきりしているもの（微分値の平均や最大値が最も大きいなどにより判定されたもの）などを出力するように変更してもよい。

[0117] また、実施の形態 1の撮像装置において、撮像素子として CCDセンサを用いた力他の撮像素子（例えば、 CMOSセンサ）を用いてもよい。 [0118] また、実施の形態 1の撮像素子において、撮像素子 123としてプログレッシブ CCD のみならず、インターレース CCDを利用してもよレ、。図 19は、本発明の実施の形態 1 に係る撮像装置の変形のフィールド画像を説明する図である。例えば、 3つのフィールドを持つインターレース CCDを利用した場合、画像全体は、図 19 (a)に示すように、第 1のフィールド画像と第 2のフィールド画像と第 3のフィールド画像とが順に配置される。まず、第 1のフィールド画像を構成する撮像信号が転送され、次に第 2のフィールド画像を構成する撮像信号が転送され、次に第 3のフィールド画像を構成する撮像信号が転送される。通常の白黒画像では、これらを 1ラインずつ順に配置することにより画像全体を再現する。図 19 (b)のように画像全体（フレーム画像）の幅が H0、高さが V0であるとき、図 19 (c)、（d)、（e)のように、第 1のフィールド画像、第 2のフィ一ルド画像、および第 3のフィールド画像の幅はそれぞれ H0であり、高さは V0/3である。

[0119] 図 20は、本発明の実施の形態 1に係る撮像装置の変形の撮像信号の転送を示すタイミングチャートである。転送範囲フラッグ FO = lのとき、転送範囲が撮像領域の全領域で生成される撮像信号であるため、図 8 (a)のように、水平方向に H0画素、垂直方向に V0画素の撮像信号を転送する。すなわち、撮像信号入力部 133に入力される撮像信号 I0(x,y)は、 X方向に H0画素、 y方向に V0画素を持ち、 10(0,0) ((x,y)=(0,0)) 、 10(1,0)、 10(2,0)、 · · ·、 I0(H0-1,V0-1)の順に入力され、順次、前処理部 134に転送される。図 20 (a)のように、 1フレームに 1回だけ発生する信号 20cが発生し、 1フィールドに 1回だけ垂直同期信号 21cが発生する。 3フィールドのインターレース CCDでは、信号 20cの 1つあたり 3つの垂直同期信号 21cが発生する。垂直同期信号 21cの立ち上がりエッジから一定期間後に、信号 23cのハイレベルのタイミングで CCDセンサのフォトダイオードから垂直転送 CCDへ電荷が転送され、信号 24aのハイレベルで、順次垂直 CCD、水平 CCD内を電荷が転送され、撮像信号入力部 133においてアナログ信号からディジタル信号の撮像信号として変換入力される。なお、信号 20c 発生直後は第 1のフィールドの撮像信号が転送され (24clで示された期間）、次に、第 2のフィールドの撮像信号が転送され (24c2で示された期間）、次に、第 3のフィーノレドの撮像信号が転送される（24c3で示された期間）。 [0120] 一方、転送範囲フラッグ FO = 2のとき、転送範囲が撮像領域の半分の領域で生成される撮像信号であるため、図 8 (b)のように、水平方向に H0画素、垂直方向に V0 /2画素の撮像信号を転送する。すなわち、撮像信号入力部 133に入力される撮像信号 I0(x，y)は、 X方向に H0画素、 y方向に V0/2画素を持ち、 10(0,0) ((x,y)=(0，0))、 10( 1,0), 10(2,0)、 · · ·、 I0(H0_l,V0/2-l)の順に入力され、順次、前処理部 134に転送される。図 20 (b)のように、 1フレームに 1回だけ発生する信号 20dが発生し、 1フィールドに 1回だけ垂直同期信号 21dが発生する。 3フィールドのインターレース CCDでは、信号 20dの 1つあたり 3つの垂直同期信号 21dが発生する。垂直同期信号 21dの立ち上がりエッジから一定期間後に、信号 22dのハイレベルで垂直 CCD内に残された電荷を水平 CCDに掃き出し、信号 23dのハイレベルのタイミングで CCDセンサのフォトダイオードから垂直転送 CCDへ電荷が転送され、信号 24dのハイレベルで、順次垂直 CCD、水平 CCD内を電荷が転送され、撮像信号入力部 133においてアナ口グ信号からディジタル信号の撮像信号として変換入力される。なお、信号 20d発生直後は第 1のフィールドの撮像信号が転送され (24dlで示された期間）、次に、第 2のフィールドの撮像信号が転送され (24d2で示された期間）、次に、第 3のフィールドの撮像信号が転送される（24d3で示された期間）。このため、転送範囲フラッグ FO = l (第 1の動作モード）のときの電荷の転送時間（信号 24aがハイレベルを取る期間）と比較し、転送範囲フラッグ F〇= 2 (第 2の動作モード）のときの電荷の転送時間（信号 2ba 力 Sハイレベルを取る期間）は略半分であるため、画像 1枚を転送する時間間隔が短縮される。

[0121] さらに、全てのフィールド画像を用いずに 1つのフィールド画像のみを使用すれば、さらに画像夂を転送する時間間隔が短縮される。転送範囲フラッグとして F〇= 3の状態も設け、転送範囲フラッグ FO = 3のとき、転送範囲が半分の領域であり（転送領域は図 8 (b) )、第 1のフィールドのみの画像を転送する。すなわち、撮像信号入力部 133から入力される撮像信号 I0(x，y)は、 X方向に H0画素、 y方向に V0/6画素を持ち、 10(0,0) ((x,y)=(0,0))、 10(1,0)、 10(2,0)、 · · ·、 10(0,3)、 10(1,3)、 10(2,3)、 · · ·、 I0(H0_1，V0 /2-3)の順に入力され、順次、前処理部 134に転送される。図 20 (c)のように、信号 2 Odが発生するタイミングと垂直同期信号 21dが発生するタイミングは略同一である。垂直同期信号 21dの立ち上がりエッジから一定期間後に、信号 22dのハイレベルで垂直 CCD内に残された電荷を水平 CCDに掃き出し、信号 23dのハイレベルのタイミングで CCDセンサのフォトダイオードから垂直転送 CCDへ電荷が転送され、信号 24 dのハイレベルで、順次垂直 CCD、水平 CCD内を電荷が転送され、撮像信号入力部 133においてアナログ信号からディジタル信号の撮像信号として変換入力される。なお、常に、第 1のフィールドの撮像信号のみが転送される（24elで示された期間）ため、転送範囲フラッグ F〇 = l (第 1の動作モード）のときの電荷の転送時間（信号 24a 力 Sハイレベルを取る期間）と比較し、転送範囲フラッグ F〇= 3 (転送範囲が半分の領域で第 1のフィールド画像のみを転送する）のときの電荷の転送時間（信号 24aがハィレベルを取る期間）は略 1/6倍となり、画像夂を転送する時間間隔が短縮される

[0122] ここで、夂のフィールドのみを転送することにより、垂直方向の画素数は減少する力水平方向の画素数は減少しない。視差が発生する方向は水平方向であり、視差演算の精度悪化は小さい。したがって、 1枚のフィールドのみを転送する場合は、視差演算の精度を保持しつつ、高速化が可能である。

[0123] ここで、視差演算の高速性が必要な場合は転送範囲フラッグ F〇= 3 (第 3の動作モード）に設定して転送範囲を撮像領域の半分の領域で生成される撮像信号とし、常に第 1のフィールドのみを転送する。また、高速性と高精度性とがある程度必要な場合は転送範囲フラッグ FO = 2 (第 2の動作モード）に設定して転送範囲を撮像領域の半分の領域で生成される撮像信号とし、第 1フレームから第 3フレームまでを転送する。また、高精度性が必要な場合は転送範囲フラッグ FO = l (第 1の動作モード）に設定して転送範囲を撮像領域の全領域で生成される撮像信号とし、第 1フレーム力第 3フレームまでを転送する。このように動作することにより、状況に応じ高速性と高精度性とを適宜変更できる。

[0124] なお、視差演算の高速性及び/または高精度性が必要か否かは、被写体に関する情報に基づいて SLSI125が判断する。すなわち、例えば上述したようにして求められた信頼度 Eの値に応じて、 SLSI125が高速性及び Zまたは高精度性が必要か否力、を判断し、その判断結果にしたがって、 SLSI125が第 1〜第 3の動作モードのいずれかを選択する。

[0125] なお、転送範囲を撮像領域の全領域で生成される撮像信号として第 1のフィールドのみを転送する場合を付加することにより、さらに緻密に状況に対応できる。また、第 1のフィールドの代わりに、第 2のフィールド、あるいは第 3のフィールドを転送してもよレ、。

[0126] (実施の形態 2)

本発明の実施の形態 1に係る撮像装置は、主に近赤外光成分を透過するカラーフィルタ（第 1のカラーフィルタ 124a、および第 2のカラーフィルタ 124b)、および主に緑色光成分を透過するカラーフィルタ（第 3のカラーフィルタ 124c、および第 4のカラ一フィルタ 124d)がそれぞれ水平に配置され、それらに対応する撮像成分同士（第 1 の撮像信号 IIと第 2の撮像信号 12、および第 3の撮像信号 13と第 4の撮像信号 14)を比較し、視差を演算し、この視差に基づき距離を演算した。これに対し、本発明の実施の形態 2に係る撮像装置は、主に近赤外光成分を透過するカラーフィルタ、および主に緑色光成分を透過するカラーフィルタがそれぞれ対角に配置され、それらに対応する撮像成分同士を比較し、視差を演算し、この視差に基づき距離を演算する。

[0127] 以下、本発明の実施の形態 2に係る撮像装置について、図面を参照しながら説明する。

[0128] 図 21は、本発明の実施の形態 2に係る撮像装置の構成を示す断面図である。図 2 1において、撮像装置 201は、レンズモジュール部 110、および回路部 220を有する

[0129] レンズモジュール部 110は、鏡筒 111、上部カバーガラス 112、およびレンズ 113を有する。回路部 220は、基板 121、パッケージ 122、撮像素子 223、パッケージカバ一ガラス 224、およびシステム LSI (以下、 SLSIと記す） 225を有する。

[0130] 鏡筒 111、上部カバーガラス 112、およびレンズ 113は、実施の形態 1と同様であり、説明を省略する。

[0131] 基板 121、およびパッケージ 122は、実施の形態 1と同様であり、説明を省略する。

[0132] 撮像素子 223は、固体撮像素子である CMOSセンサであり、撮像素子 223の受光面が第 1のレンズ部 113a、第 2のレンズ部 113b、第 3のレンズ部 113c、および第 4 のレンズ部 113dの光軸と略垂直になるようにして配置される。撮像素子 223の各端子は、パッケージ 122の内側の底部の金属端子にワイヤーボンディングにより金線 2 27で接続され、基板 121を介して、 SLSI125と電気的に接続される。撮像素子 223 の受光面に、第 1のレンズ部 113a、第 2のレンズ部 113b、第 3のレンズ部 113c、および第 4のレンズ部 113dから射出された光がそれぞれ結像し、その光の情報がフォトダイオードにより電気の情報へ変換され、その電気の情報が SLSI125に転送される。

[0133] 図 22は、本発明の実施の形態 2に係る撮像装置の回路部の構成を示す平面図である。パッケージカバーガラス 224は、平板状であり、透明樹脂により形成され、パッケージ 122の上面に接着などにより固着される。パッケージカバーガラス 224の上面には、第 1のカラーフィノレタ 224a、第 2のカラーフィノレタ 224b、第 3のカラーフィルタ 2 24c,第 4のカラーフィルタ 224d、および遮光部 224eが蒸着などにより配置される。また、パッケージカバーガラス 224の下面には、反射防止膜が蒸着などにより配置される。

[0134] 撮像素子 223は、実施の形態 1の場合と同様に、第 1の撮像領域 223a、第 2の撮像領域 223b、第 3の撮像領域 223c、および第 4の撮像領域 223dで構成されている。これらの第 1〜第 4の撮像領域 223a〜223dは、それぞれの受光面が、第 1〜第 4 のレンズ部 113a〜 113dの光軸と略垂直になるようにして 2行 2列で配置される。なお、実施の形態 1の場合と同様に、 1個の撮像素子が 1個の撮像領域となり、そのような撮像素子を複数設けることによって、複数の撮像領域を有するようにしてもよい。

[0135] 図 23は、本発明の実施の形態 2に係るカメラモジュールのカラーフィルタの特性図である。第 2のカラーフィノレタ 224b、および第 3のカラーフィルタ 224cは、図 23の IR で示した主に近赤外光を透過する分光透過特性 (波長 λ 1を中心とする透過特性。例えば、 λ l = 870nm)を有し、第 1のカラーフィルタ 224a、および第 4のカラーフィノレタ 224dは、図 23の Gで示した主に緑色光を透過する分光透過特性（波長 λ 2を中心とする透過特性。例えば、 2 = 500nm)を有する。

[0136] したがって、第 1のレンズ部 113aの上部から入射した物体光は、第 1のレンズ部 11 3aの下部力射出され、第 1のカラーフィルタ 224aにより主に緑色光が透過し、第 1 の撮像領域 223aの受光部に結像するため、第 1の撮像領域 223aは物体光のうち緑色光成分を受光する。また、第 2のレンズ部 113bの上部から入射した物体光は、第 2 のレンズ部 113bの下部から射出され、第 2のカラーフィルタ 224b主に近赤外光が透過し、第 2の撮像領域 223bの受光部に結像するため、第 2の撮像領域 223bは物体光のうち近赤外光成分を受光する。また、第 3のレンズ部 113cの上部から入射した物体光は、第 3のレンズ部 113cの下部から射出され、第 3のカラーフィルタ 224cにより主に近赤外光が透過し、第 3の撮像領域 223cの受光部に結像するため、第 3の撮像領域 223cは物体光のうち近赤外光成分を受光する。更に、第 4のレンズ部 113d の上部から入射した物体光は、第 4のレンズ部 113dの下部から射出され、第 4のカラ一フィルタ 224dにより主に緑色光が透過し、第 4の撮像領域 223dの受光部に結像するため、第 4の撮像領域 223dは物体光のうち緑色光成分を受光する。

[0137] SLSI225は、後述の方法で、撮像素子 223を駆動し、撮像素子 223からの電気情報を入力し、各種演算を行い、上位 CPUと通信を行い、外部に画像情報や距離情報などを出力する。なお、 SLSI225は、電源（例えば 3· 3V)とグランド（例えば、 0V )に接続される。

[0138] 次に、本発明の実施の形態 2に係る撮像装置の動作を説明する。図 24は、本発明の実施の形態 2に係る撮像装置の構成を示すブロック図である。 SLSI225は、システム制御部 231、撮像素子駆動部 232、撮像信号入力部 233、前処理部 234、入力バッファ 135、演算部 236、出力バッファ 137、および入出力部 138を有する。撮像素子駆動部 232は、第 1の撮像素子駆動部 232a、および第 2の撮像素子駆動部 23 2bを有する。入力バッファ 135は、第 1の入力バッファ 135a、第 2の入力バッファ 13 5b、第 3の入力バッファ 135c、および第 4の入力バッファ 135dを有する。演算部 23 6は、演算部バッファ 241、視差演算部 242、距離演算部 143、および転送範囲決定部 144を有する。演算バッファ 241は、第 1の演算バッファ 241a、および第 2の演算バッファ 241bを有する。出力バッファ 137は、第 1の出力バッファ 137a、および第 2 の出力バッファ 137bを有する。

[0139] システム制御部 231は、 CPU (中央演算処理装置： Central Processing Unit)、ロジック回路などから構成され、 SLSI225の全体を制御する。 [0140] 撮像素子駆動部 232は、ロジック回路などから構成され、撮像素子 223を駆動する信号を発生し、この信号に応じた電圧を撮像素子 223に印加する。この撮像素子駆動部 232は、第 1の撮像素子駆動部 232a、および第 2の撮像素子駆動部 232bから構成され、後述の転送範囲フラッグ FO = l (第 1の動作モード）のとき、第 1の撮像素子駆動部 232aが動作し、転送範囲フラッグ F〇= 2 (第 2の動作モード）のとき、第 2 の撮像素子駆動部 232bが動作する。このように、あらかじめ 2種類の回路 (撮像素子駆動部）を用意することにより、転送範囲の変更（動作モードの切替)を容易にすることができる。

[0141] 撮像信号入力部 233は、 CDS回路（相関二重サンプリング回路： Correlated Doubl e Sampling Circuit)、 AGC (自動利得制御器： Automatic Gain Controller)、 ADC ( アナログ Zディジタル変換器: Analog Digital Converter)が直列に接続されて構成され、撮像素子 223からの電気信号が入力され、 CDS回路により固定ノイズを除去し、 AGCによりゲインを調整し、 ADCによりアナログ信号からディジタル値に変換し、後述のように、第 1の撮像信号 II、第 2の撮像信号 12、第 3の撮像信号 13、および第 4の撮像信号 14とする。

[0142] 転送範囲決定部 144は、後述の方法で、転送範囲フラッグ FOを決定する。転送範囲フラッグ F〇= 1のとき、転送範囲が撮像領域の全領域で生成される撮像信号であることを示し、転送範囲フラッグ F〇= 2のとき、転送範囲が撮像領域の半分の領域で生成される撮像信号であることを示す。なお、転送範囲フラッグは、 FO = lに初期化されている。

[0143] 図 25は、本発明の実施の形態 2に係る撮像装置の撮像信号の切り出し位置を説明するための図である。図 26は、本発明の実施の形態 2に係る撮像装置の撮像信号の転送を示すタイミングチャートである。転送範囲フラッグ F〇 = lのとき、転送範囲が撮像領域の全領域で生成される撮像信号であるため、図 25 (a)のように、第 1の撮像信号 IIに対応する領域 (原点が (x01，y01)で、水平画素が HI画素で、垂直画素が VI画素の領域）、第 2の撮像信号 12に対応する領域 (原点が (x02,y02)で、水平画素が HI画素で、垂直画素力 SV1画素の領域）、第 3の撮像信号 13に対応する領域 (原点が (x03，y03)で、水平画素が HI画素で、垂直画素が VI画素の領域）、および第 4 の撮像信号 14に対応する領域 (原点が (x04,y04)で、水平画素が HI画素で、垂直画素が VI画素の領域）を転送する。図 26 (a)のように、垂直同期信号 21fの立ち上がりエッジから一定期間後に、信号 24fのハイレベルで、撮像信号が順次転送され、撮像信号入力部 133においてアナログ信号力ディジタル信号の撮像信号として変換入力される。すなわち、 24flで示される期間において第 1の撮像信号 IIが 11(0,0)、 II (1,0), 11(2,0)、 · · ·、 I1(H1-1、 V1-1)の順に入力され、 24f2で示される期間において第 2の撮像信号 12が 12(0,0)、 12(1,0)、 12(2,0)、 · · ·、 I2(H1_1、 V1-1)の順に入力され、 24f 3で示される期間において第 3の撮像信号 13が 13(0,0)、 13(1,0)、 13(2,0)、 · · ·、 13( Hl-1、 V1-1)の順に入力され、および 24f4で示される期間において第 4の撮像信号 I 4が 14(0,0)、 14(1,0)、 14(2,0)、 · · ·、 I4(H1_1、 VI- 1)の順に入力され、前処理部 234に転送される。

[0144] 転送範囲フラッグ F〇= 2のとき、転送範囲が撮像領域の半分の領域で生成される撮像信号であるため、図 25 (b)のように、第 2の撮像信号 12に対応する領域 (原点が (x02,y02)で、水平画素が HI画素で、垂直画素が VI画素の領域）、および第 3の撮像信号 13に対応する領域 (原点が (x03，y03)で、水平画素が HI画素で、垂直画素が VI画素の領域）を転送する。図 26 (b)のように、垂直同期信号 21fの立ち上がりエツジから一定期間後に、信号 24fのハイレベルで、撮像信号が順次転送され、撮像信号入力部 133においてアナログ信号からディジタル信号の撮像信号として変換入力される。すなわち、 24g2で示される期間において第 2の撮像信号 12が 12(0,0)、 12(1,0) 、 12(2,0)、 · · ·、 I2(H1- 1、 V1-1)の順に入力され、および 24g3で示される期間において第 3の撮像信号 13が 13(0,0)、 13(1,0)、 13(2,0)、 · · ·、 I3(H1_1、 V1-1)の順に入力され、前処理部 234に転送される。

[0145] 転送範囲フラッグ F〇 = l (第 1の動作モード）のときの電荷の転送時間（信号 24fがハイレベルを取る期間）と比較し、転送範囲フラッグ FO = 2 (第 2の動作モード）のときの電荷の転送時間（信号 24fがハイレベルを取る期間）は略半分であるため、画像 1 枚を転送する時間間隔が短縮される。

[0146] 前処理部 234は、ロジック回路などから構成され、撮像信号の強度補正処理を行い、順次、入力バッファ 135に転送する。 [0147] F〇 = lのとき、転送範囲が撮像領域の全領域で生成される撮像信号であるため、第 1の撮像信号 II、第 2の撮像信号 12、第 3の撮像信号 13、および第 4の撮像信号 14 の強度を補正し、順次、入力バッファ 135に転送する。第 1の撮像信号 II、第 2の撮像信号 12、第 3の撮像信号 13、および第 4の撮像信号は、それぞれ第 1のレンズ部 11 3a、第 2のレンズ部 113b、第 3のレンズ部 113c、および第 4のレンズ部 114dによつて結像された被写体像によって得られたものである。下記式 11のように、第 1の撮像信号 IIを第 1の強度補正係数 kslで補正し、下記式 12のように、第 2の撮像信号 12を第 2の強度補正係数 ks2で補正し、下記式 13のように、第 3の撮像信号 13を第 3の強度補正係数 ks3で補正し、さらに、下記式 14のように、第 4の撮像信号 14を第 4の強度補正係数 ks4で補正する。

[0148] Il(x,y) = ksl(x,y) * Il(x,y) … 式 11

I2(x,y) = ks2(x,y) * I2(x,y) … 式 12

I3(x,y) = ks3(x,y) * I3(x,y) … 式 13

I4(x,y) = ks4(x,y) * I4(x,y) … 式 14

なお、第 1の強度補正係数 ksl(x,_y)、第 2の強度補正係数 ks2(x,_y)、第 3の強度補正係数 ks3(x，_y)、および第 4の強度補正係数 ks4(x，_y)のそれぞれは、第 1の撮像信号 II 、第 2の撮像信号 12、第 3の撮像信号 13、および第 4の撮像信号 14の座標 (x,y)における強度補正係数を示し、検査工程などにおいて特定チャートを撮影して決定され、 E EPROMやフラッシュメモリに保存される。なお、各画素の係数を持たずに、代表点のみを持ち、その代表点を用いて線形補間により第 1の強度補正係数 ksl(x，_y)、第 2の強度補正係数 ks2(x，_y)、第 3の強度補正係数 ks3(x,y)、および第 4の強度補正係数 ks 4(x,y)を求めてもよい。また、近似式を策定しその係数のみを持ち、各座標の第 1の強度補正係数 ksl(x，y)、第 2の強度補正係数 ks2(x,y)、第 3の強度補正係数 ks3(_X,y)、および第 4の強度補正係数 ks4(x,y)を作成してもよレ、。また、レンズの光軸のずれなどを校正するために、適宜、座標変換を行ってもよい。

[0149] 一方、 F〇 = 2のとき、転送範囲が撮像領域の半分の領域で生成される撮像信号であるため、第 2の撮像信号 12、および第 3の撮像信号 13を作成し、順次、入力バッファ 135に転送する。 F〇 = lのとき（第 1の動作モード）と比較し、第 1の撮像信号 12、および第 4の撮像信号 14に関する処理が省略される。第 2の撮像信号 12、および第 3の撮像信号 13に関する処理は同様であるため、説明を省略する。

[0150] F〇 = lのとき、第 1の入力バッファ 135aは、 DRAM (Dynamic Random Access Me mory)などから構成され、第 1の撮像信号 IIを順次読み込み、 H1*V1画素 (x方向に H 1画素、 y方向に VI画素）のデータを保存する。第 2の入力バッファ 135bは、 DRAM などから構成され、第 2の撮像信号 12を順次読み込み、 H1*V1画素 (X方向に HI画素、 y方向に VI画素）のデータを保存する。第 3の入力バッファ 135cは、 DRAMなどから構成され、第 3の撮像信号 13を順次読み込み、 H1*V1画素 (X方向に HI画素、 y方向に VI画素）のデータを保存する。第 4の入力バッファ 135dは、 DRAMなど力も構成され、第 4の撮像信号 14を順次読み込み、 H1*V1画素 (X方向に HI画素、 y方向に VI画素）のデータを保存する。

[0151] 一方、 F〇 = 2のとき、第 2の撮像信号 12、および第 3の撮像信号 13を作成し、順次、入力バッファ 135に入力する。 FO = lのとき（全領域を転送するとき）と比較し、第 1 の入力バッファ 135a、および第 4の入力バッファ 135dに関する処理が省略される。第 2の入力バッファ 135b、および第 3の入力バッファ 135cに関する処理は同様であるため、説明を省略する。

[0152] 演算部 236は、 SRAM力ら構成された第 1の演算バッファ 241a、第 2の演算バッファ 241bと、ロジック回路や CPUなどから構成された視差演算部 242と、ロジック回路や CPUなどから構成された距離演算部 143と、ロジック回路や CPUなどから構成された転送範囲決定部 144と、から構成される。演算部 236は、第 1の撮像信号 II、第 2の撮像信号 12、第 3の撮像信号 13、および第 4の撮像信号 14をブロック単位で読み込み、第 1の演算バッファ 241a、第 2の演算バッファ 241bに保存する。そして、視差演算部 242において第 1の演算バッファ 241a、および第 2の演算バッファ 241bのデータなどに基づき視差を演算し、距離演算部 143において求められた視差に基づき距離を演算し、求められた距離データを出力バッファ 137に転送する。

[0153] 出力バッファ 137、および入出力部 138は、実施の形態 1と同様であり、説明を省略する。

[0154] 図 27は、本発明の実施の形態 2に係る撮像装置の動作を示すフローチャートである。 SLSI225のシステム制御部 231により、撮像装置 201は、このフローチャートのとおりに動作される。

[0155] ステップ S2010において、動作を開始する。例えば、上位 CPU (図示せず）が、入出力部 136を介し、撮像装置 201に動作の開始を命令することにより、撮像装置 201 は、動作を開始する。次に、ステップ S2020を実行する。

[0156] ステップ S2020において、転送範囲の初期化処理を行う。本実施の形態では、この初期化処理により、転送範囲フラッグ F〇 = l (第 1の動作モード）が設定される。次に、ステップ S2030を実行する。

[0157] ステップ S2030において、撮像信号を入力する。システム制御部 231の命令により、撮像素子駆動部 232が転送を行うための信号を随時出力する。転送範囲フラッグ F〇 = l (第 1の動作モード）のとき、第 1の撮像信号駆動部 232aが動作する。この場合、撮像信号入力部 233は、第 1の撮像信号 Il(x,y)を、 x方向に HI画素、 y方向に V 1画素だけ、すなわち、 11(0,0) ((x，y)=(0,0))、 11(1,0)、 11(2,0)、 · · ·、 I1(Hト 1,Vト 1)の順に入力し、順次、前処理部 234に転送する。次に、第 2の撮像信号 I2(x，y)を、 x方向に HI画素、 y方向に VI画素だけ、すなわち、 12(0,0) ((x,y)=(0，0))、 12(1,0)、 12(2,0)、 · · ·、 I2(H1-1，V1-1)の順に入力し、順次、前処理部 234に転送する。次に、第 3の撮像信号 I3(x，y)を、 X方向に HI画素、 y方向に VI画素だけ、すなわち、 13(0,0) ((x,y)=(0, 0))、 13(1,0)、 13(2,0)、 · · ·、 I3(H1-1,V1-1)の順に入力し、順次、前処理部 234に転送する。次に、第 4の撮像信号 I4(x，y)を、 X方向に HI画素、 y方向に VI画素だけ、すなわち、 14(0,0) ((x,y)=(0，0))、 14(1,0)、 14(2,0)、 · · ·、 I4(H1_1，V1_1)の順に入力し、順次、前処理部 234に転送する。前処理部 234は、強度補正処理を行い、第 1の撮像信号 II、第 2の撮像信号 12、第 3の撮像信号 13、および第 4の撮像信号 14を作成し、第 1 の撮像信号 II、第 2の撮像信号、第 3の撮像信号、および第 4の撮像信号を、それぞれ、順次、第 1の入力バッファ 135a、第 2の入カノッファ 135b、第 3の入力バッファ 1 35c、および第 4の入力バッファ 135dに転送する。

[0158] 一方、転送範囲フラッグ FO = 2 (第 2の動作モード）のとき、第 2の撮像信号駆動部 232bが動作し、撮像信号入力部 233は、第 2の撮像信号 I2(x,y)を、 x方向に HI画素、 y方向に VI画素だけ、すなわち、 I2(0，0) ((x，y)=(0，0))、 12(1,0)、 12(2,0)、 · · ·、 I2(H1- 1，V1-1)の順に入力し、順次、前処理部 234に転送し、第 3の撮像信号 I3(x,y)を、 x方向に HI画素、 y方向に VI画素だけ、すなわち、 13(0,0) ((x,y)=(0，0))、 13(1,0)、 13(2,0)、 • · ·、 I3(H1-1，V1-1)の順に入力し、順次、前処理部 234に転送する。前処理部 234 は、強度補正処理を行い、第 2の撮像信号 12、および第 3の撮像信号 13を作成し、第 2の撮像信号 12、および第 3の撮像信号 13を、それぞれ、順次、第 2の入力バッファ 1 35b、および第 3の入力バッファ 135cに転送する。

[0159] ステップ S2040において、第 2の入力バッファ 135aに保存されている第 2の撮像信号 12を第 1の出力バッファ 137aに転送し、第 1の出力バッファ 137aは、画像データとして保存する。次に、ステップ S2100を実行する。

[0160] ステップ S2100において、距離データを作成し、順次、第 2の出力バッファ 137bに転送する。また、転送範囲を決定し、転送範囲フラッグ F〇を設定する。この動作の詳細は後述する。次に、ステップ S2910を実行する。

[0161] ステップ S2910において、外部にデータを出力する。入出力部 138は、第 1の出力バッファ 137a上の画像データ、および第 2の出力バッファ 137b上の距離データを、上位 CPU (図示せず)や外部表示装置（図示せず）に出力する。次に、 S2920を実行する。

[0162] ステップ S2920において、動作を終了するかどうかを判断する。例えば、システム制御部 231は、入出力部 136を介し、上位 CPU (図示せず）と通信し、動作を終了するかどうかの命令を要求する。そして、上位 CPUが終了を命令すれば動作を終了し、次に、ステップ S2930を実行する。一方、上位 CPUが終了を命令しなければ動作を継続し、次に、ステップ S2030を実行する。すなわち、上位 CPUが終了を命令しなレ、限り、ステップ S2030、ステップ S2040、ステップ S2100、およびステップ S291 0のループの実行を継続する。

[0163] ステップ S2930におレヽて、動作を終了する。

[0164] 次に、ステップ S2100における動作の詳細を説明する。図 28は、本発明の実施の形態 2に係る撮像装置の演算部の動作を示すフローチャートである。図 28のフローチャートは、ステップ S2100の動作の詳細を示す。ステップ S2100の演算では、まず、ステップ S2110を実行する。 [0165] ステップ S2110において、演算の動作を開始する。次に、ステップ S2200を実行する。

[0166] ステップ S2200において、視差演算を実行する。図 29は、本発明の実施の形態 2 に係る撮像装置の視差演算の動作を示すフローチャートである。図 29のフローチヤートは、ステップ S2200の動作の詳細を示す。ステップ S2200の演算では、まず、ステツプ S2210を実行する。

[0167] ステップ S2210において、視差演算の動作を開始する。次に、ステップ S2220を実行する。

[0168] ステップ S2220において、転送範囲フラッグ F〇によって分岐する。転送範囲フラッグ F〇= 1のとき（S2220で Y)、転送範囲が撮像領域の全領域で生成される撮像信号となり、次に、ステップ S2230aを実行する。一方、転送範囲フラッグ F〇= 2のとき（ S2220で N)、転送範囲が撮像領域の半分の領域で生成される撮像信号となり、次に、ステップ 2230bを実行する。

[0169] ステップ S2230aにおいて、第 2の撮像信号と第 3の撮像信号とを利用した視差演算を実行する。図 30は、本発明の実施の形態 2に係る撮像装置の第 2の撮像信号と第 3の撮像信号とを利用した視差演算の動作を示すフローチャートである。図 30のフローチャートは、ステップ S2230aの動作の詳細を示す。ステップ S2230aの演算では、まず、ステップ S2310を実行する。

[0170] ステップ S2310において、第 2の撮像信号と第 3の撮像信号とを利用した視差演算の動作を開始する。次に、ステップ S2320を実行する。

[0171] ステップ S2320におレヽて、ブロックインデックス ibに 0に初期化する。次に、ステップ S2330を実行する。

[0172] ステップ S2330において、ブロックを選択する。図 31は、本発明の実施の形態 2に係る撮像装置の第 2の撮像信号と第 3の撮像信号とを利用した視差演算における第 2の撮像信号の分割ブロックと演算順番を説明する図であり、図 32は、本発明の実施の形態 2に係る撮像装置の第 2の撮像信号と第 3の撮像信号とを利用した視差演算における第 3の撮像信号の分割ブロックと演算順番を説明する図である。図 31において、第 2の撮像信号 12は、 X方向に HB画素、 y方向に VB画素の長方形状のブロックに分割され、 x方向に HB画素、 y方向に VB画素ずれて配置され、 X方向に Nh 個、 y方向に Nv個のブロックを持つ。そのため、各ブロックは X方向、 y方向ともに重なる部分はなレ、。図 32において、第 3の撮像信号 13は、図 32 (b)のような (HB+SB)*(VB +SB)-SB*SB画素のブロックに分割され、 X方向に HB画素、 y方向に VB画素ずれて配置され、 X方向に Nh個、 y方向に Nv個のブロックを持つ。また、図 32において、図 32 (b)のようなブロックを取ることができないブロック（例えば、左上や右下や左下のブロック）は、適宜取れない部分が削除される（例えば、左上のブロックは HB * VBの長方形状のブロックとなる）。なお、実施の形態 2では、以下、 HB = 32、 VB = 32の例を示す。図 31、および図 32において、各ブロックの上段に記述された数字はブロックインデックス ibを示す。また、図 31、および図 32おいて、各ブロックの下段に記述された座標（ibx、 iby)は、各ブロック力 Sx方向に ibx番目、 y方向に iby番目のブロックであることを示す。ここで、 ibxは 0から Nh— 1まで、 ibyは 0から Vh— 1まで存在する。ステップ S 2330におレヽて、図 31、および図 32において、ブロックインデックス ibで示されるブロック（座標 (ibx, iby)で示されるブロック）が選択される。次に、ステップ S 2 340を実行する。

ステップ S 2340において、撮像信号を転送する。ここでは、ステップ S 2330におレヽて選択されたブロックの第 2の撮像信号 12を第 1の演算バッファ 241 aに転送する。演算バッファの座標 (x，y)における値を Bc l (x,y)とする。ここで、 HB=32、 VB=32であるため、 x=0〜31、 y=0〜31である。ステップ S 2340において、さらに、選択されたブロックの第 3の撮像信号 13を第 2の演算バッファ 241 bに転送する。演算バッファの座標 (x，y )における値を Bc2(x,y)とする。ここで、 HB=32、 VB=32であるため、 x=31_SB〜31、 y=0 〜31+SBである。例えば、 ib = ibtのとき、第 1の演算バッファ 241 aには、座標 (H 1_ 1，0 )と座標 (H l_32, 31)とで囲まれる 1024画素の撮像信号 I Iが転送され、第 2の演算バッファ 241bには、図 32において右斜上となる斜線が描かれた座標 (H l- 10，0)と座標 (H l-32-SB，31+SB)とで囲まれる (1024+2*32*SB)画素の撮像信号 13が転送される。次に、 ib = ibt + lのとき、第 1の演算バッファ 241 aには、座標 (H l-33，32)と座標 (H l_64, 6 3)とで囲まれる 1024画素の撮像信号 I Iが転送される。また、第 2の演算バッファ 241b では、図 32において右斜上となる斜線が描かれた座標 (H l-33，32)と座標 (H 1-64-SB ，63+SB)とで囲まれる (1024+2*32*SB)画素の撮像信号 13が必要だ力 ib = ibtと重なる部分（座標 (Hl-33，32)と座標 (Hl-32-SB，31+SB)で囲まれる 2*32*SB画素の領域）はすでに第 2の演算バッファ 241bに転送されているため、新たに座標 (Hl-33-SB，31 +SB)と座標 (H1_64_SB，63+SB)とで囲まれる 2048画素のみを第 2の演算バッファ 241b に転送する。これにより、転送時間を低減できる。次に、ステップ S2350を実行する。

[0174] ステップ S2350において、視差演算を実行する。まず、視差評価値 R(k)を演算する。ここで、 kは画像をどれだけずらすかを示すずらし量であり、 k=0、 1、 2、 · · ·、 SBのように変化させる。図 33は、本発明の実施の形態 2に係る撮像装置の第 2の撮像信号と第 3の撮像信号を利用したときの視差演算における視差評価値の演算領域を説明する図である。図 33のように、データ Belが格納されている領域は、第 1の演算バッファ 241a中の領域である。データ Bc2が格納されている領域は、図 33において Belで示されるブロックから X方向に負の向きでずらし量 kだけ、 y方向に正の向きでずらし量 kだけ移動した第 2の演算バッファ 241b中の領域である。そして、ずらし量 k=0から SBについて、下記式 15に示される絶対値差分総和 (SAD。 Sum of Absolute Differenc e_s)を演算し、視差評価値 R(k)とする。

[0175] R(k) =∑∑ |Bcl(x,y)-Bc2(x-k,y+k)| … 式 15

この視差評価値 R(k)は、第 1の演算バッファ 241aのデータ Belと、 x方向に負の向きで kだけ、 y方向に正の向きで kだけ離れた領域における第 2の演算バッファ 241bのデータ Bc2とがどれだけ相関があるかを示し、値が小さいほど相関が大きい（よく似ている）ことを示す。ここで、第 1の演算バッファ 241aのデータ Belは、第 2の撮像信号 12 を転送したものであり、第 2の演算バッファ 241bのデータ Bc2は、第 3の撮像信号 13を転送したものであるため、視差評価値 R(k)は、第 2の撮像信号 12と対応する第 3の撮像信号 13とがどれだけ相関があるかを示す。

[0176] 図 17のように、視差評価値 R(k)はずらし量 kの値によって変化し、ずらし量 k= Δのとき極小値を持つ。第 1の演算バッファ 241aのデータ Belは、第 1の演算バッファ 24 laのデータ Belを X方向に負の向きに kだけ、 y方向に正の向きに kだけ移動した領域に存在する第 2の演算バッファ 241bのデータ Bc2と最も相関がある（最も似ている）ことを示す。したがって、第 1の演算バッファ 241aのデータ Belと第 2の演算バッファ 24 lbのデータ Bc2との視差が Δであることが分かる。ここで、この Δをこのブロックでの視差値 Δと呼ぶ。

[0177] 次に、視差値 Δの信頼度を演算する。図 34は、本発明の実施の形態 2に係る撮像装置の第 2の撮像信号と第 3の撮像信号を利用したときの視差演算における視差評価値の信頼度の演算領域を説明する図である。データ Belが格納されている領域は、第 1の演算バッファ 241a中の領域である。データ Bc2が格納されている領域は、データ Belを X方向に負の向きに Δだけ、 y方向に正の向きに Δだけ移動した第 2の演算バッファ 241b中の領域である。そして、下記式 16のように、それぞれの領域のデータ Bcl(x，y)、 Bc2(x- A，y+ A )について、正規化相関係数を信頼度 Eとする。

[0178] E(2,3)(ibx,iby) =∑∑ [{Bcl(x,y)-avg(Bcl(x,y))}

*{Bc2(x- Δ ,y+ Δ )-avg(Bc2(x- Δ ,y+ Δ ))}]

/ ∑[{Bcl(x,y)-avg(Bcl(x,y))}

*{Bcl(x,y)-avg(Bcl(x,y))}

/ ∑∑ [{Bc2(x- Δ ,y+ Δ )— avg(Bc2(x— Δ，y+ Δ》}

*{Bc2(x- Δ ,y+ Δ )-avg(Bc2(x- Δ ,y+ Δ ))}] … 式 16 そして、この視差値 Δの信頼度 Eを、第 2の撮像信号と第 3の撮像信号とを利用した視差演算において、座標 (ibx，iby)で示される 32x32画素のブロックにおける視差値 Δ (2，3)Gbx，iby)とその信頼度 E(2，3)Gbx，iby)として保存する。（2,3)は、第 2の撮像信号と第 3の撮像信号とを利用した視差値、および信頼度であることを示す。（ibx，iby)は、ブロックインデックス ¾で示されるブロックを示し、図 31において各ブロックの下段に示される座標である。次に、ステップ S2360を実行する。

[0179] ステップ S2360におレヽて、ブロックインデックス ibに 1を加える。次に、ステップ S23 70を実行する。

[0180] ステップ S2370において、第 2の撮像信号と第 3の撮像信号とを利用した視差演算を終了するかどうかを判断する。ブロックインデックス ibが Nh*Nv未満のとき、次のブロックの視差を演算するために、次に、ステップ S2330を実行する。一方、ブロックインデッタス ibが Nh*Nv以上のとき、全てのブロックの視差を演算したと判断し、次に、ステツプ S2380を実行する。 [0181] ステップ S2380において、第 2の撮像信号と第 3の撮像信号とを利用した視差演算を終了し、上位ルーチンへ戻る。このようにして、第 2の撮像信号と第 3の撮像信号とを利用した視差演算において、ブロックインデックス ibで示される 32x32画素のブロックについて、 32 32画素の分解能で視差値（2 3)(¾ )とその信頼度6(2 3)(¾ iby)とが求められた。ここで、（2 3)は第 2の撮像信号と第 3の撮像信号とを利用していることを示し、（ibx iby)は図 31において各ブロックの下段に示される座標である（ibx は 0力 Nh— 1まで、 ibyは Nv— 1まで変化する）。次に、図 29のステップ S2240aを実行する。

[0182] ステップ S2240aにおいて、第 1の撮像信号と第 4の撮像信号とを利用した視差演算を実行する。図 35は、本発明の実施の形態 2に係る撮像装置の第 1の撮像信号と第 4の撮像信号とを利用した視差演算の動作を示すフローチャートである。図 35のフローチャートは、ステップ S2240aの動作の詳細を示す。ステップ S2240aの演算では、まず、ステップ S2410を実行する。

[0183] ステップ S2410において、第 1の撮像信号と第 4の撮像信号とを利用した視差演算の動作を開始する。次に、ステップ S2420を実行する。

[0184] ステップ S2420において、ブロックインデックス ibに 0に初期化する。次に、ステップ S2430を実行する。

[0185] ステップ S2430において、ブロックを選択する。第 1の撮像信号のブロック分割は、ステップ S2330の第 2の撮像信号のブロック分割と同様であり、説明を省略する。ただし、ブロックインデックス ibは後述の図 36と同様となるように変更される。図 36は、本発明の実施の形態 2に係る撮像装置の第 1の撮像信号と第 4の撮像信号とを利用した視差演算における第 4の撮像信号の分割ブロックと演算順番を説明する図である。図 31の第 2の撮像信号 12と同様に、第 1の撮像信号 IIは、 X方向に HB画素、 y方向に VB画素の長方形状のブロックに分割され、 X方向に HB画素、 _y方向に VB画素ずれて配置され、 X方向に Nh個、 y方向に Nv個のブロックを持つ。そのため、各ブロックは X方向、 y方向ともに重なる部分はなレ、。図 36おいて、第 4の撮像信号 14は、図 3 6 (b)のような (HB+SB)*(VB+SB)-SB*SB画素のブロックに分割され、 x方向に HB画素 y方向に VB画素ずれて配置され、 X方向に Nh個、 y方向に Nv個のブロックを持つ。また、図 36において、図 36 (b)のようなブロックを取れないブロック（例えば、右上や右下や左下のブロック）は、適宜取れない部分が削除される（例えば、右上のプロックは HB * VBの長方形状のブロックとなる）。なお、実施の形態 2では、以下、 HB = 32、 8 = 32の伊!1を示す。

[0186] 図 36において、各ブロックの上段に記述された数字はブロックインデックス ibを示す。また、図 36おいて、各ブロックの下段に記述された座標（ibx、 iby)は、各ブロック力方向に ibx番目、 y方向に iby番目のブロックであることを示す。ここで、 ibxは 0力、ら Nh— 1まで、 ibyは 0力、ら Vh— 1まで存在する。ステップ S2320におレ、て、図 36において、ブロックインデックス ibで示されるブロック（座標（ibx、 iby)で示されるブロック )が選択される。次に、ステップ S2440を実行する。

[0187] ステップ S2440、撮像信号を転送する。ここでは、ステップ S2430において選択されたブロックの第 1の撮像信号 IIを第 1の演算バッファ 241aに転送する。第 1の演算バッファ 241aの座標 (x，y)における値を Bcl(x,y)とする。ここで、 HB=32、 VB=32であるため、 x=0〜31、 y=0〜31である。ステップ S2430において、選択されたブロックの第 4 の撮像信号 14を第 2の演算バッファ 241bに転送する。第 2の演算バッファ 241bの座標 (x,y)における値を Bc2(x，y)とする。ここで、 HB=32、 VB=32であるため、 x=0〜31+SB 、 y=0〜31+SBである。例えば、 ib=ibtのとき、第 1の演算バッファ 241aには、座標 (0, 0)と座標 (31, 31)とで囲まれる 1024画素の撮像信号 IIが転送され、第 2の演算バッファ 241bには、図 36において右斜下となる斜線が描かれた座標 (0,0)と座標 (31+SB, 31+ SB)とで囲まれる (1024+2*32*SB)画素の撮像信号 14が転送される。次に、 ib = ibt+ l のとき、第 1の演算バッファ 241aには、座標 (32,32)と座標 (63,63)とで囲まれる 1024画素の撮像信号 IIが転送される。また、第 2の演算バッファ 241bでは、図 36において右斜下となる斜線が描かれた座標 (32,32)と座標 (63+SB，63+SB)とで囲まれる (1024+2 *32*SB)画素の撮像信号 14が必要だ力 ib = ibtと重なる部分 (座標 (32,32)と座標 (31 +SB，31+SB)で囲まれる 2*32*SB画素の領域）はすでに第 2の演算バッファ 241bに転送されているため、新たに座標 (32+SB,32+SB)と座標 (63+SB,63+SB)とで囲まれる 204 8画素のみを第 2の演算バッファ 241bに転送すればよレ、。次に、ステップ S2450を実行する。 [0188] ステップ S2450において、視差演算を実行する。まず、視差評価値 R(k)を演算する。ここで、 kは画像をどれだけずらすかを示すずらし量であり、 k=0、 1、 2、 · · ·、 SBのように変化させる。図 37は、本発明の実施の形態 2に係る撮像装置の第 1の撮像信号と第 4の撮像信号を利用したときの視差演算における視差評価値の演算領域を説明する図である。図 37のように、データ Belが格納されている領域は、第 1の演算バッファ 241a中の領域である。データ Bc2が格納されている領域は、図 37において Belで示されるブロックから X方向に正の向きでずらし量 kだけ、 y方向に正の向きでずらし量 kだけ移動した第 2の演算バッファ 241b中の領域である。そして、ずらし量 k=0から SBについて、下記式 17に示される絶対値差分総和 (SAD。 Sum of Absolute Diiferenc es)を演算し、視差評価値 R(k)とする。

[0189] R(k) =∑∑ |Bcl(x,y)-Bc2(x+k,y+k)| … 式 17

この視差評価値 R(k)は、第 1の演算バッファ 241aのデータ Belと、 x方向に正の向きで kだけ、 y方向に正の向きで kだけ離れた領域における第 2の演算バッファ 241bのデータ Bc2とがどれだけ相関があるかを示し、値が小さいほど相関が大きい（よく似ている）ことを示す。ここで、第 1の演算バッファ 241aのデータ Belは、第 1の撮像信号 II を転送したものであり、第 2の演算バッファ 241bのデータ Bc2は、第 4の撮像信号 14を転送したものであるため、視差評価値 R(k)は、第 1の撮像信号 IIと対応する第 4の撮像信号 14とがどれだけ相関があるかを示す。

[0190] 図 17のように、視差評価値 R(k)はずらし量 kの値によって変化し、ずらし量 k= Δのとき極小値を持つ。第 1の演算バッファ 241aのデータ Belは、第 1の演算バッファ 24 l aのデータ Belを X方向に正の向きに kだけ、 y方向に正の向きに kだけ移動した領域に存在する第 2の演算バッファ 241bのデータ Bc2と最も相関がある（最も似ている）ことを示す。したがって、第 1の演算バッファ 241aのデータ Belと第 2の演算バッファ 24 lbのデータ Bc2との視差が Δであることが分かる。ここで、この Δをこのブロックでの視差値 Δと呼ぶ。

[0191] 次に、視差値 Δの信頼度を演算する。図 38は、本発明の実施の形態 2に係る撮像装置の第 1の撮像信号と第 4の撮像信号を利用したときの視差演算における視差評価値の信頼度の演算領域を説明する図である。データ Belが格納されている領域は、第 1の演算バッファ 241a中の領域である。データ Bc2が格納されている領域は、データ Belを X方向に正の向きに Δだけ、 y方向に正の向きに Δだけ移動した第 2の演算バッファ 241b中の領域である。そして、下記式 18のように、それぞれの領域のデータ Bcl(x y)、 Bc2(x+ A y+ A )について、正規化相関係数を信頼度 Eとする。

[0192] E(l,4)(ibx,iby) =∑∑ [{Bcl(x,y)-avg(Bcl(x,y))}

*{Bc2(x+ Δ ,y+ Δ )-avg(Bc2(x+ Δ ,y+ Δ ))}]

/ ∑[{Bcl(x,y)-avg(Bcl(x,y))}

*{Bcl(x,y)-avg(Bcl(x,y))}

/ ∑∑ [{Bc2(x+ Δ ,y+ Δ )-avg(Bc2(x+ Δ ,y+ Δ ))}

*{Bc2(x+ Δ ,y+ Δ )-avg(Bc2(x+ Δ ,y+ Δ ))}] … 式 18 そして、この視差値 Δの信頼度 Eを、第 1の撮像信号と第 4の撮像信号とを利用した視差演算において、座標 Gbx iby)で示される 32x32画素のブロックにおける視差値厶（1 4)(^， )とその信頼度8(1 4)(^， )として保存する。（1,4)は、第 1の撮像信号と第 4の撮像信号とを利用した視差値、および信頼度であることを示す。（ibx iby)は、ブロックインデックス ¾で示されるブロックを示し、図 31において各ブロックの下段に示される座標である。次に、ステップ S2460を実行する。

[0193] ステップ S2460において、ブロックインデックス ibに 1を加える。次に、ステップ S24 70を実行する。

[0194] ステップ S2470において、第 1の撮像信号と第 4の撮像信号とを利用した視差演算を終了するかどうかを判断する。ブロックインデックス ibが Nh*Nv未満のとき、次のプロックの視差を演算するために、次に、ステップ S2430を実行する。一方、ブロックインデッタス ibが Nh*Nv以上のとき、全てのブロックの視差を演算したと判断し、次に、ステツプ S2480を実行する。

[0195] ステップ S2480において、第 1の撮像信号と第 4の撮像信号とを利用した視差演算を終了し、上位ルーチンへ戻る。このようにして、第 1の撮像信号と第 4の撮像信号とを利用した視差演算において、ブロックインデックス ibで示される 32x32画素のブロックについて、 32 32画素の分解能で視差値（1 4)(¾ )とその信頼度6(1 4)(¾ iby)とが求められた。ここで、（1 4)は第 1の撮像信号と第 4の撮像信号とを利用していることを示し、（ibx，iby)は図 31において各ブロックの下段に示される座標である（ibx は 0から Nh— 1まで、 ibyは Nv— 1まで変化する）。次に、図 29のステップ S2250aを実行する。

[0196] ステップ S2250aにおレ、て、視差を選択する。それぞれのブロックに対し、信頼度 E( 2，3)(ibx，iby)、および E(l，4)(ibx，iby)を比較し、最大の信頼度を与える視差をそのプロックでの視差値 A (ibx，iby)とする。また、そのときの信頼度を E(ibx，iby)とする。次に、ステップ S2260を実行する。

[0197] ステップ S2230bにおいて、第 2の撮像信号と第 3の撮像信号とを利用した視差演算を実行する。このステップは、ステップ S2230aと同様であり、説明を省略する。ただし、求められる視差、および信頼度を、それぞれのブロックでの視差値 A (ibx，iby)、および信頼度 E(ibx,iby)とする。次に、ステップ S2260を実行する。

[0198] ステップ S2260において、視差演算を終了し、上位ルーチンへ戻る。このようにして、各ブロックにおける視差値 Δ (ibx, iby)が求められた。ここで、（ibx,iby)は図 31の各ブロックの下段に示される座標であり、 ibxは 0力ら Nh— 1まで、 ibyは Nv—lまで変化する。本実施の形態では、フラッグ F〇 = l (第 1の動作モード）のとき、第 2の撮像信号 12と第 3の撮像信号 13とによる視差 (近赤外光による視差)の信頼度と第 1の撮像信号 IIと第 4の撮像信号 14とのよる視差 (緑色光による視差)の信頼度とを比較し、信頼度が高い視差を採用した。一方、転送範囲フラッグ FO = 2 (第 2の動作モード）のとき、信頼度による選択を行わず、第 2の撮像信号 12と第 3の撮像信号 13とによる視差 (近赤外光による視差）を採用した。次に、ステップ S2700を実行する。

[0199] ステップ S2700において、距離演算部 143は、距離演算を行い、その結果を、順次、第 2の出力バッファ 137bに、距離データとして転送する。このステップ S2700の動作は、実施の形態 1のステップ S1700と同様であり、説明を省略する。次に、ステツプ S2800を実行する。

[0200] ステップ S2800において、転送範囲決定部 144は、転送範囲を決定し、転送範囲フラッグを設定する。このステップ S2800の動作は、実施の形態 1のステップ S1800 と同様であり、説明を省略する。次に、ステップ S2900を実行する。

[0201] ステップ S2900において、演算動作を終了し、上位ルーチンへ戻る。次に、ステツプ S2910を実行する。

[0202] 本実施の形態の撮像装置を以上のように構成し、動作させることにより、実施の形態 1と同様の効果を有する。すなわち、本発明の実施の形態 2に係る撮像装置によれば、転送範囲決定部 144が撮像信号から作成される信頼度 E(ibx,iby)に基づき、信頼度 E(ibx,iby)が小さいとき、転送範囲フラッグ FO = l (第 1の動作モード）とし、信頼度 E(ibx,iby)が大きいとき、転送範囲フラッグ FO = 2 (第 2の動作モード）とする。このことにより、信頼度 E(ibx,iby)が大きいとき、高速性を上げる余裕があると判断し、出カフラッグ F〇 = 2 (第 2の動作モード）とすることにより、高速な視差演算、距離演算を可能とする撮像装置を実現する。一方、信頼度 (ibx，iby)が小さいとき、精度がさらに必要であると判断し、出力フラッグ F〇 = l (第 1の動作モード）とすることにより、高精度な視差演算、距離演算を可能とする。

[0203] また、対角に配置されたレンズ部（第 2のレンズ部 113bと第 3のレンズ部 113c、および第 1のレンズ部 113aと第 4のレンズ部 114d)に対応する撮像信号 (第 2の撮像信号 12と第 3の撮像信号 13、および第 1の撮像信号 IIと第 4の撮像信号)を利用し視差演算することにより、水平方向に伸びた形状を有する被写体 (例えば、車両前方の停止線）の視差を精度よく検知できる。

[0204] なお、実施の形態 2の撮像装置において、第 1の撮像信号 II、第 2の撮像信号 12、第 3の撮像信号 13、および第 4の撮像信号の大きさは、それぞれ水平方向に HI画素、垂直方向に VI画素であり、この領域の全てを用いて視差演算を行ったが、ある程度余裕を持たせてもよい。すなわち、視差演算に利用する撮像信号を、水平方向に HI画素、垂直方向に VI画素よりも小さくしてもよい。

[0205] また、実施の形態 2の撮像装置において、信頼度 E(ibx,iby)により転送範囲を変更したが、本発明はこれに限定されなレ、。本発明の要諦は、転送範囲を変更することにより、速度と精度との関係が最適な視差演算、距離演算をすることにある。なお、上位 CPUの命令により、転送範囲を変更してもよい。例えば、上位 CPUが画像データを用いて、転送範囲を変更してもよい。あるいは、ユーザが指定する被写体情報に基づいて、転送範囲を上位 CPUが命令してもよい。

[0206] なお、実施の形態 1の場合と同様に、撮像信号に基づくことなぐ転送範囲が決定されるようにしてもよレヽ。

[0207] また、実施の形態 2の撮像装置において、転送範囲フラッグの初期値を FO = l (転送範囲が全領域）としたが、 F〇 = 2 (転送範囲が半分の領域）としてもよレ、。

[0208] また、実施の形態 2の撮像装置において、第 1の演算バッファの大きさを 32x32画素（水平方向に 32画素、および垂直方向に 32画素）とした力これに限定されない。例えば、 4x4画素、 8x8画素、 16x16画素でもよい。また、適宜大きさを変更してもよレ、。また、複数の大きさのブロックの視差を求め、選択してもよレ、。さらに、矩形状のブロックではなぐエッジなどを抽出してブロック分割してもよレ、。また、ブロックの視差を求めることに限定されず、エッジである線分の視差を求めてもよい。

[0209] また、実施の形態 2の撮像装置において、第 2の撮像信号 12を第 1の出力バッファ 1 37aに転送し、入出力部 138から出力したが、他の撮像信号 (第 1の撮像信号 II、第 3の撮像信号 13、あるいは第 4の撮像信号 14)を出力してもよい。また、複数の撮像信号を出力してもよい。さらに、撮像信号の条件により、入出力部 138から出力する撮像信号を変更してもよい。例えば、それぞれの撮像信号を比較し、最も明るい撮像信号 (撮像信号の大きさの平均が最も大きいなどにより判定されたもの）、あるいは最も輪郭がはっきりしているもの (微分値の平均や最大値が最も大きいなどにより判定されたもの）などを出力するように変更してもよい。

[0210] また、実施の形態 2の撮像装置において、 CMOSセンサである撮像素子 223と SL SI225とを另 IJ体とした力 SLSI225を CMOSプロセスにより構成し、撮像素子 223と SLSI225とを同一半導体基板上に構成してもよい。このことにより、別体で構成するときと比較し、基板 121上の配線などを省略できるため、低コスト化を実現できる。また、耐ノイズ性を向上できる。

[0211] なお、図 25 (a)において、第 1の撮像信号 IIに対応する領域 (IIで示された領域）、第 2の撮像信号 12に対応する領域 (12で示された領域)、第 3の撮像信号 13に対応する領域 (13で示された領域）、および第 4の撮像信号 14に対応する領域 (14で示された領域）は、それぞれ撮像素子の中心に対して対称に描画されているが、対称でなくてもょレ、ことは言うまでもなレ、。レンズ 113の製造ばらつきやレンズモジュール 11 0の組み立て精度などにより、第 1のレンズ部 113aの光軸中心、第 2のレンズ部 113 bの光軸中心、第 3のレンズ部 113cの光軸中心、および第 4のレンズ部 113dの光軸中心がそれぞれ対応する撮像信号の同一の画素に対応するように、組み立て後の調整などにより、撮像信号 IIの原点 (x01，y01)、撮像信号 12の原点 (x02,y02)、撮像信号 13の原点 (x03，y03)、および撮像信号 14の原点 (x04,y04)を設定し、 SLSI225内や基板 121上にフラッシュメモリや EEPROMなどを実装し情報を保持し、適宜使用すればよい。

また、実施の形態 2の撮像装置は、任意の位置（図 25のように、撮像信号 IIでは、原点が (x01，y01))力任意の大きさ（図 25のように、撮像信号 IIでは、水平方向の画素が HI画素、垂直方向の画素が VI画素）の撮像信号を得ている。ここで、垂直方向にのみ任意の位置を指定できるものであれば、以下のような変形を行う。図 39は、本発明の実施の形態 2に係る撮像装置の変形の撮像信号の切り出し位置を説明するための図である。図 39は、第 1の撮像素子 IIに対応する領域 (IIで示された領域）は、第 2の撮像素子 12に対応する領域よりも、垂直方向で負の方向にあり（すなわち、第 1の撮像信号 IIの原点の y座標 yOlと第 2の撮像信号 12の原点の y座標 y02との間に、 yOlく y02の関係があり）、第 3の撮像素子 13に対応する領域 (13で示された領域）は、第 4の撮像素子 14に対応する領域よりも、垂直方向で負の方向にある（すなわち、第 3の撮像信号 13の原点の y座標 y03と第 4の撮像信号 14の原点の y座標 y04との間に、 y03く y04の関係がある）場合を示す。 FO = 1 (第 1の動作モード）のとき、図 39 (a) のように、水平方向に H0画素、垂直方向に y座標が y=y01〜y02+Vl_lの Vl+y02_y0 1画素の領域 (右下がりの斜線部で示された領域）、および水平方向に HO画素、垂直方向に y座標が _y=y03〜y04+Vl-lの Vl+y04_y03画素の領域（右上がりの斜線部で示された領域)を読み出し、適宜前処理を行い、第 1の撮像信号 II、第 2の撮像信号 12、第 3の撮像信号 13、および第 4の撮像信号 14に対応する領域を使用する。 FO = 2 (第 2の動作モード）のとき、図 39 (b)のように、水平方向に H0画素、垂直方向に _y座標が _y=y02〜y02+Vl-lの VI画素の領域（右下がりの斜線部で示された領域）、および水平方向に H0画素、垂直方向に y座標力 Sy=y03〜y03+Vl_lの VI画素の領域（右上がりの斜線部で示された領域）を読み出し、適宜前処理を行い、第 2の撮像信号 12、および第 3の撮像信号 13を使用する。 [0213] 転送範囲フラッグ F〇 = l (第 1の動作モード）のときに要する垂直方向の読み出し画素数 Vl+y02_y01 (上部の右下がりの斜線部で示された領域の垂直方向の読み出し画素数）、および Vl+y04_y03 (下部の右上がりの斜線部で示された領域の垂直方向の読み出し画素数）を、転送範囲フラッグ F〇= 2 (第 2の動作モード）のときに要する垂直方向の読み出し画素数 VI (上部の右下がりの斜線部で示された領域の垂直方向の読み出し画素数）、および VI (下部の右上がりの斜線部で示された領域の垂直方向の読み出し画素数）まで低減し、すなわち、 y02-y01+y04-y03画素だけ低減し、その分だけ画像の転送に要する時間を短縮できる。このことにより、信頼度 E(ibx,iby )が大きいとき、高速性を上げる余裕があると判断し、出力フラッグ FO = 2 (第 2の動作モード)とすることにより、高速な視差演算、距離演算を可能とする撮像装置を実現する。一方、信頼度 E(ibx,iby)が小さいとき、精度がさらに必要であると判断し、出カフラッグ F〇 = l (第 1の動作モード）とすることにより、高精度な視差演算、距離演算を可能とする。

[0214] なお、例えば転送範囲フラッグ FO = 3 (第 3の動作モード）として、第 1の撮像信号 I 1と第 4の撮像信号 14とを利用した視差演算のみを行う場合を付加してもよい。この場合、 F〇 = 3のとき、図 39 (c)のように、水平方向に H0画素、垂直方向に y座標が y=y 01〜y01+Vl-lの VI画素の領域（右下がりの斜線部で示された領域）、および水平方向に H0画素、垂直方向に y座標力 Sy=y04〜y04+Vl_lの VI画素の領域（右上がりの斜線部で示された領域）を読み出し、適宜前処理を行い、第 1の撮像信号 II、および第 4の撮像信号 14を使用する。読み出し位置を変更しなければ、 FO = 2と FO = 3とに対応するためには、図 39 (a)のようにそれぞれの垂直方向の幅（2 XVI)以上を読み出さなければならないが、 F〇 = 2と F〇 = 3との切り替えのように、動作モードによつて、読み出しを開始する垂直方向の位置を適宜変更し、垂直方向の読み出し画素は変更しない（2 XVIに保つ）ことにより、画素転送に要する時間の増大を防止するまた、図 39において、右下がりの斜線部で示された領域と右上がりの斜線部で占められた領域の各行を交互に読み出してもよレ、。例えば、図 39 (a)において、 y=y01 、 y03、 y01+l、 y03+l、 y01+2、 y03+l、 · · ·、 yOl+Vト 1、 y03+Vl_lの順に読み出してもよレ、。ローリングシャツタ形式の CMOSセンサを使用する場合、右下がりの斜線部で示された領域を読み出した後、右上がりの斜線部で占められた領域を読み出すと、第 2の撮像信号 12の撮像された時刻と第 3の撮像信号が撮像された時刻とが異なる。そのため、被写体の動作が速いとき、誤差絶対値総和の演算に利用する撮像信号が異なるため、求められる視差の精度が低下する。ローリングシャツタ形式の CMOS センサを使用する場合、右下がりの斜線部で示された領域と右上がりの斜線部で占められた領域の各行を交互に読み出すことにより、被写体の動作が速いときであっても、誤差絶対値総和の演算に利用する撮像信号が撮像信号の撮像時間がほぼ一致するため、高精度に視差演算できる。

[0216] また、ローリングシャツタ形式の CMOSセンサを使用する場合、それぞれの撮像領域を 1画素ずづ順に読み出せば、さらに撮像時間の影響を低減し、高精度な視差演算を実現する。すなわち、 FO = l (第 1の動作モード）のとき、（x02,y02)、（x03,y03)、 ( x01,y01)、（x04,y04)、（x02+l,y02)、（x03+l，y03)、（x01+l，y01)、（x04+l，y04)、 (x02+2,y0

2)、（x03+2，y03)、（x01+2，y01)、（x04+2，y04)、 · · ·、（x02+Hl- l，y02)、（x03+Hl- l，y03)、 (xOl+Hl— l,y01)、（x04+Hl— l,y04)、（x02,y02+l)、（x03,y03+l)、（x01,y01+l)、 (x04,y04 +1)、（x02+l，y02+l)、（x03+l，y03+l)、（x01+l，y01+l)、（x04+l，y04+l)、 · · ·、 (x02,y02+V 1-1)、（x03，y03+Vl- 1)、 (x01，y01+Vl- 1)、 (x04，y04+Vl- 1)、（x02+l,y02+Vl- 1)、 (x03+ I，y03+Vl- 1)、 (x01+l，y01+Vl- 1)、 (x04+l，y04+Vl- 1)、 · · ·、（x02+Hl_l,y02+Vl- 1)、 ( x03+Hl-l,y03+Vl_l)、（x01+Hl-l,y01+Vl_l)、（x04 + Hl-l，y04+Vl_l)の順に転送してもよい。なお、上述のように視差演算時に対応する組の撮像信号 (第 2の撮像信号 12と第 3の撮像信号、および第 1の撮像信号 IIと第 4の撮像信号 14)を順に読み出すことにより、さらに撮像時間のずれの影響を低減できる。一方、 F〇 = 2 (第 2の動作モード）のとき、（x02，y02)、（x03，y03)、（x02+l，y02)、（x03+l，y03)、（x02+2，y02)、 (x03+2,y

03)、 · · ·、（x02+Hl-l，y02)、（x03+Hl_l，y03)、（x02，y02+l)、（x03，y03+l)、 (x02+l,y02+ 1)、（x03+l，y03+l)、 · · ·、（x02，y02+Vl_l)、（x03，y03+Vl— 1)、 (x02+l,y02+Vl— 1)、 (x03 + I，y03+Vl_l)、 · · ·、 (x02+m- I,y02+Vl- 1)、 (x03+Hl- I,y03+Vl_l)の順に転送してあよい。

[0217] このように、転送範囲に係る撮像領域が、生成する撮像信号の一部を撮像信号入力部 233へ交互に転送することを繰り返すことによって、生成する撮像信号の全てを撮像信号入力部 233へ転送するようにしてもよい。

[0218] (実施の形態 3)

本発明の実施の形態 1および実施の形態 2に係る撮像装置は、例えば視差演算の高速性が必要な場合に 2組の撮像信号を転送せず 1組の撮像信号のみを転送することにより、転送に要する時間を低減し、高速に視差演算、距離演算している。これに対し、実施の形態 3に係る撮像装置は、 1組の撮像信号のうち、視差演算する範囲を限定し、その限定された部分のみを転送することにより、転送に要する時間を低減し、高速に視差演算、距離演算を行う。

[0219] 以下、本発明の実施の形態 3に係る撮像装置について、図面を参照しながら説明する。

[0220] 図 40は、本発明の実施の形態 3に係る撮像装置の構成を示す断面図である。図 4 0において、撮像装置は、レンズモジュール部 310、および回路部 320を有する。

[0221] レンズモジュール部 310は、鏡筒 311、上部カバーガラス 312、およびレンズ 313を有する。回路部 320は、基板 321、パッケージ 322、撮像素子 323、パッケージカバ一ガラス 324、およびシステム LSI (以下、 SLSIと記す） 325を有する。

[0222] 鏡筒 311、および上部カバーガラス 312は、それぞれ実施の形態 1の鏡筒 111、および上部カバーガラス 312と同様であり、説明を省略する。

[0223] 図 41は、本発明の実施の形態 3に係る撮像装置のレンズの構成を示す平面図である。レンズ 313は、略円盤状であり、ガラスや透明樹脂から形成され、第 1のレンズ部 313a、および第 2のレンズ部 313bが配置される。第 1のレンズ部 313a、およびレンズ部 313bの配置方向に沿って、図 41に示すように X軸を設定し、 X軸に垂直に y 軸を設定する。第 1のレンズ部 313a、および第 2のレンズ部 313bにおいて、被写体側から入射した光は、撮像素子 323側へ射出し、撮像素子 323上に 2つの像を結像する。なお、図 41のように、第 1のレンズ部 313aの光軸と第 2のレンズ部 313bの光軸とは、水平方向（X軸方向）は Dだけ離れており、垂直方向（y軸方向）は一致している。

[0224] 基板 321、およびパッケージ 322は、実施の形態 1の基板 121、およびパッケージ 1 22とそれぞれ同様であり、説明を省略する。

[0225] 撮像素子 323は、 CMOSセンサであり、撮像素子 323の受光面が第 1のレンズ部 3 13a、および第 2のレンズ部 313bの光軸と略垂直になるようにして配置される。撮像素子 323の各端子は、パッケージ 322の内側の底部の金属端子にワイヤーボンディングにより金線 327で接続され、基板 321を介して、 SLSI325と電気的に接続される。撮像素子 323受光面に、第 1のレンズ部 313a、および第 2のレンズ部 313bから射出された光がそれぞれ結像し、その光の情報がフォトダイオードにより電気の情報へ変換され、その電気の情報が SLSI325に転送される。

[0226] 図 42は、本発明の実施の形態 3に係る撮像装置の回路部の構成を示す平面図である。パッケージカバーガラス 324は、平板状であり、透明樹脂により形成され、パッケージ 322の上面に接着などにより固着される。また、パッケージカバーガラス 324の上面、下面、あるいは両面には、反射防止膜が蒸着などにより配置される。

[0227] SLSI325は、後述の方法で、撮像素子 323を駆動し、撮像素子 323からの電気情報を入力し、各種演算を行い、上位 CPUと通信を行い、外部に画像情報や距離情報などを出力する。なお、 SLSI325は、電源（例えば 3· 3V)とグランド（例えば、 0V )に接続される。

[0228] 次に、本発明の実施の形態 3に係る撮像装置の動作を説明する。図 43は、本発明の実施の形態 3に係る撮像装置の構成を示すブロック図である。 SLSI325は、システム制御部 331、撮像素子駆動部 332、撮像信号入力部 333、前処理部 334、入力バッファ 335、演算部 336、出力バッファ 337、および入出力部 338を有する。入力バッファ 335は、第 1の入力バッファ 335a、および第 2の入力バッファ 335bを有する。演算部 336は、演算部バッファ 341、視差演算部 342、距離演算部 343、および転送範囲決定部 344を有する。演算バッファ 341は、第 1の演算バッファ 341a、および第 2の演算バッファ 341bを有する。出力バッファ 337は、第 1の出力バッファ 337a、および第 2の出力バッファ 337bを有する。

[0229] システム制御部 331は、 CPU (中央演算処理装置： Central Processing Unit)、ロジック回路などから構成され、 SLSI325の全体を制御する。

[0230] 撮像素子駆動部 332は、ロジック回路などから構成され、撮像素子 323を駆動する信号を発生し、この信号に応じた電圧を撮像素子 323に印加する。

[0231] 撮像信号入力部 333は、 CDS回路（相関二重サンプリング回路： Correlated Doubl e Sampling Circuit)、 AGC (自動利得制御器： Automatic Gain Controller)、 ADC ( アナログ Zディジタル変換器: Analog Digital Converter)が直列に接続されて構成され、撮像素子 323からの電気信号が入力され、 CDS回路により固定ノイズを除去し、 AGCによりゲインを調整し、 ADCによりアナログ信号からディジタル値に変換する。

[0232] 前処理部 334は、ロジック回路などから構成され、強度補正処理を行い、順次、入力バッファ 335に転送する。なお、レンズの光軸のずれなどを校正するために、適宜、座標変換を行ってもよい。

[0233] 演算部 336は、 SRAM(Static Random Access Memory)カゝら構成された第 1の演算バッファ 341a、第 2の演算バッファ 341bと、ロジック回路や CPUなど力、ら構成された視差演算部 342と、ロジック回路や CPUなどから構成された距離演算部 343と、ロジック回路や CPUから構成された転送範囲決定部 344と、から構成される。演算部 336 は、第 1の撮像信号 II、および第 2の撮像信号 12をブロック単位で読み込み、それぞれ第 1の演算バッファ 341a、第 2の演算バッファ 341bに保存し、視差演算部 342において第 1の演算バッファ 341a、および第 2の演算バッファ 341bのデータなどに基づき視差を演算し、距離演算部 343において求められた視差に基づき距離を演算し、求められた距離データを出力バッファ 337に転送する。

[0234] 出力バッファ 337は、 DRAMなどから構成され、入力バッファ 335から転送された画像データと演算部 336から転送された距離データとを保存し、入出力部 338に順次転送する。

[0235] 入出力部 338は、上位 CPU (図示せず）との通信や、上位 CPU、外部メモリ（図示せず）、および液晶ディスプレイなどの外部表示装置（図示せず）へ画像データ、および距離データを出力する。

[0236] 図 44は、本発明の実施の形態 3に係る撮像装置の動作を示すフローチャートである。 SLSI325のシステム制御部 331により、撮像装置 301は、このフローチャートのとおりに動作される。

[0237] ステップ S3010において、動作を開始する。例えば、上位 CPU (図示せず）、入出力部 336を介し、撮像装置 301に動作の開始を命令することにより、撮像装置 301 は、動作を開始する。次に、ステップ S3020を実行する。

[0238] ステップ S3020において、転送範囲の初期化を行う。本実施の形態では、撮像領域の全領域で生成される撮像信号を転送範囲に設定する。そして、各ブロック (ibx，ib y)の転送範囲フラッグ FO(ibx,iby)=を全て 1とする。

[0239] 図 45は、本発明の実施の形態 3に係る撮像装置の撮像信号の切り出し位置を説明するための図である。撮像素子 323の撮像領域の大きさは水平方向に H0画素、垂直方向に V0画素である。第 1のレンズ部 313aによって結像された被写体像を撮像する領域は、図 45において IIで示されるように、（x01，y01)を原点とする水平方向に HI画素、垂直方向に VI画素であり、第 1の撮像信号 IIとして SLSI325に入力される。また、第 2のレンズ部 313bによって結像された被写体像を撮像する領域は、図 45において 12で示されるように、（x02，y02)を原点とする水平方向に HI画素、垂直方向に VI画素であり、第 2の撮像信号として SLSI325に入力される。第 1の撮像信号 I 1に対応する領域、および第 2の撮像信号 12に対応する領域は、それぞれ多数のブロックの領域に分割されている。

[0240] 図 46は、本発明の実施の形態 3に係る撮像装置の第 1の撮像信号と第 2の撮像信号とを利用した視差演算における第 1の撮像信号の分割ブロックと演算順番と転送範囲フラッグとを説明する図であり、図 47は、本発明の実施の形態 3に係る撮像装置の第 1の撮像信号と第 2の撮像信号とを利用した視差演算における第 2の撮像信号の分割ブロックと演算順番と転送範囲フラッグとを説明する図である。図 46において

、第 1の撮像信号 IIは、 X方向に HB画素、 y方向に VB画素の長方形状のブロックに分割され、 X方向に HB画素、 y方向に VB画素ずれて配置され、 X方向に Nh個、 y方向に Nv個のブロックを持つ。そのため、各ブロックは X方向、 y方向ともに重なる部分はない。図 47において、第 2の撮像信号 12は、 X方向に（HB + SB)画素、 y方向に V B画素の長方形状のブロックに分割され、 X方向に HB画素、 y方向に VB画素ずれて配置され、 X方向に Nh個、 y方向に Nv個のブロックを持つ。そのため、 X方向について、隣のブロックと重なる。一方、 y方向について、隣のブロックと重ならなレ、。また、図 47において、右側のブロックにおいて X方向に（HB + SB)画素を取れないブロックは、適宜 x方向の右端が削除される。なお、実施の形態 3では、以下、 HB = 32、 VB = 32の例を示す。

[0241] 図 46、および図 47において、各ブロックの上段に記述された数字はブロックインデックス ibを示す。また、図 46、および図 47において、各ブロックの中段に記述された座標（ibx、 iby)は、各ブロック力 Sx方向に ibx番目、 y方向に iby番目のブロックであることを示す。ここで、 ibxは 0から Nh— 1まで、 ibyは 0力、ら Vh— 1まで存在する。また、図 46、および図 47において、各ブロックの下段には転送範囲フラッグ FO(ibx,iby)が示され、転送範囲フラッグ FO(ibx，iby)=lであれば動作を意味し、該当するブロックの撮像信号を転送し視差演算する。一方、転送範囲フラッグ FO(ibx,iby)=0であれば停止を意味し、該当するブロックの撮像信号を転送せず視差演算しない。

[0242] ステップ S3020におレ、て、各ブロック (ibx，iby)の転送範囲フラッグ FO(ibx，iby)=を全て 1とし、転送範囲を撮像領域の全領域で生成される撮像信号として初期化する。次に、ステップ S3030を実行する。

[0243] ステップ S3030において、撮像信号を入力する。システム制御部 331の命令により、撮像素子駆動部 332が電子シャッターや転送を行うための信号を随時出力する。転送範囲フラッグ FO(ibx，iby)=lのブロック（動作のブロック）の撮像領域の撮像信号を順に入力し、順次、前処理部 334に転送する。前処理部 334は、第 1の撮像信号 I 1、および第 2の撮像信号 12の強度補正処理を行い、順次入力バッファ 335に転送する。第 1の撮像信号 IIを、順次、第 1の入力バッファ 335aに転送し、第 2の撮像信号 I 2を、順次、第 2の入力バッファ 335bに転送する。第 1の撮像信号 II、および第 2の撮像信号 12は、それぞれ第 1のレンズ部 313a、および第 2のレンズ部 313bによって結像された被写体像によって得られたものである。下記式 19のように、第 1の撮像信号 I 1を第 1の強度補正係数 kslで補正し、および下記式 20のように、第 2の撮像信号 12を第 2の強度補正係数 ks2で補正する。

[0244] Il(x,y) = ksl(x,y) * Il(x,y) … 式 19

I2(x,y) = ks2(x,y) * I2(x,y) … 式 20

なお、第 1の強度補正係数 ksl(x,y)、および第 2の強度補正係数 ks2(x,y)は、第 1の撮像信号 II、および第 2の撮像信号 12の座標 (x,y)における強度補正係数を示し、検査工程などにおいて特定チャートを撮影し決定され、 EEPROMやフラッシュメモリに保存される。なお、各画素の係数を持たずに、代表点のみを持ち、その代表点を用いて線形補間により第 1の強度補正係数 ksl(x，_y)、および第 2の強度補正係数 ks2(x，_y) を求めてもよレ、。また、近似式を策定しその係数のみを持ち、各座標の第 1の強度補正係数 ksl(x，y)、および第 2の強度補正係数 ks2(x，y)を作成してもよレ、。また、レンズの光軸のずれなどを校正するために、適宜、座標変換を行ってもよい。次に、ステツプ S3040を実行する。

[0245] ステップ S3040において、第 1の入力バッファ 335aに保存されている第 1の撮像信号 IIを第 1の出力バッファ 337aに転送し、第 1の出力バッファ 337aは、画像データとして保存する。なお、転送範囲フラッグ FO(ibx，iby)=lのブロック（動作のブロック）おいて撮像信号 IIをそのまま転送し、転送範囲フラッグ FO(ibx，iby)=0のブロック (停止のブロック）おいて転送すべき撮像信号 IIがないため該当する画像データを全て黒とするなどの処理を行う。次に、ステップ S3100を実行する。

[0246] ステップ S3100において、距離データを作成し、順次、第 2の出力バッファ 337bに転送する。また、転送範囲を決定し、転送範囲フラッグ FO(ibx，iby)を設定する。この動作の詳細は後述する。次に、ステップ S3910を実行する。

[0247] ステップ S3910において、外部にデータを出力する。入出力部 338は、第 1の出力バッファ 337a上の画像データ、および第 2の出力バッファ 337b上の距離データを、上位 CPU (図示せず)や外部表示装置（図示せず）に出力する。なお、適宜転送範囲フラッグ FO(ibx，iby)を出力してもよレ、。次に、 S3920を実行する。

[0248] ステップ S3920におレ、て、動作を終了するかどうかを判断する。例えば、システム制御部 331は、入出力部 336を介し、上位 CPU (図示せず）と通信し、動作を終了するかどうかの命令を要求する。そして、上位 CPUが終了を命令すれば動作を終了し、次に、ステップ S3930を実行する。一方、上位 CPUが終了を命令しなければ動作を継続し、次に、ステップ S3030を実行する。すなわち、上位 CPUが終了を命令しなレ、限り、ステップ S3030、ステップ S3040、ステップ S3100、およびステップ S391 0のループの実行を継続する。

[0249] ステップ S3930におレ、て、動作を終了する。 [0250] 次に、ステップ S3100における動作の詳細を説明する。図 48は、本発明の実施の形態 3に係る撮像装置の演算部の動作を示すフローチャートである。図 48のフローチャートは、ステップ S3100の動作の詳細を示す。ステップ S3100の演算では、まず、ステップ S3110を実行する。

[0251] ステップ S3110において、演算の動作を開始する。次に、ステップ S3200を実行する。

[0252] ステップ S3200において、視差演算を実行する。図 49は、本発明の実施の形態 3 に係る撮像装置の視差演算の動作を示すフローチャートである。図 49のフローチヤートは、ステップ S3200の動作の詳細を示す。ステップ S3200では、第 1の撮像信号と第 2の撮像信号とを利用した視差演算を行う。ステップ S3200の演算では、まず、ステップ S3310を実行する。

[0253] ステップ S3310において、視差演算の動作を開始する。次に、ステップ S3320を実行する。

[0254] ステップ S3320におレヽて、ブロックインデックス ibに 0に初期化する。次に、ステップ S3330を実行する。

[0255] ステップ S3330におレ、て、ブロックを選択する。図 46、および図 47において、ブロックインデックス ibで示されるブロック (座標（ibx、 iby)で示されるブロック）が選択される。次に、ステップ S3335を実行する。

[0256] ステップ S3335において、転送範囲であるかどうかを判断し、分岐する。ブロックィンデッタス ibで示されるブロック（座標（ibx, iby)で示されるブロック）におレ、て転送範囲フラッグ FO(ibx，iby)=l (動作のブロック）のとき、次に、ステップ S3340を実行する。一方、ブロックインデックス ibで示されるブロック（座標（ibx, iby)で示されるブロック）において転送範囲フラッグ FO(ibx，iby)=0 (停止のブロック）のとき、次に、ステップ S33 60を実行する。このように、転送範囲フラッグ FO(ibx,iby)=l (動作のブロック）のブロックにおいて、後述のステップ S3340において撮像信号を転送し、後述のステップ S3 350において視差演算を行い、後述のステップ S3360を実行する。一方、転送範囲フラッグ FO(ibx，iby)=0 (停止のブロック）のブロックにおレ、て、撮像信号を転送と視差演算とを行わず、後述のステップ S3360を実行する。 [0257] ステップ S3340において、撮像信号を転送する。このステップ S3340の動作は、実施の形態 1のステップ S1340の動作と同様であり、説明を省略する。ただし、第 2の撮像信号について、転送を省略できる部分は、ブロックの重なりがあり、かつそのプロックにおレ、て転送範囲フラッグ F〇(ibx，iby)=l (動作のブロック）であった部分（すなわち、転送された部分）のみである。次に、ステップ S3350を実行する。

[0258] ステップ S3350におレ、て、視差演算を実行する。このステップ S3350の動作は、実施の形態 1のステップ S1350の動作と同様であり、説明を省略する。ただし、信頼度の演算を行う必要はなぐ実施の形態 1で A (l,2)(ibx,iby)で示される視差を、ブロックインデックス ibで示されるブロック（座標 (ibx，iby)で示されるブロック）の視差値 Δ (ibx,i by)とする。次に、ステップ S3360を実行する。

[0259] ステップ S3360におレヽて、ブロックインデックス ibに 1を加える。次に、ステップ S33 70を実行する。

[0260] ステップ S3370において、視差演算を終了するかどうかを判断する。ブロックインデックス ibが Nh*Nv未満のとき、次のブロックの視差を演算するために、次に、ステップ S 3330を実行する。一方、ブロックインデックス ibが Nh*Nv以上のとき、全てのブロックの視差を演算したと判断し、次に、ステップ S3380を実行する。

[0261] ステップ S3380におレ、て、視差演算を終了し、上位ルーチンへ戻る。このようにして、ブロックインデックス ibで示される 32x32画素のブロックについて、 32x32画素の分解能で視差値 A (ibx,iby)が求められた。ここで、（ibx，iby)は図 46において各ブロックの中段に示される座標である（ibxは 0から Nh— 1まで、 ibyは Nv— 1まで変化する )。次に、図 48のステップ S3700を実行する。

[0262] ステップ S3700において、距離演算部 343は、距離演算を行い、その結果を、順次、第 2の出力バッファ 337bに、距離データとして転送する。このステップ S3700の動作は、実施の形態 1のステップ S1700の動作を同様であり、説明を省略する。ただし、距離演算は、転送範囲フラッグ FO(ibx,iby)=l (動作のブロック）についてのみ行う。なお、転送範囲フラッグ FO(ibx,iby)=0 (停止のブロック）に負数を代入すれば、上位 CPUに転送範囲フラッグ FO(ibx，iby)の情報転送をしなくても、上位 CPUは転送された距離データ A(ibx，iby)のうち負数が代入されたブロックについては、視差演算、距離演算がなされなかったブロックであると判断できるため、通信の負荷を低減できる。次に、ステップ S3800を実行する。

[0263] ステップ S3800において、転送範囲決定部 344は、転送範囲を決定し、各ブロック (ibx,iby)の転送範囲フラッグ FO(ibx,iby)を設定する。図 50は、本発明の実施の形態 3 に係る撮像装置の転送範囲を説明する図である。なお、図 50において、簡単のため、ブロック数が小さいものを示している力ブロック数がこの図に限定されるものではなレ、。転送範囲決定部 344は、第 1の撮像信号 II力構成される画像の各ブロックのうち、人物の顔面を含むブロックを FO(ibx，iby)=l (動作のブロック）とし、人物の顔面を含まないブロックを F〇(ibx，iby)=0 (停止のブロック）とする。図 50において、図 50 (a) の座標 (0,0)や座標 (1，0)で示されるブロックのような白抜きのブロックは転送範囲フラッグ FO(ibx,iby)=l (動作のブロック）を示し、例えば、図 50 (b) (c) (d)の座標 (0，0)や座標 (1，0)で示されるブロックのような斜線ハッチが掛けられたブロックは転送範囲フラッグ FO(ibx,iby)=0 (停止のブロック）を示す。

[0264] 例えば、カメラモジュールである撮像装置 301が起動されて最初に撮像される撮像信号 IIは、ステップ 3020において、全てのブロックの転送範囲フラッグ FO(ibx，iby)=l となるように初期化されるため、図 50 (a)のように、第 1のレンズ部 313aに対応する撮像領域の全ての範囲が転送されている。転送範囲決定部 344は、人物の顔面の部分を判断し、図 50 (b)のように、顔面を含むブロックは転送範囲フラッグ FO(ibx，iby)= 1 (白抜きのブロック）に保ち、顔面を含まないブロックは転送範囲フラッグ FO(ibx,iby) =0 (斜線ハッチが掛けられたブロック）となるように、図 50 (a)のような転送範囲ブラッグ FO(ibx，iby)を変更する。

[0265] なお、人物の顔面を検知する方法としては公知のものを利用することができる。例えば、人物の前面に本実施の形態の撮像装置を配置する場合では、卵型のエッジ（顔面の輪郭に相当するエッジ）を有し、その内部に 2つの黒点（目に相当する 2つの点）を有する画像内の領域を人物の顔面として検知すればょレ、。

[0266] また、図 50 (b)のような転送範囲フラッグ FO(ibx，iby)の分布を持つときに、人物の顔面が移動すると、図 50 (c)のように顔面の一部が転送範囲 FO(ibx,iby)=0 (停止のブロック）に移動する。その場合、図 50 (b)では顔面が含まれたため F〇(ibx，iby)=l (白抜きのブロック。動作のブロック）であった力図 50 (c)では顔面が含まれなくなったブロックを、図 50 (d)の 3800Aのように、転送範囲フラッグ FO(ibx,iby)=0 (斜線ハッチが掛けられたブロック）に変更する。さらに、図 50 (b)では顔面が含まれなかったため F O(ibx,iby)=0 (斜線ハッチが掛けられたブロック。停止のブロック）であったが、図 50 (c )では顔面が含まれるようになったブロックを、図 50 (d)の 3800Bのように、転送範囲フラッグ FO(ibx，iby)= 1 (白抜きのブロック。動作のブロック）に変更する。次に、ステツプ S3900を実行する。

[0267] ステップ S3900において、演算動作を終了し、上位ルーチンへ戻る。次に、ステツプ S3910を実行する。

[0268] 本実施の形態の撮像装置を以上のように構成し、動作させることにより、以下の効果を有する。

[0269] 転送範囲を常に撮像領域の全領域で生成される撮像信号とする場合、常に全ての画素を転送する分だけ転送時間が必要であり、その転送時間の分だけ高速化に限界があった。本発明の実施の形態 3に係る撮像装置によれば、図 50 (b) (d)のように、人物の顔面を含むブロックの転送範囲フラッグ FO(ibx，iby)=lとし、人物の顔面を含むブロックのみの撮像信号を転送する。車載用の乗員監視に利用した場合、注視すべき被写体は人物の顔であり、顔の距離測定が必要である。そこで、顔部分の領域のみに転送を限定することにより、全画素を転送する場合と比較し転送量を低減し、高速な視差演算、距離演算を可能にする撮像装置を実現する。例えば、図 50 (b) (d )では、全てのブロックが 48個に対し、撮像信号を転送するブロックを 14個に低減できる。

[0270] なお、実施の形態 3の撮像装置においては、上述したように、撮像領域の一部の領域で生成される撮像信号 (全ブロック中の特定のブロックに係る撮像信号)を転送範囲に設定している。そして、その転送範囲は適宜変更されることになる。換言すると、複数の動作モードが適宜切り替えられることになる。

[0271] また、実施の形態 3の撮像装置においては、初期状態として全ての画像領域を転送範囲に設定している力あらかじめ中心付近の画像領域のみを転送範囲としてもよい。適切な位置に撮像装置を取り付ければ、人物の顔面は画像の中心にあることがほとんどであるため、初期状態として中心付近のみを転送し、適宜、転送範囲を変更すればよい。このことにより、転送領域は常に撮像領域の一部の領域で生成される撮像信号とすることができるため、常に転送時間を短縮でき、高速に視差演算、距離演算できる。

[0272] また、実施の形態 3の撮像装置において、第 3の演算バッファの大きさを 32x32画素（水平方向に 32画素、および垂直方向に 32画素）とした力これに限定されない。例えば、 4x4画素、 8x8画素、 16x16画素でもよい。また、適宜大きさを変更してもよレ、。また、複数の大きさのブロックの視差を求め、選択してもよレ、。さらに、矩形状のブロックではなぐエッジなどを抽出してブロック分割してもよレ、。また、ブロックの視差を求めることに限定されず、エッジである線分の視差を求めてもよい。

[0273] また、実施の形態 3の撮像装置において、第 1の撮像信号 IIを第 1の出力バッファ 3 37aに転送し、入出力部 338から出力した力第 2の撮像信号 12を出力してもよい。また、複数の撮像信号を出力してもよい。

[0274] また、実施の形態 3の撮像装置において、人物の顔面を含むブロックのみを転送した力さらに限定し、例えば顔面のうち目を含むブロックのみを転送する等してもよい

[0275] また、実施の形態 3の撮像装置において、人物の顔面を含むブロックのみを転送したが、例えば撮像信号のうち路面に相当する領域以外の領域に係る撮像信号のみを転送する等してもよい。図 51は、本発明の実施の形態 3に係る撮像装置の変形の転送範囲を説明する図である。例えば、カメラモジュールである撮像装置 301が起動され、ステップ S3020において全てのブロックの転送範囲フラッグ FO(ibx，iby)=lとなるように初期化されるため、初期に撮像される撮像信号 IIは、図 51 (a)のように、第 1 のレンズ部 313aに対応する撮像領域の全ての領域で生成される撮像信号が転送される。転送範囲決定部 344は、路面ではない部分を判断し、図 51 (b)のように、路面ではない被写体 (前方の自動車、人物、および自車）を含むブロックは転送範囲フラッグ FO(ibx,iby)=l (白抜きのブロック。動作のブロック）に保ち、路面であるブロックは出力範囲フラッグ FO(ibx，iby)=0 (斜線ハッチが掛けられたブロック。停止のブロック）に変更する。 [0276] なお、路面に相当する領域を検知する方法としては公知のものを利用することができる。例えば、次のようにその検知を行うことができる。自動車の前面に本発明の撮像装置を配置し、レンズの光軸が路面と平行になるように調整し、前方の距離を測定する場合、被写体距離 A1は、下記式 21のように示される。式 21において、 Θはレンズの光軸と路面との角度、 Zは撮像装置が配置された路面からの高さを示す。そして、各ブロックにおける視差値 Δ (ibx，iby)から演算された距離 A(ibx,iby)が式 21で演算された距離 A1と略一致する場合、そのブロックに撮像された被写体は路面であると判断する。

[0277] Al=Z/tan Θ … 式 21

転送範囲を常に撮像領域の全領域で生成される撮像信号とする場合、常に全ての画素を転送する分だけ転送時間が必要であり、その転送時間の分だけ高速化に限界があった。本発明の実施の形態 3に係る撮像装置の変形によれば、図 51 (b)のように、路面ではない被写体を含むブロックの転送範囲フラッグ FO(ibx，iby)=lとし、路面ではない被写体を含むブロックのみの撮像信号を転送する。このことにより、車載用の前方監視に利用した場合、注視すべき被写体は路面以外の例えば、前方の車、人物、およびその他の構造物であり、それらの距離測定が必要である。そこで、路面以外の領域のみに転送を限定することにより、全画素を転送する場合と比較し転送量を低減し、高速な視差演算、距離演算を可能にする撮像装置を実現する。例えば、図 51 (b)では、全てのブロックが 72個に対し、撮像信号を転送するブロックを 15 個に低減できる。

[0278] また、実施の形態 3の撮像装置において、人物の顔面を含むブロックのみを転送したが、撮像信号のうち動作がある被写体が含まれる領域のみを転送してもよい。図 5 2は、本発明の実施の形態 3に係る撮像装置の変形の転送範囲を説明する図である。図 52 (a)および図 52 (b)は動画像の連続する 2つのフレーム画像である。図 52 (a) において、右から 2つ目力、ら 3つ目のブロックに位置する人物力次のフレームでは図 52 (b)のように右から 3つ目力、ら 4つ目のブロックに位置する。このような場合、図 5 2 (c)のように、次のフレームで転送すべきブロックとして、動きがある人物が位置するブロック（右から 3つ目から 4つ目のブロック）と、同一の動きが継続し人物が移動すると推測されるブロック（右から 5つ目のブロック）とする。すなわち、図 52 (b)の次のフレームの転送範囲フラッグ FO(ibx,iby)を、動きがある人物が位置するブロック（右から 3 つ目力 4つ目のブロック）、および同一の動きが継続し人物が移動すると推測されるブロック（右から 5つ目のブロック）を転送範囲フラッグ FO(ibx,iby)=l (白抜きのブロック。動作のブロック）とし、それ以外のブロックを転送範囲フラッグ FO(ibx，iby)=0 (斜線ハツチ力 S掛けられたブロック。停止のブロック）とする（図 52 (c)参照）。

[0279] ここで、第 1の撮像信号 IIにおける連続する 2つのフレーム画像の差分の絶対値の総和 DtDiff (下記式 22)が大きいブロックを動作する被写体が含まれるブロックとすればよい。

[0280] DtDiif =∑∑Il(x,y)(tO)-Il(x,y)(tO+dt) … 式 22

なお、 Il(x，y)(t0)は、時刻 t0、座標 (x,y)における第 1の撮像信号 IIを示し、 Il(x,y)(t0+d t)は、時亥 ljt0+dt、座標 (x，y)における第 1の撮像信号 IIを示す。

[0281] 転送範囲を常に撮像領域の全領域で生成される撮像信号とする場合、常に全ての画素を転送する分だけ転送時間が必要であり、その転送時間の分だけ高速化に限界があった。本発明の実施の形態 3に係る撮像装置の変形によれば、図 52 (c)のように、動作する被写体（図 52では人物が示されている）を含むブロックの転送範囲フラッグ FO(ibx,iby)=lとする。車載用の前方監視に利用した場合、注視すべき被写体は動作する被写体、例えば、前方の車、人物、動物などであり、それらの距離測定が必要である。そこで、動作する被写体の領域のみに転送を限定することにより、全画素を転送する場合と比較し転送量を低減し、高速な視差演算、距離演算を可能にする撮像装置を実現する。例えば、図 52 (c)では、全てのブロックが 48個に対し、撮像信号を転送するブロックを 12個に低減できる。

[0282] なお、被写体の動作の速さに基づき転送範囲を決定することが好ましい。被写体の動作の速さに係らず転送範囲を常に被写体の像の周りの一定の領域とする場合、被写体の動作が速くなると、被写体がこの領域に含まれず視差の精度が悪化する場合がある。図 52 (c)のように、被写体の動作を予測し、次のフレームで動くであろうと予測される領域も含め転送する。すなわち、被写体の動作の速さに基づいて転送範囲決定部 344が転送範囲を決定する。このように、被写体の動作の速さに応じて転送範囲の大きさが適切に決定されることにより、被写体が転送範囲に含まれるようになるため、高精度な視差演算、距離演算を可能にする撮像装置を実現することができる。

[0283] ここで、被写体の動作の速さは、各フレーム間の画像を比較する等によって転送範囲決定部 344により検出される。

[0284] なお、被写体の動作が速いときは転送範囲を大きくすることが好ましい。すなわち、動作が速いときは、次のフレームで動くであろうと予測される範囲を大きくし、常に被写体が転送領域に含まれるようにすることにより、高精度な視差演算、距離演算を可能にする撮像装置を実現する。

[0285] また、転送範囲に含まれる画素数、すなわちブロック数を、複数のフレームにわたつて略同一となるようにすることが好ましい。例えば、図 52 (c)に示すように、転送範囲に含まれるブロックが 12個に設定された場合であれば、 12個という数が複数のフレームで保持されるように撮像装置が動作してもよい。

[0286] 被写体の動作の速さのみにより転送範囲を決定すると、動作が速い被写体が全領域中に多く含まれる場合では、転送量が増大するという事態が生じ得る。そこで、動作が速い被写体が全領域中に多く含まれる場合に、転送範囲に含まれる画素数を一定とし、その画素数を複数のフレームにわたって保持するようにする。そのために、例えば、被写体の動作が速いか否力を判定するための閾値を大きく設定して被写体を絞り込む等の処理を行う。これにより、転送範囲に含まれる画素数が一定に保持される。そのため、転送量の増大を防止することができ、高速な視差演算、距離演算を可能にする撮像装置を実現することができる。

[0287] このように、複数のフレームにわたって転送範囲に含まれる画素数が一定に保たれることが好ましいが、必ずしも当該画素数が複数のフレームで同一でなくてもよぐ転送速度等に応じてその数が多少増減しても構わない。

[0288] 以上、本発明のいくつかの実施形態を説明したが、これらはあくまでも例示であつて、本発明の実施に際しては、以下のとおり、種々の変更が可能である。

[0289] 実施の形態 1から実施の形態 3の撮像装置は、転送範囲フラッグ FOを SLSI125、

225、および 325が決定した力 SLSI以外が決定してもよレ、。また、 SLSIの機能を複数の LSIに分割し、基板上に実装してもよい。 [0290] また、実施の形態 1から実施の形態 3の撮像装置において、演算された視差をそのまま利用したが、適宜リミットしてもよレ、。レンズ特性によっては被写体距離 Aがある値よりも小さいとき、画像が不鮮明となることがある。そのため、この値を被写体距離 Aの最小値と定めれば、視差の最大値を定められる。この値よりも大きい視差は、誤差であるとして無視してもよい。また、このような場合、視差評価値が 2番目に小さい値を視差として採用してもよい。また、視差評価値に目立つ極値が 2つあるときは、より大きい方の視差を採用してもよい。このような場合、該当ブロッ外こは、被写体と背景が含まれており、被写体距離と背景距離とが異なるため、極値が 2つ現れる。このうち障害物検知に大きな影響を与える、より大きな視差を採用してもよい。

[0291] 第 1の実施の形態の撮像装置では、第 1のカラーフィルタ 124aと第 2のカラーフィルタ 124bとが主に赤外光を透過し、第 3のカラーフィルタ 124cと第 4のカラーフィノレタ 124dとが主に緑色光を透過している。また、第 2の実施の形態の撮像装置では、第 2のカラーフィルタ 224bと第 3のカラーフィルタ 224cとが主に赤外光を透過し、第 1のカラーフィルタ 224aと第 4のカラーフィルタ 224dとが主に緑色光を透過している。し力ながら、これは例示であって、本発明はこれに限定されなレ、。したがって、それぞれ異なる波長域を透過してもよい。例えば、赤色光、青色光、遠赤外光、近紫外光などを透過してもよい。また、片側のカラーフィルタを省略してもよい。また、片方の組がある特定のカラーフィルタが配置され、片方の組がべィャ配列のフィルタを撮像素子上に配置してもよい。また、それぞれの組のカラーフィルタ特性は同一で、 F値や焦点距離が異なっていてもよい。

[0292] 本発明の撮像装置の場合、視差演算を行う必要があるため、各動作モードにおいては、 4つの撮像領域のうち少なくとも 2つの撮像領域で生成される撮像信号を転送範囲としている。このように、少なくとも 2つの撮像領域で生成される撮像信号を転送範囲とする必要はあるものの、それらの撮像領域は任意のものでよレ、。したがって、実施の形態 1の撮像装置においては、撮像領域の全領域と上半分の領域 (第 1のレンズ部 113a、および第 2のレンズ部 113bに対応する領域）とを切り替えている力全領域と下半分の領域（第 3のレンズ部 113c、および第 4のレンズ部 113dに対応する領域）とを切り替えてもよい。また、上半分の領域 (第 1のレンズ部 113a、および第 2 のレンズ部 113bに対応する領域）と下半分の領域（第 3のレンズ部 113c、および第 4のレンズ部 113dに対応する領域）とを切り替えてもよい。

[0293] また、実施の形態 2の撮像装置においては、撮像領域の全領域と対角右上がりの領域（第 2のレンズ部 113b、および第 3のレンズ部 113cに対応する領域）とを切り替えているが、全領域と対角右下がり（第 1のレンズ部 113a、および第 4のレンズ部 11 3dに対応する領域）とを切り替えてもよい。また、対角右上がりの領域 (第 2のレンズ部 113b、および第 3のレンズ部 113cに対応する領域）と対角右下がり（第 1のレンズ部 113a、および第 4のレンズ部 113dに対応する領域）とを切り替えてもよい。

[0294] また、実施の形態 1から実施の形態 3において、視差評価値 R(k)として式 6に示すような差分絶対値総和（SAD)を用いたが、本発明はこれに限定されない。差分の二乗値の総和、第 1の撮像信号 IIからブロック内の平均を差分したものと第 2の撮像信号 I 2からブロック内の平均を差分したものとの差分の二乗値の総和、第 1の撮像信号 II 力らブロック内の平均を差分したものと第 2の撮像信号 12からブロック内の平均を差分したものとの差分の二乗値の総和、または、第 1の撮像信号 IIからブロック内の平均を差分したものと第 2の撮像信号 12からブロック内の平均を差分したものとの差分の二乗値の総和を第 1の撮像信号 IIからブロック内の平均を差分したものの二乗値の総和の平方根で除し第 2の撮像信号 12からブロック内の平均を差分したものの二乗値の総和の平方根で除したものなどを視差評価値 R(k)として利用してもよい。

[0295] なお、実施の形態 1から実施の形態 3において、ブロックを矩形状に分割した力これに限定されない。例えば、エッジを検出し、エッジに基づき非矩形状のブロックに分割してもよい。また、ブロック毎の領域の視差を求めずに、エッジを複数の線分に分割し、この線分の視差を求めてもよレ、。また、あるブロックにおいて求められた視差を評価し、ブロックを分割したり結合したりしてもよい。

[0296] 上記説明から、当業者にとっては、本発明の多くの改良や他の実施形態が明らかである。従って、上記説明は、例示としてのみ解釈されるべきであり、本発明を実行する最良の態様を当業者に教示する目的で提供されたものである。本発明の精神を逸脱することなぐその構造及び Z又は機能の詳細を実質的に変更できる。

産業上の利用可能性本発明に係る撮像装置及び半導体回路素子は、高速な視差演算が可能な撮像装置及び半導体回路素子であるため、カメラ機能を備えた携帯電話、デジタルスチルカメラ、車載用カメラ、監視用カメラ、三次元計測器、および立体画像入力カメラなどに有用である。

Claims

請求の範囲

[1] それぞれが少なくとも 1枚のレンズを含む複数のレンズ部と、

前記複数のレンズ部に一対一に対応して設けられ、対応する前記レンズ部の光軸方向に対して略垂直な受光面をそれぞれ有する複数の撮像領域と、

前記撮像領域により生成された撮像信号の入力を受ける撮像信号入力部と、前記撮像領域から前記撮像信号入力部へ転送される撮像信号の転送範囲を決定する転送範囲決定部と、

前記転送範囲決定部により決定された転送範囲に応じた撮像信号を前記撮像信号入力部へ転送するように前記撮像領域を駆動する撮像領域駆動部と、

前記撮像信号入力部に転送された撮像信号に基づき視差を演算する視差演算部とを備え、

前記転送範囲決定部は、前記複数の撮像領域のうち少なくとも 2つの撮像領域で生成される撮像信号を前記転送範囲と決定する第 1の動作モードと、第 1の動作モ一ドとは異なる撮像信号を前記転送範囲と決定する第 2の動作モードとを切替可能なように構成されている、撮像装置。

[2] 前記転送範囲決定部は、前記撮像領域の略全領域で生成される撮像信号を前記転送範囲とする第 1の動作モードと、前記撮像領域の略半分の領域で生成される撮像信号を前記転送範囲とする第 2の動作モードとを切替可能なように構成されている、請求項 1に記載の撮像装置。

[3] 前記略半分の領域は、前記撮像領域のうち転送順の早い略半分の領域である、請求項 2に記載の撮像装置。

[4] 4つの前記撮像領域が 2行 2列で配設されており、前記略半分の領域は、対角位置にある 2つの前記撮像領域である、請求項 2に記載の撮像装置。

[5] 前記撮像領域はインターレース走査される複数のフィールドに分割され、

前記転送範囲決定部は、前記撮像領域の略全領域で生成される撮像信号を前記転送範囲とする第 1の動作モードと、前記撮像領域の 1フィールド分の撮像信号を前記転送範囲とする第 2の動作モードとを切替可能なように構成されている、請求項 1 に記載の撮像装置。

[6] 前記転送範囲決定部は、被写体に関する情報に基づいて、前記第 1の動作モードと前記第 2の動作モードとを切り替えるように構成されている、請求項 5に記載の撮像装置。

[7] 前記転送範囲決定部は、視差の演算に高速性が必要であると判断した場合に、前記第 1の動作モードから前記第 2の動作モードへ切り替えるように構成されている、請求項 6に記載の撮像装置。

[8] 前記転送範囲決定部は、視差の演算に高精度が必要であると判断した場合に、前記第 2の動作モードから前記第 1の動作モードへ切り替えるように構成されている、請求項 6に記載の撮像装置。

[9] 前記転送範囲決定部は、前記第 1の動作モード及び前記第 2の動作モードの何れにおいても、前記複数の撮像領域のうちの一部の撮像領域で生成される撮像信号を前記転送範囲と決定するように構成されている、請求項 1に記載の撮像装置。

[10] 前記転送範囲決定部は、前記第 1の動作モード及び前記第 2の動作モードの少なくとも何れかにおいて、動作する被写体を撮像する撮像領域で生成される撮像信号を前記転送範囲と決定するように構成されている、請求項 1に記載の撮像装置。

[11] 前記転送範囲決定部は、前記被写体の動作の速さに基づいて、前記第 1の動作モードと前記第 2の動作モードとを切り替えるように構成されている、請求項 10に記載の撮像装置。

[12] 前記転送範囲決定部は、前記被写体の動作が速い場合には多くの撮像領域で生成される撮像信号を前記転送範囲と決定する動作モードに、前記被写体の動作が遅い場合には少ない撮像領域で生成される撮像信号を前記転送範囲と決定する動作モードにそれぞれ切り替えるように構成されている、請求項 11に記載の撮像装置

[13] 前記転送範囲決定部は、前記第 1の動作モード及び前記第 2の動作モードの少なくとも何れかにおいて、前記転送範囲の撮像信号に係る画素数を略一定とするように構成されている、請求項 10に記載の撮像装置。

[14] 前記撮像領域は、路面に相当する領域を含む領域を撮像するように構成されており、前記転送範囲決定部は、前記第 1の動作モード及び前記第 2の動作モードの少なくとも何れかにおいて、前記路面に相当する領域以外の領域に係る撮像信号を前記転送範囲とするように構成されている、請求項 9に記載の撮像装置。

[15] 前記撮像領域は、人の顔に相当する領域を含む領域を撮像するように構成されており、

前記転送範囲決定部は、前記第 1の動作モード及び前記第 2の動作モードの少なくとも何れかにおいて、前記人の顔に相当する領域に係る撮像信号を前記転送範囲とするように構成されてレ、る、請求項 9に記載の撮像装置。

[16] 前記複数の撮像領域のうちの少なくとも 2つの撮像領域は、生成する撮像信号の一部を前記撮像信号入力部へ交互に転送することを繰り返すことによって、生成する撮像信号の全てを前記撮像信号入力部へ転送するように構成されている、請求項 1 に記載の撮像装置。

[17] 前記視差演算部によって得られた視差に基づいて、被写体までの距離を演算する距離演算部を更に備える、請求項 1から請求項 16の何れかに記載の撮像装置。

[18] それぞれが少なくとも 1枚のレンズを含む複数のレンズ部と、前記複数のレンズ部に一対一に対応して設けられ、対応する前記レンズ部の光軸方向に対して略垂直な受光面をそれぞれ有する複数の撮像領域とを有する撮像装置に用いられる半導体回路素子であって、

前記転送範囲決定部により決定された転送範囲に応じた撮像信号を前記撮像信号入力部へ転送するように前記撮像領域を駆動する撮像素子駆動部と、

前記転送範囲決定部は、前記複数の撮像領域のうち少なくとも 2つの撮像領域で生成される撮像信号を前記転送範囲と決定する第 1の動作モードと、第 1の動作モ一ドとは異なる撮像信号を前記転送範囲と決定する第 2の動作モードとを切替可能なように構成されている、半導体回路素子。