WO2006035778A1

WO2006035778A1 - カメラモジュールおよびそれを備えた電子機器

Info

Publication number: WO2006035778A1
Application number: PCT/JP2005/017762
Authority: WO
Inventors: Tomokuni Iijima; Takashi Ishikawa; Ikuo Numai; Masahito Hayakawa; Aki Takai
Original assignee: Matsushita Electric Industrial Co., Ltd.
Priority date: 2004-09-27
Filing date: 2005-09-27
Publication date: 2006-04-06
Also published as: US7911516B2; JPWO2006035778A1; US20080259201A1; JP4322921B2

Abstract

　薄型化が可能で、被写体距離によらず全画像領域できれいな画像を得るカメラモジュールを提供する。それぞれが少なくとも１枚のレンズを含む複数のレンズ部と、前記複数のレンズ部に一対一に対応し、対応する前記レンズ部の光軸方向に対して略垂直な受光面をそれぞれ備える複数の撮像領域と、前記複数の撮像領域からそれぞれ出力される複数の撮像信号が入力される撮像信号入力部と、前記複数の撮像信号のうちの少なくとも１つの撮像信号を複数のブロックに分割するブロック分割部と、前記撮像信号を用いて、前記ブロックごとに、前記複数のレンズ部がそれぞれ形成する像間の視差を演算する視差演算部と、前記視差に基づいて前記複数の撮像信号を補正し画像を合成する視差補正部と、を有する。

Description

カメラモジュールおよびそれを備えた電子機器

技術分野

[0001] 本発明は、小型かつ薄型で、自動焦点制御機能を備えたカメラモジュールおよびこのカメラモジュールを備えた電子機器に関する。

背景技術

[0002] 従来のカメラモジュールとして、特開 2001— 78213号公報に記載のカメラモジュールがある。図 47は、特開 2001— 78213号公報に記載のカメラモジュールの構成を示す断面図である。

[0003] 図 47において、撮像系 9010は、物体からの光を、絞り 9110及び撮像レンズ 9100 を介して、撮像素子 9120の撮像面に結像する光学処理系である。絞り 9110は、 3 つの円形開口 9110a、 9110b, 9110cを有する。開口 9110a、 9110b, 9110cの各々力も撮像レンズ 9100の光入射面 9100eに入射した物体光は、撮像レンズ 910 0の 3つのレンズ部 9100a、 9100b, 9100c力も射出して、撮像素子 9120の撮像面上に 3つの物体像を形成する。

[0004] 撮像レンズ 9100の光出射面の平面部 9100dには遮光性膜が形成されている。撮像レンズ 9100の光入射面 9100e上には互いに異なる波長帯域の光を透過させる 3 つの光学フイノレタ 9052a、 9052b, 9052c力 ^形成されて!ヽる。また、撮像素子 9120 【こおヽて、撮像レンズ 9100の3っのレンズ咅^9100&、 9100b, 9100c【こそれぞれ対応する 3つの撮像領域 9120a、 9120b, 9120c上にも、互いに異なる波長帯域の光を透過させる 3つの光学フイノレタ 9053a、 9053b, 9053c力 ^形成されて!ヽる。

[0005] 光学フィルタ 9052aと光学フィルタ 9053aは、主に緑色（Gで示す）を透過する分光透過率特性を有し、光学フィルタ 9052bと光学フィルタ 9053bは、主に赤色（Rで示す)を透過する分光透過率特性を有し、さらに、光学フィルタ 9052cと光学フィルタ 9 053cは、主に青色 (Bで示す)を透過する分光透過率特性を有する。そのため、撮像領域 9120aは緑色光 (G)に対して、撮像領域 9120bは赤色光 (R)に対して、撮像領域 9120cは青色光 (B)に対して、それぞれ感度を持つ。 [0006] このような複数の撮像レンズを備えたカメラモジュールでは、カメラモジュールから物体 (被写体)までの距離が変化すると、撮像素子 9120の撮像面上に複数の撮像レンズがそれぞれ形成する複数の物体像の相互間隔が変化する。

[0007] 特開 2001— 78213号公報に記載のカメラモジュールでは、仮想被写体距離 D[m ]を、複数の結像系の撮影画角 Θ [° ]の関数として、 D= l. 4/ (tan( θ Ζ2) )と定義したとき、物体が仮想被写体距離 D[m]にあるときの複数の物体像の相互間隔と、無限遠にあるときの複数の物体像の相互間隔との変化が、基準画像信号の画素ピッチの 2倍よりも小さくなるように、複数の結像系の光軸間隔が設定されている。すなわち、特開 2001— 78213号公報に記載のカメラモジュールは、仮想被写体距離 D[m ]にある物体の撮影に最適化された画像処理と同一の画像処理を、無限遠にある物体の撮影に対して行つても、撮像面上での両物体像の相互間隔の差が基準信号の画素ピッチの 2倍より小さくなるように光軸間隔が設定されているので、無限遠にある物体像の色ズレを許容可能なレベルに抑えることができる。

[0008] 近年、カメラが搭載された携帯電話などの携帯機器が普及してヽる。これら携帯機器の小型化、薄型化および高性能化に伴い、小型化、薄型化および高性能化されたカメラモジュールが要求されている。例えば、自動焦点制御機能を備え、風景撮影 (ほぼ無限遠の物体の撮影)や人物撮影 (通常数 mの距離の物体の撮影)のみならず、マクロ撮影 (数 cm力も数十 cmの距離の物体の撮影)も可能であることが要求される。

[0009] しかしながら、特開 2001— 78213号公報に記載のカメラモジュールでは、複数のレンズ部 9100a、 9100b, 9100cを有すること〖こより、薄型化を実現している。しかし、この従来のカメラモジュールは、自動焦点制御機能を持たない。また、仮想被写体距離 D[m]は、人物撮影を念頭に設定されている。そのため、この従来のカメラモジユールでは、風景撮影や人物撮影には対応できる力マクロ撮影には対応できない

[0010] 特開 2001— 78213号公報に記載のカメラモジュールによる未解決の課題を解決する従来のカメラジュールとして、特開 2002— 330332号公報に記載されたカメラモジュールがある。図 48は、特開 2002— 330332号公報に記載のカメラモジュールで撮影される画像画像の一例と、分割された小領域を示している。撮影画面に対し、その中央部 kOとその周辺に検出領域 kl、 k2、 k3、 k4を設ける。そして、それぞれの検出領域の視差 p0、 pl、 p2、 p3、 p4を求める。そして、これらの視差のうち所定範囲のものを抽出し、抽出されるものが複数ある場合は、中央に近い領域での視差を選択する。さらに、選択された視差を用いて撮影画像全体の補正を行う。

[0011] 特開 2002— 330332号公報に記載された従来のカメラモジュールでは、撮影される画像の一部を複数の小領域とし、これらの領域の視差を求め、これらの視差から 1 つを選択し、この選択された視差に基づき撮影画像全体を補正する。例えば、図 48 に示すように、撮影画面の中央にカメラから 2m程度離れた人物 Mと、端に 10m程度離れた人物 Nが共存して、る場合、撮影画面中央に位置する人物 Mが被写体であるとみなして、この領域 kOにおける視差 ρθに基づいて、撮影画像全体を補正する。このとき、人物 Mの視差は選択された視差 ρθと同一であるので、視差の影響を補正でき、人物 Mの領域ではきれいな画像を得る。しかし、人物 Nの視差は選択された視差 ρθと異なり、視差の影響を補正できないため、人物 Nの領域では色むらが発生し、きれいな画像とならない。

発明の開示

発明が解決しょうとする課題

[0012] 本発明は、上記問題に鑑みなされたもので、小型化、薄型化が可能で、被写体距離によらず全画像領域できれヽな画像を得るカメラモジュールを提供することを目的とする。

[0013] 本発明のカメラモジュールは、それぞれが少なくとも 1枚のレンズを含む複数のレンズ部と、前記複数のレンズ部に一対一に対応し、対応する前記レンズ部の光軸方向に対して略垂直な受光面をそれぞれ備える複数の撮像領域と、前記複数の撮像領域からそれぞれ出力される複数の撮像信号が入力される撮像信号入力部と、前記複数の撮像信号のうちの少なくとも 1つの撮像信号を複数のブロックに分割するブロック分割部と、前記撮像信号を用いて、前記ブロックごとに、前記複数のレンズ部がそれぞれ形成する像間の視差を演算する視差演算部と、前記視差に基づ!、て前記複数の撮像信号を補正し画像を合成する視差補正部と、を有する。 [0014] 本発明に力かるプログラムは、それぞれが少なくとも 1枚のレンズを含む複数のレンズ部と、前記複数のレンズ部に一対一に対応し、対応する前記レンズ部の光軸方向に対して略垂直な受光面をそれぞれ備える複数の撮像領域と、前記複数の撮像領域からそれぞれ出力される複数の撮像信号が入力される撮像信号入力部と、入力された撮像信号の画像処理を行う画像処理部とを備えたカメラモジュールにおいて、前記画像処理部の動作を制御するプログラムであって、前記複数の撮像信号のうちの少なくとも 1つの撮像信号を複数のブロックに分割するブロック分割処理と、前記撮像信号を用いて、前記ブロックごとに、前記複数のレンズ部がそれぞれ形成する像間の視差を演算する視差演算処理と、前記視差に基づ!/、て前記複数の撮像信号を補正し画像を合成する視差補正処理とを、前記画像処理部に実行させることを特徴とする。

[0015] 本発明に力かるプログラム記録媒体は、上記のプログラムを記録した、コンピュータにより読み取りが可能な記録媒体である。

発明の効果

[0016] 本発明は、上記問題に鑑みなされたもので、小型化、薄型化が可能で、被写体距離によらず全画像領域できれいな画像を得るカメラモジュールを提供することができる。

図面の簡単な説明

[0017] [図 1]本発明の実施の形態 1に係るカメラモジユールの構成を示す断面図

[図 2]本発明の実施の形態 1に係るカメラモジユールのレンズの上面図

[図 3]本発明の実施の形態 1に係るカメラモジユーノレの回路部の上面図

[図 4]本発明の実施の形態 1に係るカメラモジユールのカラーフィルタの特性図

[図 5]本発明の実施の形態 1に係るカメラモジユールの IRフィルタの特性図

[図 6]本発明の実施の形態 1に係るカメラモジユーノレにおいて、無限遠にある物体像の位置を説明するための図

[図 7]本発明の実施の形態 1に係るカメラモジユールにおいて、有限距離の位置にある物体像の位置を説明するための図

[図 8] (A)は本発明の実施の形態 1に係るカメラモジュールにおいて、合焦時の画像とコントラスト評価値の関係を説明する図、 (B)は本発明の実施の形態 1に係るカメラモジュールにおいて、非合焦時の画像とコントラスト評価値の関係を説明する図 [図 9]本発明の実施の形態 1に係るカメラモジュールのレンズ位置とコントラスト評価値の関係を説明する図

[図 10]本発明の実施の形態 1に係るカメラモジュールのブロック図

[図 11]本発明の実施の形態 1に係るカメラモジュールの動作を示すフローチャート圆 12]本発明の実施の形態 1に係るカメラモジュールの撮像信号の座標を説明する図

[図 13] (A)は本発明の実施の形態 1に係るカメラモジュールのエッジ検出を説明する元画像、（B)本発明の実施の形態 1に係るカメラモジュールのエッジ検出を説明するエッジ検出用コントラスト評価値の画像、 (C)は本発明の実施の形態 1に係るカメラモジュールのエッジ検出を説明するエッジの画像

圆 14]本発明の実施の形態 1に係るカメラモジュールにおいて、視差評価値の演算領域を説明する図

圆 15]本発明の実施の形態 1に係るカメラモジュールの視差と視差評価値との関係を説明する図

[図 16] (A)は本発明の実施の形態 1に係るカメラモジュールにおいて、補正なし時にコントラスト評価値が最大となるときのァクチユエータ操作量とコントラスト評価値の関係を説明する図、（B)は、正側補正後のコントラスト評価値が最大となるときのァクチユエータ操作量とコントラスト評価値の関係を説明する図、（C)は、負側補正後のコントラスト評価値が最大となるときのァクチユエータ操作量とコントラスト評価値の関係を説明する図

[図 17] (A)は、本発明の実施の形態 1に係るカメラモジュールにおいて、さらなる正側補正をしたとき、この正側補正前でのコントラスト評価値が最大となるァクチユエ一タ操作量とコントラスト評価値の関係を説明する図、（B)は、さらなる正側補正をしたとき、この正側補正後でのコントラスト評価値が最大となるァクチユエータ操作量とコントラスト評価値の関係を説明する図

[図 18] (A)は、本発明の実施の形態 1に係るカメラモジュールにおいて、さらなる負側補正をしたとき、この負側補正前でのコントラスト評価値が最大となるァクチユエ一タ操作量とコントラスト評価値の関係を説明する図、（B)は、さらなる負側補正をしたとき、この負側補正後でのコントラスト評価値が最大となるァクチユエータ操作量とコントラスト評価値の関係を説明する図

圆 19]本発明の実施の形態 2に係るカメラモジュールの構成を示す断面図

[図 20]本発明の実施の形態 2に係るカメラモジュールのブロック図

[図 21]本発明の実施の形態 2に係るカメラモジュールの動作を示すフローチャート圆 22]本発明の実施の形態 2に係るカメラモジュールの撮像信号の座標を説明する図

圆 23]本発明の実施の形態 3に係るカメラモジュールの構成を示す断面図

[図 24]本発明の実施の形態 3に係るカメラモジュールのブロック図

[図 25]本発明の実施の形態 3に係るカメラモジュールの動作を示すフローチャート圆 26]本発明の実施の形態 3に係る自動焦点制御の動作を示すフローチャート圆 27]本発明の実施の形態 3に係る視差補正の動作を示すフローチャート

[図 28]本発明の実施の形態 3に係るカメラモジュールにお、て、ブロック分割を説明する図

圆 29]本発明の実施の形態 3に係るカメラモジュールにおいて、視差評価値の演算領域を説明する図

圆 30]本発明の実施の形態 3に係るカメラモジュールにおいて、視差精度評価用相関値の演算領域を説明する図

[0311 (A)は、本発明の実施の形態 3に係るカメラモジュールにおいて、ブロックの再分割の前の状態を説明する図、（B)は、本発明の実施の形態 3に係るカメラモジユールにおいて、ブロックの再分割の後の状態を説明する図

圆 32]本発明の実施の形態 3に係るカメラモジュールにおいて、視差精度評価用相関値と視差補正方式フラッグの関係を説明する図

圆 33]本発明の実施の形態 3に係るカメラモジュールにおいて、視差精度評価用コントラスト評価値と視差補正方式フラッグの関係を説明する図

圆 34]本発明の実施の形態 3に係る低相関用視差補正部の動作を示すフローチヤート

[図 35] (A)は本発明の実施の形態 3に係るカメラモジュールの低相関用視差補正部のエッジ検出を説明する元画像、 (B)は本発明の実施の形態 3に係るカメラモジユールの低相関用視差補正部のエッジ検出を説明するエッジ検出用コントラスト評価値の画像、 (C)は本発明の実施の形態 3に係るカメラモジュールの低相関用視差補正部のエッジ検出を説明するエッジの画像

[図 36]本発明の実施の形態 4に係るカメラモジュールの構成を示す断面図

[図 37]本発明の実施の形態 4に係るカメラモジュールのブロック図

[図 38] (A)〜（D)は、本発明の実施の形態 4に係るカメラモジュールのフィールド画像を説明する図

[図 39]本発明の実施の形態 4に係るカメラモジュールの動作を示すフローチャート [図 40]本発明の実施の形態 4に係るカメラモジュールの動作を示すタイムチャート [図 41] (A)〜（C)は、本発明の実施の形態 4に係るカメラモジュールにおけるカラーフィルタの好ま、配置例を模式的に示す平面図

[図 42]本発明の実施の形態 5に係るカメラモジュールの構成を示す断面図

[図 43]本発明の実施の形態 5に係るカメラモジュールのブロック図

[図 44]本発明の実施の形態 5に係るカメラモジュールの動作を示すフローチャート

[図 45] (A)〜 (C)は、本発明の実施の形態 5に係るカメラモジュールの背景置換を説明する図

[図 46] (A)および (B)は、本発明の実施の形態 6に係る電子機器の一例を示す図 [図 47]従来 (特開 2001— 78213号公報に記載)のカメラモジュールの構成を示す断面図

[図 48]従来 (特開 2002— 330332号公報に記載)のカメラモジュールで撮像される画像の一例を示す図

発明を実施するための最良の形態

本発明のカメラモジュールは、それぞれが少なくとも 1枚のレンズを含む複数のレンズ部と、前記複数のレンズ部に一対一に対応し、対応する前記レンズ部の光軸方向に対して略垂直な受光面をそれぞれ備える複数の撮像領域と、前記複数の撮像領域からそれぞれ出力される複数の撮像信号が入力される撮像信号入力部と、前記複数の撮像信号のうちの少なくとも 1つの撮像信号を複数のブロックに分割するブロック分割部と、前記撮像信号を用いて、前記ブロックごとに、前記複数のレンズ部がそれぞれ形成する像間の視差を演算する視差演算部と、前記視差に基づ!/、て前記複数の撮像信号を補正し画像を合成する視差補正部と、を有する。

[0019] 物体像の位置は、被写体距離に応じて相対的に変化する。すなわち、被写体距離が小さくなると、視差が大きくなる。そのため、距離が異なる複数の被写体を同時に撮像すると、被写体毎に視差が異なる。本発明のカメラモジュールによれば、ブロック毎の視差を演算し、このブロック毎の視差に基づき視差の影響が低減するように撮像信号を補正した後、画像合成する。これにより、距離が異なる複数の被写体を同時に撮像するときにおいても、適宜それぞれの被写体の視差を補正して、全画像領域で視差の影響が低減されたきれいな画像を得ることができる。

[0020] 上記の本発明のカメラモジュールにおいて、前記複数のレンズ部と前記複数の撮像領域との相対距離を変化させるァクチユエータと、前記視差に基づきァクチユエ一タを制御する焦点制御部と、を更に有することが好ま、。

[0021] この好ましい構成によれば、視差に基づきァクチユエータを動作させ、自動焦点制御すること〖こより、 1回のァクチユエータ動作で合焦させることができるので、高速に自動焦点制御できる。

[0022] 上記の本発明のカメラモジュールにおいて、前記複数の撮像信号のうち少なくとも 1つの撮像信号に基づいてコントラストを演算するコントラスト演算部を更に有し、前記焦点制御部は、前記視差と前記コントラストとに基づき前記ァクチユエータを制御することが好ましい。

[0023] この好ましい構成によれば、高速な視差に基づく自動焦点制御と高精度なコントラストに基づく自動焦点制御とを併用するので、高速で高精度に自動焦点制御できる

[0024] 上記の本発明のカメラモジュールにおいて、前記焦点制御部は、前記ァクチユエ一タを複数回制御し、初回は前記視差に基づき前記ァクチユエータを制御し、 2回目以降は前記コントラストに基づき前記ァクチユエータを制御することが好ましい。 [0025] この好ま、構成によれば、最初に視差に基づ、てァクチユエータを動作させ自動焦点制御を行う。続いて、コントラストに基づいてァクチユエータを動作させ自動焦点制御を行う。視差に基づく自動焦点制御は、 1回のァクチユエータ動作で合焦するため、高速である。一方、コントラストに基づく自動焦点制御は、画像力も直接合焦を判断するため、ァクチユエータのばらつきなどに左右されず、精度がよい。したがって、最初に視差に基づく自動焦点制御により高速に粗調整し、次いでコントラストに基づく自動焦点制御により高精度な微調整をするので、高速で高精度に自動焦点制御できる。

[0026] 上記の本発明のカメラモジュールにおいて、前記焦点制御部は、前記コントラストに基づき前記ァクチユエータを制御したときの前記ァクチユエータに対する操作量を学習することが好ましい。

[0027] この好ましい構成によれば、コントラストに基づく自動焦点制御において実行したァクチユエータ操作量に基づき、操作量関数を補正するような学習を行う。これにより、ァクチユエータのばらつきなどがあっても操作量関数がより正確に補正されるので、初回の視差に基づく自動焦点制御がより正確になり、次回以降のコントラストに基づく自動焦点制御による微調整の回数が減少するため、より高速な自動焦点制御を実現できる。

[0028] 上記の本発明のカメラモジュールにお、て、前記ブロック分割部は、前記少なくとも 1つの撮像信号に基づいて複数の画像領域の輪郭を検出し、前記輪郭により前記複数の画像領域に分割されるように、前記少なくとも 1つの撮像信号を複数のブロックに分割することが好ましい。

[0029] この好ましい構成によれば、輪郭を検出し、ブロックに分割し、ブロック毎の視差に基づき視差の影響を低減するように撮像信号を補正した後、画像合成する。これにより、適切にブロック化を行うことができるので、全画像領域で視差の影響が低減されたきれヽな画像を得ることができる。

[0030] 上記の本発明のカメラモジュールにお、て、前記撮像信号に基づ!/、て前記輪郭の視差である輪郭視差を求める輪郭視差演算部が付加され、前記視差演算部は、前記輪郭視差に基づいて、前記ブロックごとに、前記複数のレンズ部がそれぞれ形成する像間の視差を演算することが好ま、。

[0031] この好ましい構成によれば、輪郭の視差を検出し、この視差に基づきブロックごとに視差の視差を演算し、この視差に基づき視差の影響を低減するように撮像信号を補正した後、画像合成する。従って、全画像領域で視差の影響が低減されたきれいな画像を得ることができる。

[0032] 上記の本発明のカメラモジュールにお、て、前記ブロック分割部は、前記少なくとも 1つの撮像信号を矩形状の複数のブロックに分割することが好ましい。

[0033] この好ましい構成によれば、ブロックごとに視差の視差を演算し、この視差に基づき視差の影響を低減するように撮像信号を補正した後、画像合成する。従って、全画像領域で視差の影響が低減されたきれいな画像を得ることができる。

[0034] 上記の本発明のカメラモジュールにおいて、前記撮像信号に基づき前記複数のブロックごとに前記視差の精度を示す少なくとも 1つの視差精度評価値を演算する視差評価値演算部を更に有し、前記視差補正部は、前記複数のブロックごとに前記視差と前記視差精度評価値とに基づいて前記複数の撮像信号を補正し画像を合成することが好ましい。

[0035] 分割したブロック内に被写体距離が異なる複数の物体が含まれることがあり、その場合、物体像毎に視差が異なる。この好ましい構成では、ブロック毎に演算した視差力 Sどれだけ精度があるかを判断し、この精度に基づき撮像信号の補正の方法を変更する。これにより、ブロック毎に最適な補正方法で画像を補正できるため、全画像領域で視差の影響がさらに低減されたきれいな画像を得ることができる。

[0036] 上記の本発明のカメラモジュールにお、て、前記視差補正部は、前記複数のプロックごとに前記視差精度評価値に基づき当該ブロックを少なくとも 2つに分割するかどうかを決定し、分割すべきと判断されたブロックにお、て分割後のブロックの視差に基づき画像を合成することが好ましヽ。

[0037] この好ましい構成によれば、ブロック毎に演算した視差がどれだけ精度があるかを判断し、精度がないブロックは複数の視差が混在するとし少なくとも 2つのブロックに分割する。これにより、常に最適なブロックサイズで画像を補正できるため、全画像領域で視差の影響がさらに低減されたきれいな画像を得ることができる。 [0038] 上記の本発明のカメラモジュールにお、て、前記視差評価値演算部は、前記複数の撮像信号のうち少なくとも 1つの撮像信号に基づいて前記複数のブロックごとにコントラストの大きさを示す第 1の視差精度評価値を演算することが好ましい。

[0039] この好ましい構成によれば、ブロック毎に演算した視差がどれだけ精度があるかをコントラストによって演算評価し、コントラストによって撮像信号の補正の方法を変更する。これにより、ブロック毎に最適な補正方法で画像を補正できるため、全画像領域で視差の影響がさらに低減されたきれいな画像を得ることができる。

[0040] 上記の本発明のカメラモジュールにお、て、前記視差評価値演算部は、前記複数のブロックに分割された前記撮像信号を用いて、前記複数のブロックごとに、少なくとも 2つの前記レンズ部がそれぞれ形成する像を前記視差だけ移動した像がどれだけ相関があるかを示す第 2の視差精度評価値を演算することが好ましい。

[0041] この好ましい構成によれば、ブロック毎に演算した視差がどれだけ精度があるかを視差だけ移動した像がどれだけ相関がある力を演算評価し、相関によって撮像信号の補正の方法を変更する。これにより、ブロック毎に最適な補正方法で画像を補正できるため、全画像領域で視差の影響がさらに低減されたきれいな画像を得ることができる。

[0042] 上記の本発明のカメラモジュールにお、て、前記視差補正部は、前記複数のプロックごとに前記第 2の視差精度評価値が小さいとき当該ブロックを少なくとも 2つに分割し、分割されたブロックにおヽて分割後のブロックの視差に基づき画像を合成することが好ましい。

[0043] この好ましい構成によれば、ブロック毎に演算した視差がどれだけ精度があるかを視差だけ移動した像がどれだけ相関であるかを示す第 2の視差精度評価値を用いて評価する。そして、第 2の視差精度評価値が小さい、すなわち相関が小さいと判断されたブロックは少なくとも 2つのブロックに分割する。これにより、常に最適なブロックサイズで画像を補正できるため、全画像領域で視差の影響がさらに低減されたきれ V、な画像を得ることができる。

[0044] 上記の本発明のカメラモジュールにお、て、前記視差評価値演算部は、前記複数の撮像信号のうち少なくとも 1つの撮像信号に基づいて前記複数のブロックごとにコントラストの大きさを示す第 1の視差精度評価値と、前記複数のブロックに分割された前記撮像信号を用いて、前記複数のブロックごとに、少なくとも 2つの前記レンズ部がそれぞれ形成する像を前記視差だけ移動した像がどれだけ相関があるかを示す第 2 の視差精度評価値を演算し、前記視差補正部は、前記複数のブロックごとに前記第 1の視差精度評価値が大きくかつ前記第 2の視差精度評価値が小さいとき当該プロックを少なくとも 2つに分割し、分割されたブロックにおいて分割後のブロックの視差に基づき画像を合成することが好まし、。

[0045] この好ましい構成によれば、ブロック毎にコントラストの大きさを示す第 1の視差精度評価値と演算した視差がどれだけ精度があるかを視差だけ移動した像がどれだけ相関であるかを示す第 2の視差精度評価値とを用いて評価する。そして、第 1の視差精度評価値が大きい、すなわちコントラストが大きい、かつ第 2の視差精度評価値が小さい、すなわち相関が小さいと判断されたブロックは少なくとも 2つのブロックに分割する。これにより、常に最適なブロックサイズで画像を補正できるため、全画像領域で視差の影響がさらに低減されたきれいな画像を得ることができる。

[0046] 上記の本発明のカメラモジュールにお、て、前記撮像信号入力部は、前記複数の撮像信号を複数のフィールドごとに入力し、前記視差演算部は、前記複数のフィールドのそれぞれにつ、て、前記ブロック毎の視差を演算することが好ま、。

[0047] この好ましい構成によれば、各フィールドごとに視差演算を行うことにより、動く被写体の撮影時に各フィールドの撮影時間が異なることにより各フィールドの画像が異なる場合においても、各フィールドごとの視差を正しく求められ、この視差を用いて画像合成することができるため、全画像領域で視差の影響がさらに低減されたきれいな画像を得ることができる。

[0048] また、上記の好ましい構成において、前記複数のレンズ部に一対一に対応し、複数色のフィルタが配置されたカラーフィルタをさらに備え、前記複数のレンズ部のうち、前記フィールドの走査方向に平行に配置された少なくとも 2つのレンズ部に対応して、同色のフィルタが配置されて!、ることがさらに好まし！/、。

[0049] このさらに好ましい構成によれば、動く被写体の撮影時に各フィールドの撮影時間が異なることにより、各フィールドの画像が異なる場合においても、各フィールドごとの視差をより正確に求めることができる。

[0050] 上記の本発明のカメラモジュールにおいて、撮影画像とは異なる別画像を保存する別画像保存部を更に有し、前記視差補正部は、前記視差に基づき前記撮像信号を補正した画像と前記別画像とを組み合わせることが好ましい。

[0051] この好ましい構成によれば、視差に基づき補正した画像と別画像を組み合わせることにより、補正した画像カゝら正しく画像を抽出できるため、きれいにこれらの画像を組み合わせることができる。

[0052] 上記の本発明のカメラモジュールにおいて、前記視差補正部は、前記視差が大きいほど前記撮像信号を補正した画像の割合を大きく前記別画像の割合を小さくなるように組み合わせることが好ま、。

[0053] この好ましい構成によれば、視差に基づき補正した画像と別画像を組み合わせることにより、補正した画像力視差が大きい部分の画像を正しく抽出できるため、きれいにこれらの画像を組み合わせることができる。

[0054] また、本発明に力かる電子機器は、上記の本発明のカメラモジュールを備えたことを特徴とする。

[0055] また、本発明にかかるプログラムは、それぞれが少なくとも 1枚のレンズを含む複数のレンズ部と、前記複数のレンズ部に一対一に対応し、対応する前記レンズ部の光軸方向に対して略垂直な受光面をそれぞれ備える複数の撮像領域と、前記複数の撮像領域からそれぞれ出力される複数の撮像信号が入力される撮像信号入力部と、入力された撮像信号の画像処理を行う画像処理部とを備えたカメラモジュールにおいて、前記画像処理部の動作を制御するプログラムであって、前記複数の撮像信号のうちの少なくとも 1つの撮像信号を複数のブロックに分割するブロック分割処理と、前記撮像信号を用いて、前記ブロックごとに、前記複数のレンズ部がそれぞれ形成する像間の視差を演算する視差演算処理と、前記視差に基づ!、て前記複数の撮像信号を補正し画像を合成する視差補正処理とを、前記画像処理部に実行させることを特徴とする。

[0056] また、本発明に力かるプログラム記録媒体は、上記のプログラムを記録した、コンビユータによる読み取りが可能なプログラム記録媒体である。 [0057] 本発明のプログラムまたはプログラム記録媒体によれば、ブロック毎の視差を演算し、このブロック毎の視差に基づき、視差の影響が低減するように撮像信号を補正した後、画像合成する。これにより、距離が異なる複数の被写体を同時に撮像するときにおいても、適宜それぞれの被写体の視差を補正して、全画像領域で視差の影響が低減されたきれヽな画像を得ることができる。

[0058] 以下、本発明の具体的な実施の形態について、図面を用いて説明する。

[0059] (実施の形態 1)

本発明の実施の形態 1に係るカメラモジュールは、エッジを検出し、ブロックに分割し、ブロック毎の視差に基づき視差補正することにより、全画像領域できれいな画像を得る。また、視差に基づく自動焦点制御により粗調整を行い、高精度なコントラストに基づく自動焦点制御により微調整を行うことにより、高速で高精度に自動焦点制御できる。また、微調整量を学習し、次回の粗調整の精度を向上する。

[0060] 本発明の実施の形態 1に係るカメラモジュールについて、図面を参照しながら説明する。

[0061] 図 1は、本発明の実施の形態 1に係るカメラモジュールの構成を示す断面図である。図 1において、カメラモジュール 101は、レンズモジュール部 110、および回路部 12 0を有する。

[0062] レンズモジュール部 110は、鏡筒 111、上部カバーガラス 112、レンズ 113、了クチユエータ固定部 114、およびァクチユエータ可動部 115を有する。回路部 120は、基板 121、パッケージ 122、撮像素子 123、パッケージカバーガラス 124、およびシステム LSI (以下、 SLSIと記す） 125を有する。

[0063] 鏡筒 111は、円筒状であり、その内壁面は光の乱反射を防止するためにつやが消された黒色であり、榭脂を射出成形し形成される。上部カバーガラス 112は、円盤状であり、透明樹脂から形成され、鏡筒 111の上面に接着剤などにより固着され、その表面は摩擦などによる損傷を防止する保護膜と、入射光の反射を防止する反射防止膜とが設けられている。

[0064] 図 2は、本発明の実施の形態 1に係るカメラモジュールのレンズ 113の上面図である。レンズ 113は、略円盤状であり、ガラスや透明樹脂から形成され、第 1のレンズ部 113a,第 2のレンズ部 113b、第 3のレンズ部 113c、および第 4のレンズ部 113d力碁盤目状に配置される。第 1〜第 4のレンズ部 113a〜113dの配置方向に沿って、図 2 に示すように X軸及び Y軸を設定する。第 1のレンズ部 113a、第 2のレンズ部 113b、第 3のレンズ部 113c、および第 4のレンズ部 113dにおいて、被写体側から入射した光は、撮像素子 123側へ射出し、撮像素子 123上に 4つの像を結像する。

[0065] ァクチユエータ固定部 114は、鏡筒 111の内壁面に接着剤などにより固着される。

ァクチユエータ可動部 115は、レンズ 113の外周縁に接着剤などにより固着される。ァクチユエータ固定部 114およびァクチユエータ可動部 115は、ボイスコイルモータを構成する。ァクチユエータ固定部 114は永久磁石（図示せず）と強磁性体ヨーク（図示せず）とを有し、ァクチユエータ可動部 115はコイル（図示せず)を有する。ァクチュエータ可動部 115は、ァクチユエータ固定部 114に対し、弾性体（図示せず）により弾性支持される。ァクチユエータ可動部 115のコイルに通電することにより、ァクチュエータ可動部 115がァクチユエータ固定部 114に対して相対的に移動し、レンズ 11 3と撮像素子 123との光軸に沿った相対距離が変化する。

[0066] 基板 121は、榭脂基板から構成され、上面に鏡筒 111がその底面を接して接着剤などにより固着される。このようにして、レンズモジュール部 110と回路部 120とが固定され、カメラモジュール 101を構成する。

[0067] ノ¾ /ケージ 122は、金属端子を有する榭脂からなり、鏡筒 111の内側において、基板 121の上面にその金属端子部が半田づけ等されて固着される。撮像素子 123は、第 1の撮像素子 123a、第 2の撮像素子 123b、第 3の撮像素子 123c、および第 4の撮像素子 124dから構成される。第 1の撮像素子 123a、第 2の撮像素子 123b、第 3 の撮像素子 123c、および第 4の撮像素子 124dは、それぞれ CCDセンサや CMOS センサのような固体撮像素子であり、これらの受光面の中心が、それぞれ第 1のレンズ部 113a、第 2のレンズ部 113b、第 3のレンズ部 113c、および第 4のレンズ部 113d の光軸中心と略一致するように、また各撮像素子の受光面が対応するレンズ部の光軸と略垂直になるようにして配置される。

[0068] 第 1の撮像素子 123a、第 2の撮像素子 123b、第 3の撮像素子 123c、および第 4の撮像素子 123dの各端子は、ノッケージ 122の内側の底部の金属端子にワイヤーボンデイングにより金線 127で接続され、基板 121を介して、 SLSI125と電気的に接続される。第 1の撮像素子 123a、第 2の撮像素子 123b、第 3の撮像素子 123c、および第 4の撮像素子 123dの各受光面に、第 1のレンズ部 113a、第 2のレンズ部 113b、第 3のレンズ部 113c、および第 4のレンズ部 113dから射出された光がそれぞれ結像し、フォトダイオードにより光の情報力も変換された電気の情報が、 SLSI125に出力される。

[0069] 図 3は、本発明の実施の形態 1に係るカメラモジュールの回路部 120の上面図である。ノッケージカバーガラス 124は、平板状であり、透明榭脂により形成され、パッケージ 122の上面に接着などにより固着される。パッケージカバーガラス 124の上面には、第 1のカラーフィルタ 124a、第 2のカラーフィルタ 124b、第 3のカラーフィルタ 12 4c、第 4のカラーフィルタ 124d、および遮光部 124eが蒸着などにより配置される。また、ノッケージカバーガラス 124の下面には、赤外遮断フィルタ（図示せず。以下、 I Rフィルタと記す)が蒸着などにより配置される。

[0070] 図 4は、本発明の実施の形態 1に係るカメラモジュールのカラーフィルタの特性図であり、図 5は、本発明の実施の形態 1に係るカメラモジュールの IRフィルタの特性図である。第 1のカラーフィルタ 124aは、図 4の Gで示した主に緑色を透過する分光透過特性を有し、第 2のカラーフィルタ 124bは、図 4の Bで示した主に青色を透過する分光透過特性を有し、第 3のカラーフィルタ 124cは、図 4の Rで示した主に赤色を透過する分光透過特性を有し、第 4のカラーフィルタは、図 4の Gで示した主に緑色を透過する分光透過特性を有する。また、 IRフィルタは、図 5の IRで示した赤外光を遮断する分光透過特性を有する。

[0071] したがって、第 1のレンズ部 113aの上部から入射した物体光は、第 1のレンズ部 11 3aの下部力も射出され、第 1のカラーフィルタ 124aおよび IRフィルタにより主に緑色が透過し、第 1の撮像素子 123aの受光部に結像するため、第 1の撮像素子 123aは物体光のうち緑色成分を受光する。また、第 2のレンズ部 113bの上部から入射した物体光は、第 2のレンズ部 113bの下部から射出され、第 2のカラーフィルタ 124bおよび IRフィルタにより主に青色が透過し、第 2の撮像素子 123bの受光部に結像するため、第 2の撮像素子 123bは物体光のうち青色成分を受光する。また、第 3のレンズ部 113cの上部から入射した物体光は、第 3のレンズ部 113cの下部から射出され、第 3のカラーフィルタ 124cおよび IRフィルタにより主に赤色が透過し、第 3の撮像素子 123cの受光部に結像するため、第 3の撮像素子 123cは物体光のうち赤色成分を受光する。更に、第 4のレンズ部 113dの上部から入射した物体光は、第 4のレンズ部 113dの下部力も射出され、第 4のカラーフィルタ 124dおよび IRフィルタにより主に緑色が透過し、第 4の撮像素子 123dの受光部に結像するため、第 4の撮像素子 123d は物体光のうち緑色成分を受光する。

[0072] SLSI125は、後述の方法で、ァクチユエータ可動部 115のコイルの通電を制御し、撮像素子 123を駆動し、撮像素子 123からの電気情報を入力し、各種画像処理を行い、上位 CPUと通信を行い、外部に画像出力する。

[0073] 次に、被写体距離と視差との関係を説明する。本発明の実施の形態 1に係るカメラモジュールは、 4つのレンズ部（第 1のレンズ部 113a、第 2のレンズ部 113b、第 3のレンズ部 113c、および第 4のレンズ部 113d)を有するため、 4つのレンズ部がそれぞれ形成する 4つの物体像の相対的位置が、被写体距離に応じて変化する。

[0074] 図 6は、本発明の実施の形態 1に係るカメラモジュールにおいて、無限遠にある物体像の位置を説明するための図である。図 6においては、簡単のため、第 1のレンズ部 113a、第 1の撮像素子 123a、第 2のレンズ部 113b、第 2の撮像素子 123bのみを記す。無限遠の物体 10からの光の第 1のレンズ部 113aへの入射光 L1と、第 2のレンズ部 113bへの入射光 L2とは平行である。このため、第 1のレンズ部 113aと第 2のレンズ部 113bとの距離と、第 1の撮像素子 123a上の物体像 11aと第 2の撮像素子 12 3b上の物体像 1 lbとの距離は等 U、。

[0075] ここで、第 1のレンズ部 113aの光軸、第 2のレンズ部 113bの光軸、第 3のレンズ部 1 13cの光軸、および第 4のレンズ部 113dの光軸が、それぞれ第 1の撮像素子 123a の受光面の中心、第 2の撮像素子 123bの受光面の中心、第 3の撮像素子 123cの受光面の中心、および第 4の撮像素子 123dの受光面の中心と略一致するように配置されている。従って、第 1の撮像素子 123a、第 2の撮像素子 123b、第 3の撮像素子 123c、および第 4の撮像素子 123dの各受光面の中心と、各受光面にそれぞれ結像される無限遠の物体像との相対的位置関係は、全ての撮像素子について同一である。すなわち、視差はない。

[0076] 図 7は、本発明の実施の形態 1に係るカメラモジュールにおいて、有限距離の位置にある物体像の位置を説明するための図である。図 7において、簡単のため、第 1のレンズ部 113a、第 1の撮像素子 123a、第 2のレンズ部 113b、第 2の撮像素子 123b のみを記す。有限距離の物体 12からの光の第 1のレンズ部 113aへの入射光 L1と第 2のレンズ部 113bへの入射光 L2とは平行ではない。従って、第 1のレンズ部 113aと第 2のレンズ部 113bとの距離に比べて、第 1の撮像素子 123a上の物体像 13aと第 2 の撮像素子 123b上の物体像 13bとの距離は長い。そのため、第 1の撮像素子 123a 、第 2の撮像素子 123b、第 3の撮像素子 123c、および第 4の撮像素子 123dの各受光面の中心と、各受光面にそれぞれ結像される有限距離の物体像との相対的位置関係は、撮像素子ごとに異なる。すなわち、視差がある。

[0077] 物体像 12までの距離 (被写体距離)を A、第 1のレンズ部 113aと第 2のレンズ部 11 3bとの距離を D、レンズ部 113a, 113bの焦点距離を fとすると、図 7の直角を挟む 2 辺の長さが A、 Dの直角三角形と、直角を挟む 2辺の長さが f、 Δの直角三角形とが相似であることより、視差 Δは、下記式（1)のように表される。その他のレンズ部間についても同様の関係が成立する。このように、被写体距離に応じて 4つのレンズ部 11 3a, 113b, 113c, 113dがそれぞれ形成する 4つの物体像の相対的位置が変化する。例えば、被写体距離 Aが小さくなると、視差 Δが大きくなる。

[0078] Δ =ί·ϋ/Α · · · (1)

次に、コントラストと焦点距離との関係を説明する。

[0079] 図 8 (Α)は、本発明の実施の形態 1に係るカメラモジュールにお、て、合焦時 (焦点調整が合っているとき)の画像とコントラスト評価値との関係を説明する図であり、図 8 (Β)は、本発明の実施の形態 1に係るカメラモジュールにおいて、非合焦時 (焦点調整が合っていないとき）の画像とコントラスト評価値との関係を説明する図である。

[0080] 図 8 (A)及び図 8 (B)の各左図は、左半分が白色、右半分が黒色の矩形を撮影したときの画像である。図 8 (A)の左図のように、合焦時は、撮影画像の輪郭がはっきりし、コントラストが大きい。一方、図 8 (B)の左図のように、非合焦時は、撮影画像の輪郭がぼやけ、コントラストが小さい。 [0081] 図 8 (A)及び図 8 (B)の各右図は、左図の情報信号にバンドパスフィルタ（BPF)を作用させたときの結果を示している。横軸は X軸方向位置であり、縦軸は BPF後の出力値である。図 8 (A)の右図のように、合焦時は、 BPF後の信号振幅が大きぐ図 8 ( B)の右図のように、非合焦時は BPF後の信号振幅が小さい。ここで、この BPF後の信号振幅をどれだけコントラストが大き!ヽかを示すコントラスト評価値と定義する。すると、図 8 (A)の右図のように、合焦時はコントラスト評価値が大きぐ図 8 (B)の右図のように、非合焦時はコントラスト評価値が小さ、。

[0082] 図 9は、本発明の実施の形態 1に係るカメラモジュールのレンズ位置とコントラスト評価値との関係を説明する図である。ある物体を撮影するとき、レンズ 113と撮像素子 1 23との距離が小さいとき (zlのとき）、非合焦であるためコントラスト評価値が小さい。レンズ 113と撮像素子 123との距離を徐々に大きくすると、コントラスト評価値が徐々に大きくなり、合焦時 (z2のとき）はコントラスト評価値が極大となる。さらに、レンズ 11 3と撮像素子 123との距離を徐々に大きくすると (z3のとき）、非合焦となり、コントラスト評価値が小さくなる。このように、合焦時において、コントラスト評価値は極大となる。

[0083] 次に、本発明の実施の形態 1に係るカメラモジュールの動作を説明する。図 10は、本発明の実施の形態 1に係るカメラモジュールのブロック図である。 SLSI125は、システム制御部 131、撮像素子駆動部 132、撮像信号入力部 133、ァクチユエータ操作量出力部 134、画像処理部 135、および入出力部 136を有する。また、回路部 12 0は、前述の構成にカ卩えて、アンプ 126を有する。

[0084] アンプ 126は、ァクチユエータ操作量出力部 134からの出力に応じた電圧をァクチユエータ可動部 115のコイルに印加する。

[0085] システム制御部 131は、 CPU (中央演算処理装置： Central Processing Unit)、メモリなど力も構成され、 SLSI125の全体を制御する。撮像素子駆動部 132は、ロジック回路などカゝら構成され、撮像素子 123を駆動する信号を発生し、この信号に応じた電圧を撮像素子 123に印加する。

[0086] 撮像信号入力部 133は、第 1の撮像信号入力部 133a、第 2の撮像信号入力部 13 3b、第 3の撮像信号入力部 133c、および第 4の撮像信号入力部 133dから構成される。第 1の撮像信号入力部 133a、第 2の撮像信号入力部 133b、第 3の撮像信号入力部 133c、および第 4の撮像信号入力部 133dは、それぞれ CDS回路 (相関二重サンプリング回路： Correlated

Double Sampling Circuit)、 AGC (自動利得制御器： Automatic Gain Controller)、 A

Digital Converter)が直列に接続されて構成され、それぞれ第 1の撮像素子 123a、第 2の撮像素子 123b、第 3の撮像素子 123c、および第 4の撮像素子 123dに接続され、これらからの電気信号が入力され、 CDS回路により固定ノイズを除去し、 AGCによりゲインを調整し、 ADCによりアナログ信号力もディジタル値に変換し、システム制御部 131のメモリに書き込む。

[0087] ァクチユエータ操作量出力部 134は、 DAC (デジタルディジタル Zアナログ変換器： Digital Analog Converter)から構成され、ァクチユエータ可動部 115のコイルに印加すべき電圧に応じた電圧信号を出力する。

[0088] 画像処理部 135は、ロジック回路、または DSP、あるいはこれらの両者を含んで構成され、システム制御部 131のメモリ情報を利用し、所定のプログラム制御に従って各種画像処理を行う。画像処理部 135は、エッジ検出部 141、ブロック分割部 142、視差演算部 143、視差補正部 144、視差式自動焦点制御部 145、ァクチユエータ制御部 146、コントラスト式自動焦点制御部 147、自動焦点制御用コントラスト評価値演算部 148、およびァクチユエータ操作量関数補正部 149を有する。

[0089] 入出力部 136は、上位 CPU (図示せず）との通信や、上位 CPU、外部メモリ（図示せず)、および液晶などの外部表示装置 (図示せず)へ画像信号を出力する。

[0090] 図 11は、本発明の実施の形態 1に係るカメラモジュールの動作を示すフローチヤ一トである。 SLSI125のシステム制御部 131〖こより、カメラモジュール 101は、このフロ一チャートのとおりに動作される。

[0091] ステップ S100において、動作を開始する。例えば、上位 CPU (図示せず）力シャッターボタンなどが押されたことを検知し、入出力部 136を介し、カメラモジュールに動作の開始を命令することにより、カメラモジュール 101は、動作を開始する。次に、ステップ S 110を実行する。

[0092] ステップ S110において、撮影を実行する。システム制御部 131の命令により、撮像素子駆動部 132が電子シャッターや転送を行うための信号を随時出力する。第 1の撮像信号入力部 133a、第 2の撮像信号入力部 133b、第 3の撮像信号入力部 133c 、および第 4の撮像信号入力部 133dは、撮像素子駆動部 132が発生する信号に同期して、第 1の撮像素子 123a、第 2の撮像素子 123b、第 3の撮像素子 123c、および第 4の撮像素子 123dが出力する各画像のアナログ信号である撮像信号を入力し、 CDSにより固定ノイズを除去し、 AGCにより自動的に入力ゲインを調整し、 ADCによりアナログ信号をディジタル値に変換し、第 1の撮像信号 Il(_x,y)、第 2の撮像信号 12 (x,y)、第 3の撮像信号 I3(x,y)、および第 4の撮像信号 I4(x,y)として、システム制御部 1 31の所定アドレスのメモリにディジタル値を書き込む。図 12は、本発明の実施の形態 1に係るカメラモジュールの撮像信号の座標を説明する図である。 Il(x,y)は、水平方向に X番目、垂直方向に y番目の第 1の撮像信号であることを示す。入力される画像の縦方向の画素数が H、横方向の画素数力であり、総画素数は H X Lであり、 X は 0から L— 1まで変化し、 yは 0から H— 1まで変化する。第 2の撮像信号 I2(x,y)、第 3 の撮像信号 I3(x,y)、第 4の撮像信号 I4(x,y)も同様である。すなわち、 I2(x,y)、 I3(x,y)、および I4(x,y)は、それぞれ水平方向に X番目、垂直方向に y番目の第 2の撮像信号、第 3の撮像信号、および第 4の撮像信号であることを示す。入力される画像の縦方向の画素数が H、横方向の画素数力であり、それぞれの総画素数は H X Lであり、 X は 0から L— 1まで変化し、 yは 0から H— 1まで変化する。次に、ステップ S121を実行する。

[0093] ステップ S 121とステップ S 122とにおいて、エッジ検出部 141は、システム制御部 1 31のメモリ上データを利用し、エッジを検出する。そして、その結果をシステム制御部 131のメモリに書き込む。詳細は以下の通りである。

[0094] ステップ S121において、エッジ検出用コントラスト評価値を演算する。この演算は、第 1の撮像信号のみについて行う。下記式（2)のように、ラプラシアンを演算し、さらに下記式（3)のように空間的に LPF (ローパスフィルタ）を作用させたものを、エッジ検出用コントラスト評価値 C2(x,y)とする。図 13 (A)は、本発明の実施の形態 1に係るカメラモジュールのエッジ検出を説明する元画像であり、図 13 (B)は、本発明の実施の形態 1に係るカメラモジュールのエッジ検出を説明するエッジ検出用コントラスト評価値の画像である。式（2) (3)により、図 13 (A)の元画像のエッジ検出用コントラスト評価値 C2(x,y)を計算すると、図 13 (B)のようになる。なお、図 13 (B)は、式（3)の絶対値が大きい場所を黒で表示している。次に、ステップ S 122を実行する。

[0095] Cl(x,y)=Il(x-l,y)+Il(x+l,y)+Il(x,y-l)+Il(x,y+l)-4Il(x,y)

•••(2)

C2(x,y)=Cl(x-l,y-l)+Cl(x,y-l)+Cl(x+l,y-l)

+Cl(x-l,y)+Cl(x,y)+Cl(x+l,y)

+Cl(x-l,y+l)+Cl(x,y+l)+Cl(x+l,y+l)- · · (3)

ステップ S122において、エッジを検出する。図 13 (C)は、本発明の実施の形態 1 に係るカメラモジュールのエッジ検出を説明するエッジの画像である。図 13 (B)のェッジ検出用コントラスト評価値 C2(x,y)の 0クロス (値が正力負に変化する点、および値が負から正に変化する点）を検知することにより、図 13 (C)のようなエッジを検出できる。次に、ステップ S 130を実行する。

[0096] ステップ S130において、ブロック分割部 142は、システム制御部 131のメモリ上のデータを利用し、ブロックに分割する。そして、その結果をシステム制御部 131のメモリに書き込む。図 13 (C)のように、エッジに囲まれた領域に BO、 Bl、…ゝ Biゝ…ゝ Bn のように番号を付与する。なお、ノイズなどによるエッジの誤検出や消失の防止のために、膨張アルゴリズムや収縮アルゴリズムを用いて、エッジを補正してもよい。次に、ステップ S 140を実行する。

[0097] ステップ S140において、視差演算部 143は、システム制御部 131のメモリ上のデータを利用し、各ブロック毎の視差値を演算する。そして、システム制御部 131のメモリに書き込む。まず、各ブロック（BO、 Bl、 · ··、 Bi、 · ··、 Bn)毎に、視差評価値 (R0(k) 、 Rl(k)、…ゝ Ri(k)、…ゝ Rn(k)₀ k=0、 1、…ゝ m)を演算する。図 14は、本発明の実施の形態 1に係るカメラモジュールにおいて、視差評価値の演算領域を説明する図である。 Biで示される (IIとしても示されている）領域は、第 1の撮像信号 IIからステップ S 130で求められた i番目のブロックである。 14で示される領域は、 Biを X方向に kだけ、 y方向に kだけ移動した領域である。そして、それぞれの領域の全画像信号 Il(x,y)、 I4(x,y)について、下記式 (4)に示される絶対値差分総和を視差評価値 Ri(k)として演算する。

[0098] Ri(k)=∑∑ |ll(x,y)-I4(x-k,y-k)| · · · (4)

この視差評価値 Ri(k)は、 i番目のブロック Biの第 1の画像信号 IIと、 x、 y方向にそれぞれ (k、 k)だけ離れた領域における第 4の画像信号 14がどれだけ相関があるかを示し、値が小さいほど相関が大きい（よく似ている）ことを示す。図 15は、本発明の実施の形態 1に係るカメラモジュールの視差と視差評価値との関係を説明する図である。図 15のように、視差評価値 Ri(k)は kの値によって変化し、 k= A iのとき極小値を持つ。これは、第 4の画像信号 14の i番目のブロック Biを x、 y方向にそれぞれ（一 A i、一 Δ i)だけ移動させて得られるブロックの画像信号は、第 1の画像信号 IIと最も相関がある（最も似ている）ことを示す。したがって、 i番目のブロックについての第 1の撮像信号 IIと第 4の撮像信号 14との x、 y方向の視差が（A i、 A i)であることが分かる。以下、この A iを、 i番目のブロック Biの視差値 A iと呼ぶ。このように、 i=0から i=nまでの全てのブロック Biの視差値 A iを求める。次に、ステップ S 151を実行する。

[0099] ステップ S151とステップ S152とにおいて、プレビュー用の画像を出力する。

[0100] ステップ S151において、視差補正部 144は、システム制御部 131のメモリ上のデータを利用し、ブロックごとに、そのブロックに対応する視差値を用いて視差補正したのち、画像合成する。そして、その結果をシステム制御部 131のメモリに書き込む。第 1の撮像素子 123aおよび第 4の撮像素子 123dは、主に物体光の緑色成分を受光するため、第 1の撮像信号 II、および第 4の撮像信号 14は、物体光の緑色成分の情報信号である。また、第 2の撮像信号 123bは、主に物体光の青色成分を受光するため、第 2の撮像信号 12は、物体光の青色成分の情報信号である。さらに、第 3の撮像信号 123cは、主に物体光の赤色成分を受光するため、第 3の撮像信号 13は、物体光の赤色成分の情報信号である。第 1の撮像素子 123aと第 4の撮像素子 123dとの視差が（ Δ i、 Δ i)であると予測されたため、下記式 (5)のように、画素座標 (x、 y)における緑色の強度を示す G(x,y)を、第 1の撮像信号 Il(x,y)、および第 4の撮像信号 14( X- A i,y- Δ 0の平均とする。また、第 1の撮像素子 123aと第 2の撮像素子 123bの視差が（A i、 0)であると予測されたため、下記式 (6)のように、画素座標 (_x、 y)における青色の強度を示す B(x,y)を、第 2の撮像信号 I2(x- A i,y)とする。さらに、第 1の撮像素子 123aと第 3の撮像素子 123cの視差が（0、 A i)であると予測されたため、下記式（7)のように、（x、 y)における赤色の強度を示す R(x,y)を、第 3の撮像信号 I3(x,y- Δ 0とする。なお、視差値としては、画素座標 (_x、 y)を含むブロック

Biの視差値 A iを利用する。次に、ステップ S 152を実行する。

[0101] G(x,y)=[Il(x,y)+I4(x- Δ i,y- Δ i)]/2 · · · (5)

B(x,y)=I2(x- A i,y) · · · (6)

R(x,y)=I3(x,y- A i) …（7)

ステップ S152において、画像を出力する。入出力部 136は、システム制御部 131 のメモリ上のデータである G(x,y),B(x,y),R(x,y)を、上位 CPU (図示せず）や外部表示装置（図示せず）に出力する。なお、 G(_X,y),B(_X,y),R(x,y)の代わりに、例えば、輝度、色差信号などの出力を出力してもよい。また、ホワイトバランスや γ補正などの画像処理後の値を出力してもよい。次に、 S161を実行する。

[0102] ステップ S161とステップ S162と S163とにおいて、視差値を用いた自動焦点制御を行う。

[0103] ステップ S161において、視差式自動焦点制御部 145は、システム制御部 131のメモリ上のデータに基づき、自動焦点制御用ブロックを選択する。そして、その結果をシステム制御部 131のメモリに書き込む。例えば画像領域の中心付近の少なくとも 1 つのブロック（例えば、 3つのブロック Bj l、 Bj2、および Bj3)を選択する。なお、これらのブロックは必ずしも中央付近である必要はなぐカメラを操作するユーザの意思などを反映し (例えば、センサで視点方向を検出し)、ブロックを選択してもよい。次に、ステップ S 162を実行する。

[0104] ステップ S162において、ァクチユエータの位置指令を演算する。上記の例であれば、下記式（8)のように、ブロック Bj l、 Bj2、および Bj3の視差値 Aj l、 Aj2、および Aj3の平均を自動焦点制御用視差値 A afとする。なお、ブロックの面積やより中心に近いかどうかなどの情報により、適宜重み付けしてもよい。さらに、下記式（9)のように、ァクチユエータの位置指令 Xactを演算する。なお、位置指令 Xactは、無限遠像の合焦位置を基準とし、被写体に向かう向きの位置の指令を示す。次に、ステップ S16 3を実行する。 [0105] A af =( Aj l+ Aj2+ Aj3)/3 · · · (8)

Xact=kx- A af · · · (9)

ステップ S163において、ァクチユエータ制御部 146は、下記式（10)で示した操作量関数を用いてァクチユエータ操作量 (ァクチユエータ可動部 115のコイルへの印加電圧) Vactを演算する。また、後述の操作量関数の学習のために、ァクチユエータ操作量を VactOとして保存する。次に、ステップ S 164を実行する。

[0106] Vact=ka · Xact+kb · · · (10)

VactO=Vact · · · (ΙΟ' )

ステップ S164において、ァクチユエータを動作させる。ァクチユエータ操作量出力部 134は、アンプ 126を介したのちァクチユエータ可動部 115のコイル（図示せず）に印加される電圧力 SVactになるように出力する電圧信号を変更する。次に、ステップ S 171を実行する。テツプ S176とにおいて、コントラスト式自動焦点制御部 147は、コントラストを用いた自動焦点制御を行う。前述の図 9ように、合焦位置ではコントラスト評価値が極大となる。この原理を用いて、コントラスト評価値が極大となるァクチユエータ操作量を探索する。

[0108] ステップ S171において、ァクチユエータ操作量の補正なしの自動焦点制御用コントラスト評価値を作成する。ステップ S171は、ステップ S171cとステップ S171dと力ら成る。まず、ステップ S171cを実行する。

[0109] ステップ S171cにおいて、撮影を実行する。この動作は、ステップ S110と同様であるが、第 1の撮像素子 123aからの撮像信号 IIのうち、 S161で選択された自動焦点制御用ブロックの撮像信号 IIのみを転送しても良い。その場合、全ての撮像信号を転送することと比較し、転送時間を短縮できる。次に、ステップ S171dを実行する。

[0110] ステップ S171dにおいて、自動焦点制御用コントラスト評価値演算部 148は、システム制御部 131のメモリ上のデータを用いて、自動焦点制御用コントラスト評価値を作成する。この演算は、自動焦点制御用ブロックについての第 1の撮像信号 IIのみについて行う。下記式（11)のように、ラプラシアンの絶対値を演算し、下記式（12)のように空間的に LPF (ローパスフィルタ）を作用させ、これを下記式（ 13)のように自動焦点制御用ブロック内で平均して自動焦点用コントラスト評価値 C5を得る。ここで、 N は、自動焦点制御用ブロック内の C4(x,y)の数である。そして、下記式（14)のように、このときのコントラスト評価値 C5を C50として、システム制御部 131のメモリに書き込む。次に、ステップ S 172を実行する。

[0111] C3(x,y)=|ll(x-l,y)+Il(x+l,y)+Il(x,y-l)+Il(x,y+l)-4Il(x,y)|

•••(11)

C4(x,y)=C3(x-l,y-l)+C3(x,y-l)+C3(x+l,y-l)

+C3(x-1 ,y)+C3(x,y)+C3(x+l ,y)

+C3(x-l,y+l)+C3(x,y+l)+C3(x+l,y+l) · · · (12)

C5=∑C4(x,y)/N · · · (13)

C50=C5 · · · (14)

ステップ S172において、ァクチユエータ操作量の正側補正時の自動焦点制御用コントラスト評価値を作成する。ステップ S 172は、ステップ S172a、ステップ S172b、ステツプ S172c、およびステップ SI 72d力も成る。まず、ステップ S 172aを実行する。

[0112] ステップ S172aにおいて、下記式（15)のように、補正なし時のァクチユエータ操作量（ァクチユエータ固定部 114のコイルへの印加電圧） VactOに dVactをカ卩えたものを正側補正時のァクチユエータ操作量 Vactとし、下記式（16)のように、 Vactpとしてメモリ【こ保存する。次【こ、ステップ S172b、ステップ S172c、およびステップ S172dを実行する。

[0113] Vact=VactO+dVact · · · (15)

Vactp=Vact - - - (16)

ステップ S172bにおいて、ァクチユエータを動作させ、ステップ S172cにおいて、撮影を実行し、ステップ S172dにおいて、自動焦点制御用コントラスト評価値を作成する。ステップ S172bはステップ S164と同様な動作を行う。また、ステップ S172c、ステップ S172dは、ステップ 171c、ステップ S171dと同様な動作を行い、下記式（17 )のように、コントラスト評価値 C5を正側補正後の自動焦点用コントラスト評価値 C5p とし、システム制御部 131のメモリに書き込む。次に、ステップ S 173を実行する。 [0114] C5p=C5 · · · (17)

ステップ S173において、ァクチユエータ操作量の負側補正時の自動焦点制御用コントラスト評価値を作成する。ステップ S173は、ステップ S173a、ステップ S173b、ステツプ S173c、およびステップ SI 73d力も成る。まず、ステップ S 173aを実行する。

[0115] ステップ S173aにおいて、下記式（18)のように、補正なし時のァクチユエータ操作量（ァクチユエータ固定部 114のコイルへの印加電圧） VactOから dVactを減じたものを負側補正時のァクチユエータ操作量 Vactとし、下記式（19)のように、 Vactnとしてメモリ【こ保存する。次【こ、ステップ S173b、ステップ S173c、およびステップ S173d を実行する。

[0116] Vact=VactO— dVact · · · (18)

Vactn=Vact …（19)

ステップ S173bにおいて、ァクチユエータを動作させ、ステップ S173cにおいて、撮影を実行し、ステップ S173dにおいて、自動焦点制御用コントラスト評価値を作成する。ステップ 172b、ステップ S172c、ステップ S172dと同様な動作を行い、下記式 (20)のように、コントラスト評価値 C5を負側補正後の自動焦点用コントラスト評価値 C5nとし、システム制御部 131のメモリに書き込む。次に、ステップ S 174を実行する。

[0117] C5n=C5 · · · (20)

ステップ S174において、焦点制御用コントラスト評価値を評価する。 C50、 C5p、 C 5nを比較し、どれが最大値であるかによって分岐する。

[0118] C50が最大値のとき、以下の動作を行い、次にステップ S 181を実行する。図 16 (A )は、本発明の実施の形態 1に係るカメラモジュールにおいて、補正なし時にコントラスト評価値が最大となるときのァクチユエータ操作量とコントラスト評価値の関係を説明する図である。図 16 (A)のように、補正なしのァクチユエータ操作量 VactOが自動焦点制御用コントラスト値 C5のほぼ極大値を与えるため、下記式（21)のように、最終的なァクチユエータ操作量 Vactfを VactOとする。

[0119] Vactl^VactO (C50が最大のとき） · · ·（21)

C5pが最大値のとき、以下の動作を行い、次にステップ S 175を実行する。図 16 (B )は、本発明の実施の形態 1に係るカメラモジュールにおいて、正側補正後のコントラスト評価値が最大となるときのァクチユエータ操作量とコントラスト評価値の関係を説明する図である。図 16 (B)のように、正側補正後のァクチユエータ操作量 Vactp、あるいは、さらに正側に補正した後のァクチユエータ操作量 Vactが、自動焦点制御用コントラスト評価値 C5のほぼ極大値を与えるため、さらにァクチユエータ操作量を正側に補正し、極大値を探索する。なお、下記式（22)のように、 C5pを前回値として C 5ppとして保存する。

[0120] C5pp=C5p · · · (22)

C5nが最大値のとき、以下の動作を行い、次にステップ S 176を実行する。図 16 (C )は、本発明の実施の形態 1に係るカメラモジュールにおいて、負側補正後のコントラスト評価値が最大となるときのァクチユエータ操作量とコントラスト評価値の関係を説明する図である。図 16 (C)のように、負側補正後のァクチユエータ操作量 Vactn、あるいは、さらに負側に補正した後のァクチユエータ操作量 Vactが、自動焦点制御用コントラスト評価値 C5のほぼ極大値を与えるため、さらにァクチユエータ操作量を負側に補正し、極大値を探索する。なお、下記式（23)のように、 C5nを前回値として C 5npとして保存する。

[0121] C5np=C5p . . . (23)

ステップ S175において、さらなる正側補正時の自動焦点用コントラスト評価値の作成と評価を行う。ステップ S175は、ステップ S175a、ステップ S175b、ステップ S175 c、ステップ S175d、およびステップ SI 75e力も成る。まず、ステップ S 175aを実行する。

[0122] ステップ S175aにおいて、下記式（24)のように、前回の正側補正後のァクチユエータ操作量（ァクチユエータ固定部 114のコイルへの印加電圧） Vactpに dVactを加えたものを正側補正時のァクチユエータ操作量 Vactとし、下記式（25)のように、 Vac tpとしてメモリに保存する。次に、ステップ S175b、ステップ S175c、およびステップ S 175dを実行する。

[0123] Vact=Vactp+dVact · · · (24)

Vactp=Vact · · · (25)

ステップ S175bにおいて、ァクチユエータを動作させ、ステップ S175cにおいて、撮影を実行し、ステップ S175dにおいて、自動焦点制御用コントラスト評価値を作成する。ステップ 172b、ステップ S172c、ステップ S172dと同様な動作を行い、下記式 (26)のように、コントラスト評価値 C5を正側補正後の自動焦点用コントラスト評価値 C5pとして、システム制御部 131のメモリに書き込む。次に、ステップ S175eを実行する。

[0124] C5p=C5 · · · (26)

ステップ S175eにおいて、焦点制御用コントラスト評価値を評価する。 C5pp、 C5p を比較し、どれが最大値であるかによって分岐する。

[0125] C5ppが最大値のとき、以下の動作を行い、次にステップ S 181を実行する。図 17 (

A)は、本発明の実施の形態 1に係るカメラモジュールにおいて、さらなる正側補正をしたとき、この正側補正前でのコントラスト評価値が最大となるァクチユエータ操作量とコントラスト評価値の関係を説明する図である。図 17 (A)のように、前回の正側補正後のァクチユエータ操作量 Vactp-dVactが自動焦点制御用コントラスト値 C5のほぼ極大値を与えるため、下記式（27)のように、最終的なァクチユエータ操作量 Vactfを Vactp— dVactとする。

[0126] Vactl^Vactp- dVact (C5ppが最大値のとき） · · ·（27)

C5pが最大値のとき、以下の動作を行い、次にステップ S 175aを実行する。図 17 (

B)は、本発明の実施の形態 1に係るカメラモジュールにおいて、さらなる正側補正をしたとき、この正側補正後でのコントラスト評価値が最大となるァクチユエータ操作量とコントラスト評価値の関係を説明する図である。図 17 (B)のように、今回の正側補正後のァクチユエータ操作量 Vactp、あるいは、さらに正側に補正した後のァクチユエータ操作量 Vact力自動焦点制御用コントラスト評価値 C5のほぼ極大値を与えるため、さらにァクチユエータ操作量を正側に補正し、極大値を探索する。なお、下記式（ 28)のように、 C5pを前回値として C5ppとして保存する。

[0127] C5pp=C5p · · · (28)

ステップ S176において、さらなる負側補正時の自動焦点用コントラスト評価値の作成と評価を行う。ステップ S176は、ステップ S176a、ステップ S176b、ステップ S176 c、ステップ S176d、およびステップ SI 76e力も成る。まず、ステップ S 176aを実行する。

[0128] ステップ S176aにおいて、下記式（29)のように、前回の負側補正後のァクチユエータ操作量（ァクチユエータ固定部 114のコイルへの印加電圧） Vactpから dVactを減じたものを負側補正時のァクチユエータ操作量 Vactとし、下記式（30)のように、 V actnとしてメモリに保存する。次に、ステップ S176b、ステップ S 176c、およびステツプ S176dを実行する。

[0129] Vact=Vactn— dVact · · · (29)

Vactn=Vact . · · (30)

ステップ S176bにおいて、ァクチユエータを動作させ、ステップ S 176cにおいて、撮影を実行し、ステップ S 176dにおいて、自動焦点制御用コントラスト評価値を作成する。ステップ 172b、ステップ S172c、ステップ S172dと同様な動作を行い、下記式 (31)のように、コントラスト評価値 C5を負側補正後の自動焦点用コントラスト評価値 C5nとして、システム制御部 131のメモリに書き込む。次に、ステップ S176eを実行する。

[0130] C5n=C5 · · · (31)

ステップ S176eにおいて、焦点制御用コントラスト評価値を評価する。 C5np、 C5n を比較し、どれが最大値であるかによって分岐する。

[0131] C5npが最大値のとき、以下の動作を行い、次にステップ S 181を実行する。図 18 (

A)は、本発明の実施の形態 1に係るカメラモジュールにおいて、さらなる負側補正をしたとき、この負側補正前でのコントラスト評価値が最大となるァクチユエータ操作量とコントラスト評価値の関係を説明する図である。図 18 (A)のように、前回の負側補正後のァクチユエータ操作量 Vactp+dVactが自動焦点制御用コントラスト値 C5のほぼ極大値を与えるため、下記式（32)のように、最終的なァクチユエータ操作量 Vactfを Vactp+dVactとする。

[0132] Vactl^Vactp+dVact (C5npが最大値のとき） · · ·（32)

C5nが最大値のとき、以下の動作を行い、次にステップ S 176aを実行する。図 18 (

B)は、本発明の実施の形態 1に係るカメラモジュールにおいて、さらなる負側補正をしたとき、この負側補正後でのコントラスト評価値が最大となるァクチユエータ操作量とコントラスト評価値の関係を説明する図である。図 18 (B)のように、今回の負側補正後のァクチユエータ操作量 Vactn、あるいは、さらに負側に補正した後のァクチユエータ操作量 Vact力自動焦点制御用コントラスト評価値 C5のほぼ極大値を与えるため、さらにァクチユエータ操作量を負側に補正し、極大値を探索する。なお、下記式（ 33)のように、 C5nを前回値として C5npとして保存する。

[0133] C5np=C5n · · · (33) おいて、最終的な撮影と画像出力を行う。

[0134] ステップ S181において、下記式（34)のように、ァクチユエータ操作量 Vactとして、上記で得た最終的なァクチユエータ操作量 Vactfを設定する。次に、ステップ S 182 を実行する。

[0135] Vact=Vactf · · · (34)

S182において、ァクチユエータを動作させる。このステップは、ステップ S164と同様に動作させる。次に、ステップ S 183を実行する。

[0136] ステップ S183において、撮影を行う。このステップは、ステップ S110と同様に動作させる。次に、ステップ S 184を実行する。

[0137] ステップ S184において、各ブロックを、そのブロックに対応する視差値を用いて視差補正したのち、画像合成する。このステップは、ステップ S151と同様に動作させる

。次に、ステップ S 185を実行する。

[0138] ステップ S185において、画像出力する。このステップは、 S152と同様に動作させる。次に、ステップ S 190を実行する。

[0139] ステップ S190において、ァクチユエータ操作量関数補正部 149は、コントラスト式自動焦点制御の補正値に基づき操作量関数を補正する。即ち、下記式 (35)のように、操作量関数の係数 kbを補正し、システム制御部 131のメモリに書かれた値を変更する。次回の撮影時はこの値を利用する。次に、ステップ S 199を実行する。

[0140] kb=kb+kc - (Vactf-VactO) · · · (35)

ステップ SI 99において、処理を終了する。

[0141] 以上のように構成し、動作させることにより、以下の効果を有する。 [0142] 第 1の実施の形態のカメラモジュールでは、ステップ S161、ステップ S162、ステツプ S163、ステップ S164のように、自動焦点制御用視差値 A afに基づきァクチユエータ位置指令 Xactを作成し、ァクチユエータ操作量 Vactを演算し、ァクチユエータ固定部 114のコイルに電圧を印加しァクチユエータを動作させ、自動焦点制御する。このことにより、 1回のァクチユエータ動作で合焦するため、高速に自動焦点制御できる

[0143] また、第 1の実施の形態のカメラモジュールでは、まず、ステップ S161、ステップ SI 62、ステップ S163、ステップ S164において、視差に基づきァクチユエータを動作させ自動焦点制御を行う。続いて、ステップ S171、ステップ S172、ステップ S173、ステツプ S174、ステップ S175、ステップ S176にお!/、て、コントラストに基づきァクチュエータを動作させ自動焦点制御を行う。視差に基づく自動焦点制御は、 1回のァクチユエータ動作で合焦するため、高速である。一方、コントラストに基づく自動焦点制御は、画像から直接合焦を判断するため、ァクチユエータのばらつきなどに左右されず、精度がよい。したがって、高速な視差に基づく自動焦点制御により粗調整し、高精度なコントラストに基づく自動焦点制御により微調整するため、高速で高精度に自動焦点制御できる。

[0144] また、第 1の実施の形態のカメラモジュールでは、ステップ S190において、コントラストに基づく自動焦点制御にぉ、て補正されたァクチユエータ操作量 (Vactf-VactO) に基づき、操作量関数の係数 kbを補正するような学習を行う。このことにより、ァクチユエータのばらつきなどがあっても操作量関数をより正確に補正し、視差に基づく自動焦点制御がより正確になり、次回のコントラストに基づく自動焦点制御による微調整の回数を減少できるため、より高速な自動焦点制御を実現する。

[0145] 式（ 1)のように被写体距離 Aに応じて第 1〜第 4のレンズ部 113a〜 113dがそれぞれ形成する 4つの物体像の相対的位置が変化する。すなわち、被写体距離 Aが小さくなると、視差 Δが大きくなる。そのため、距離が異なる複数の被写体を同時に撮影するとき、被写体毎に視差 Δが異なる。第 1の実施の形態のカメラモジュールでは、ステップ S 130において、全画像領域をブロックに分割し、ステップ S 140において、ブロック毎の視差を演算し、ステップ S 184において、ブロック毎の視差に基づき視差の影響を低減するように画像合成することで視差補正する。これにより、距離が異なる複数の被写体を同時に撮影するときにおいても、適宜それぞれの被写体の視差を補正し、全画像領域で視差の影響が低減されたきれ!/、な画像を得ることができる。

[0146] また、第 1の実施の形態のカメラモジュールでは、ステップ S121、ステップ S122において、エッジを検出し、ステップ S130において、ブロックに分割する。このことにより、適切にブロック化を行うことができるため、全画像領域で視差の影響が低減されたきれヽな画像を得ることができる。

[0147] なお、第 1の実施の形態のカメラモジュールにおいて、演算された視差をそのまま利用したが、適宜リミットしてもよい。レンズ特性よつては被写体距離 Aがある値よりも小さいとき、画像が不鮮明となる。そのため、この値を被写体距離 Aの最小値と定めれば、視差 Δの最大値を定められる。この値よりも大きい視差は、誤差であるとして無視してもよい。また、このような場合、視差評価値が 2番目に小さい値を視差として採用してちょい。

[0148] また、第 1の実施の形態のカメラモジュールでは、視差を第 1の撮像信号 II (主に緑色を示す)と第 4の撮像信号 14 (主に緑色を示す)とカゝら演算したが、本発明はこれに限定されない。例えば、紫色の被写体は緑色成分が少なぐ青色成分、赤色成分を多く含むため、第 1の撮像信号 II (主に緑色を示す)と第 4の撮像信号 14 (主に緑色を示す)とから演算できな、場合、第 2の撮像信号 12 (主に青色を示す)と第 3の撮像信号 13 (主に赤色を示す)と力も視差を演算してもよい。また、第 1の視差信号 II (主に緑色を示す)と第 4の視差信号 14 (主に緑色を示す)とから視差が演算不能であり、かつ、第 2の撮像信号 12 (主に青色を示す)と第 3の撮像信号 13 (主に赤色を示す)とから視差が演算不能であれば、視差の影響がないものとみなし、視差なしとすればよい。

[0149] また、第 1の実施の形態のカメラモジュールをカメラに搭載するとき、上側に第 2の撮像素子 123aが、下側に第 3の撮像素子 123cが配置されるように、第 1〜第 4の撮像素子 123a〜123dを配置することにより、上側が青色に敏感となり、下側が赤色に敏感となるので、風景写真の色再現をより自然にできる。

[0150] また、視差評価値に目立つ極値が 2つあるときは、より大きい方の視差を採用してもよい。このようなブロックには、被写体と背景が含まれており、被写体距離と背景距離とが異なるため、極値が 2つ現れる。背景距離と比較して被写体距離は小さいため、背景の視差と比較して被写体の視差は大きい。ここで、大きい方の視差を採用すれば、背景の視差の影響は低減できないが、画質に直接影響する被写体の視差の影響を低減できる。

[0151] また、画像出力のタイミングは、上記に限定されず、適宜プレビュー出力をしてもよい。例えば、ステップ S110の撮影後、視差補正なしの画像を出力してもよい。また、ステップ S 130のブロック分割において、 1つのブロックを分割した際にその結果を反映し、プレビュー画面を更新してもよい。

[0152] また、実施の形態 1のカメラモジュールは、 S164において視差によりァクチユエ一タを動作させ、その後 S171、 S172、 S173、 S175、 S182【こお!ヽてコントラスト【こよりァクチユエータを動作させる力視差によりのみァクチユエータを動作させてもよ、。焦点深度が深いレンズを利用した場合は、レンズと撮像素子の距離には多少の誤差が許容されるため、コントラストによりァクチユエータを動作させ、精度を向上する必要がないからである。

[0153] また、実施の形態 1のカメラモジュールは、 S190において補正量関数を補正する、すなわちコントラストに基づきァクチユエータを動作させたときの操作量に基づき学習を行うが、このステップが省略されてもよい。実施の形態 1のカメラモジュールのァクチユエータは、ボイスコイル型であり、温度変化や姿勢変化によりレンズの移動量が変化するため、学習により精度が著しく向上するが、ステッピングモータを利用した場合には、温度変化や姿勢変化によりレンズ移動量の変化が小さいため、学習を省略してもよい。

[0154] また、視差による焦点制御を行うがァクチユエータを動作させない場合があってもよい。例えば、レンズと撮像素子の相対距離をあらかじめ無限遠を撮影時に合焦する距離とし、視差が小さいときはァクチユエータを動作させる必要がないとみなし、ァクチユエータを動作させなくてもよ、。

[0155] また、適宜、ブロック分割を繰り返し、ブロックを更新する動作を付加してもよ、。例え ίま、、実施の形態： Uこおヽて、 S183のお!/ヽて撮影を行った後、 S121, S122,および S 130を行、ブロックを更新し、その後ステップ S 184にお、て視差補正してもよ!/ヽ

[0156] (実施の形態 2)

本発明の実施の形態 2に係るカメラモジュールは、複数画像のコントラストを用いてエッジの視差を検出し、この視差に基づき全画像領域の視差を演算し、この視差に基づき視差の影響を低減するように画像合成し視差補正することにより、全画像領域で視差の影響が低減されたきれ、な画像を得る。

[0157] 本発明の実施の形態 2に係るカメラモジュールについて、図面を参照しながら説明する。

[0158] 図 19は、本発明の実施の形態 2に係るカメラモジュールの構成を示す断面図である。カメラモジュール 201の回路部 220の SLSI225以外は、実施の形態 1と同様であり、実施の携帯 1と同様の部材には同一の符号を付してそれらについての説明を省略する。

[0159] 図 20は、本発明の実施の形態 2に係るカメラモジュールのブロック図である。 SLSI 225は、システム制御部 231、撮像素子駆動部 132、撮像信号入力部 133、ァクチュエータ操作量出力部 134、画像処理部 235、および入出力部 136を有する。また、回路部 220は、前述の構成にカ卩えて、アンプ 126を有する。

[0160] システム制御部 231は、 CPU、メモリなど力も構成され、 SLSI225の全体を制御する。

[0161] 画像処理部 235は、ロジック回路、または DSP、あるいは両者を含んで構成され、システム制御部 231のメモリ情報を利用し、各種画像処理を行う。画像処理部 235は、コントラスト演算部 241、自動焦点制御部 242、エッジ視差演算部 243、全画像領域視差演算部 244、視差補正部 245を有する。

[0162] 撮像素子駆動部 132、撮像信号入力部 133、ァクチユエータ操作量出力部 134、入出力部 136、およびアンプ 126は、実施の形態 1と同様であり、説明を省略する。

[0163] 図 21は、本発明の実施の形態 2に係るカメラモジュールの動作を示すフローチヤ一トである。 SLSI225のシステム制御部 231〖こより、カメラモジュール 201は、このフロ一チャートのとおりに動作する。 [0164] ステップ S200にお、て、動作を開始する。例えば、上位 CPU (図示せず）がシャツターボタンなどが押されたことを検知し、入出力部 136を介し、カメラモジュールに動作の開始を命令することにより、カメラモジュール 201は、動作を開始する。次に、ステツプ S211を実行する。

[0165] ステップ S211、ステップ S212、ステップ S213、ステップ S214、ステップ S215、ステツプ S216、およびステップ S217において、複数回の撮影を行い、コントラスト評価値を演算し、撮像信号とコントラスト評価値を保存する。

[0166] ステップ S211において、下記式（36)のように、カウンタ iを初期化する。次に、ステップ S 212を実行する。

[0167] i=0 · · · (36)

ステップ S212において、ァクチユエータ位置指令 Xactを作成する。なお、位置指令 Xactは、無限遠像の合焦位置を基準とし、被写体に向かう向きの位置の指令を示す。次に、ステップ S 213を実行する。

[0168] Xact=kx2 -i · · · (37)

ステップ S213において、下記式（38)のように、ァクチユエータ位置指令 Xactに基づき制御量関数を用いてァクチユエータ制御量 Vactを演算する。次に、ステップ S21

4を実行する。

[0169] Vact=ka-Xact+kb · · · (38)

ステップ S214において、ァクチユエータを動作させる。この動作は、実施の形態 1 のステップ S162の動作と同様であり、説明を省略する。次に、ステップ S215を実行する。

[0170] ステップ S215において、撮影を行い、撮像信号を保存する。システム制御部 231 の命令により、撮像素子駆動部 132が電子シャッターや転送を行うための信号を随時出力する。第 1の撮像信号入力部 133a、第 2の撮像信号入力部 133b、第 3の撮像信号入力部 133c、および第 4の撮像信号入力部 133dは、撮像素子駆動部 132 が発生する信号に同期して、第 1の撮像素子 123a、第 2の撮像素子 123b、第 3の撮像素子 123c、および第 4の撮像素子 123dが出力する各画像のアナログ信号である撮像信号を入力し、 CDSにより固定ノイズを除去し、 AGCにより自動的に入力ゲインを調整し、 ADCによりアナログ信号をディジタル値に変換し、第 1の撮像信号 Il(i,x,y) 、第 2の撮像信号 I2(i,x,_y)、第 3の撮像信号 I3(i,x,_y)、および第 4の撮像信号 I4(i,x,_y)として、システム制御部 131の所定アドレスのメモリにディジタル値を書き込む。図 22は、本発明の実施の形態 2に係るカメラモジュールの撮像信号の座標を説明する図である。 Il(i,x,y)は、 i番目に撮影された水平方向に X番目、垂直方向に y番目の第 1の撮像信号であることを示す。入力される画像の縦方向の画素数が H、横方向の画素数が Lであり、総画素数は H X Lであり、 Xは 0から L— 1まで変化し、 yは 0から H— 1まで変化する。また、 iはカウンタであり、 i+1回目の撮影の画像であることを示す。第 2の撮像信号 I2(i,x,_y)、第 3の撮像信号 I3(i,x,_y)、第 4の撮像信号 I4(i,x,_y)も同様である。すなわち、 I2(i,x,y)、 I3(i,x,y)、および I4(i,x,y)は、それぞれ i+ 1番目に撮影された水平方向に X番目、垂直方向に y番目の第 2の撮像信号、第 3の撮像信号、および第 4 の撮像信号であることを示す。入力される画像の縦方向の画素数が H、横方向の画素数が Lであり、それぞれの総画素数は H X Lであり、 Xは 0から L— 1まで変化し、 y は 0から H— 1まで変化する。また、 iはカウンタであり、 i+1回目の撮影の画像であることを示す。次に、ステップ S 126を実行する。

[0171] ステップ S216において、コントラスト演算部 241は、システム制御部 231のメモリ上のデータを用いて、コントラスト評価値の演算と保存を行う。この演算は、第 1の撮像信号 IIについてのみ行う。下記式（39)のように、ラプラシアンを演算し、さらに下記式 (40)のように空間的に LPF (ローパスフィルタ）を作用させたものをコントラスト評価値 C2(i,x,y)とする。そして、これをシステム制御部 231のメモリに書き込む。次に、ステップ S 217を実行する。

[0172] Cl(i,x,y)=Il(i,x-l,y)+Il(i,x+l,y)+Il(i,x,y-l)+Il(i,x,y+l)-4Il(i,x,y)

•••(39)

C2(i,x,y)=Cl(i,x-l,y-l)+Cl(i,x,y-l)+Cl(i,x+l,y-l)

+Cl(i,x-l,y)+Cl(i,x,y)+Cl(i,x+l,y)

+Cl(i,x-l,y+l)+Cl(i,x,y+l)+Cl(i,x+l,y+l) · · · (40) ステップ S217において、撮影枚数をチェックし、分岐する。まず、下記式 (41)のように、カウンタ iを 1だけ増加させる。カウンタ iが撮影枚数 Npより小さければ、次にステップ S212を実行する。カウンタ iが撮影枚数 Npに等しければ、次に、ステップ S221 を実行する。

[0173] i=i+l · · · (41)

ステップ S221、およびステップ S222において、自動焦点制御部 242は、システム制御部 231のメモリ上のデータを用いて、合焦位置で撮影された画像を選択する。

[0174] ステップ S221において、自動焦点用ブロックを作成する。画像領域の中央付近の長方形状のブロックを自動焦点用ブロックとする。なお、このブロックは必ずしも中央付近である必要はなぐカメラを操作するユーザの意思などを反映し (例えば、センサで視点方向を検出し）、ブロックを作成してもよい。次に、ステップ S222を実行する。

[0175] ステップ S222において、合焦位置で撮影された画像を選択する。図 9で説明したように、合焦位置で撮影された画像は、コントラストが極大となる。この原理に基づき、合焦位置で撮影された画像を選択する。まず、下記式 (42)のように、各撮影におけるコントラスト評価値 C2(i,x,y)の自動焦点用ブロックでの平均を自動焦点制御用コントラスト評価値 C3とする。なお、∑は、自動焦点用ブロックでの総和を表す。次に、 C3G )のうちの最大値を与える iを、合焦カウンタ値 ipとし、合焦位置での画像を示す。次に、ステップ S230を実行する。

[0176] C3(i)=|∑ C2(i,x,y)|/N . . . (42)

ip： C3(i)で最大値を与える i · · · (43)

ステップ S230において、エッジ視差演算部 243は、システム制御部 231のメモリ上のデータを用いて、エッジを検出し、その視差を検出する。実施の形態 1のステップ S 122と同様に、合焦位置での画像を利用し、コントラスト評価値 C2(ip,x,y)の 0クロス（値が正力負に変化する点、および値が負から正に変化する点）を検知する。

[0177] 次に、エッジ上の点（xe,ye)について、（xe,ye)を中心とする長方形のブロックを設定し、撮影した全ての画像に対し、下記式 (44)のように、コントラスト評価値 C2(i,x,y)の絶対値の総和を C4(i,xe,ye)とする。ここで、∑は設定した長方形ブロックでの総和を表す。そして、図 9で説明した原理に基づき、下記式 (45)のように、エッジ上の点 (xe, ye)での合焦位置を示す ipe(xe,ye)を C4(i,xe,ye)の最大値を与える iとする。ここで、式（ 9)、式（37)を利用し、エッジ上の点 (xe,ye)での視差 A (xe,ye)は、下記式 (46)に表される。次に、ステップ S 240を実行する。

[0178] C4(i,xe,ye)=∑ |C2(i,x,y)| . . . (44)

ipe(xe,ye)： C4(i,xe,ye)で最大値を与える i · · · (45)

Δ (xe,ye)=(kx2/kx)ipe(xe,ye) · · · (46)

ステップ S240において、エッジ視差演算部 244は、システム制御部 231のメモリ上のデータを用いて、エッジ上の点 (xe,ye)での視差 Δ (xe,ye)力も全画像領域での視差 Δ (x,y)を演算する。ほぼ同一のエッジ上の視差 Δ (xe,ye)で囲まれた領域の視差 Δ (x ,y)として、このエッジ上での視差 A (xe,ye)を採用する。次に、ステップ S250を実行する。

[0179] ステップ S250において、視差補正部 245は、システム制御部 231のメモリ上のデータを用いて、全領域での視差 A (x,y)を用いて視差補正したのち、画像合成する。そして、その結果をシステム制御部 231のメモリに書き込む。第 1の撮像素子 123a、および第 4の撮像素子 123dは、主に物体光の緑色成分を受光するため、第 1の撮像信号 II、および第 4の撮像信号 14は、物体光の緑色成分の情報信号である。また、第 2の撮像信号 123bは、主に物体光の青色成分を受光するため、第 2の撮像信号 12は、物体光の青色成分の情報信号である。さらに、第 3の撮像信号 123cは、主に物体光の赤色成分を受光するため、第 3の撮像信号 13は、物体光の赤色成分の情報信号である。（x、 y)における第 1の撮像素子 123aと第 4の撮像素子 123dの視差が（ Δ (x,y)、 Δ (x,y))であると予測されたため、下記式 (47)のように、（x、 y)における緑色の強度を示す G(x,y)を、第 1の撮像信号 Il(ip,x,y)、および第 4の撮像信号 I4(ip,x - A (x,y),y- A (x,y))の平均とする。また、（x、 y)における第 1の撮像素子 123aと第 2 の撮像素子 123bの視差が（A (x,y)、 0)であると予測されたため、下記式 (48)のように、（x、 y)における青色の強度を示す B(x,y)を、第 2の撮像信号 I2(ip,x- Δ (x,y),y)とする。さらに、（x、y)における第 1の撮像素子 123aと第 3の撮像素子 123cの視差が (0、 A (x,y))であると予測されたため、下記式 (49)のように、（x、y)における赤色の強度を示す R(x,y)を、第 3の撮像信号 I3(ip,x,y- A (x,y))とする。次に、ステップ S260 を実行する。

[0180] G(x,y)=[Il(ip,x,y)+I4(ip,x- Δ (x,y),y- Δ (x,y))]/2 · · · (47) B(x,y)=I2(ip,x- Δ (x,y),y) · · · (48)

R(x,y)=I3(ip,x,y- Δ (x,y)) · · · (49)

ステップ S260において、画像出力する。このステップは、実施の形態 1の S152と同様に動作させる。次に、ステップ S299を実行する。

[0181] ステップ S299において、処理を終了する。

[0182] 以上のように構成し、動作させることにより、以下の効果を有する。

[0183] 複数画像のコントラストを用いてエッジの視差を検出し、この視差に基づき全画像領域の視差を演算し、この視差に基づき視差の影響を低減するように画像合成することで視差補正する。これにより、全画像領域で視差の影響が低減されたきれいな画像を得ることができる。

[0184] なお、実施の形態 2のカメラモジュールにおいて、エッジの視差を複数回の撮影のコントラスト評価値を用いて求めたが、本発明はこれに限定されない。例えば、求めるエッジ上の点を中心とするブロックを設定し、実施の形態 1で用いた方法でこのブロックの視差を求め、この視差を採用してもよい。また、エッジ上の点の幾つかを合体させ、点ではなぐ線として視差を演算してもよい。また、線状のエッジを端点や分岐点において分割し複数の線分とし、その視差を演算してもよい。また、この線分の周りを含むブロックを作成し、実施の形態 1で用いた方法でこのブロックの視差を求めてよい。また、コントラスト評価値力も求めた視差と実施の形態 1で用いた方法で求めた視差を組み合わせてもよい。例えば、平均の視差を用いたり、ァクチユエータ操作量関数の係数を学習してもよ、。

[0185] また、実施の形態 1および実施の形態 2において、エッジ情報によりブロックに分割したが、本発明はこれに限定されない。例えば、複数の矩形ブロックに分割してもよい。

[0186] (実施の形態 3)

本発明の実施の形態 3に係るカメラモジュールは、撮像領域をブロックに分割し、ブロック毎の視差を演算し、ブロック毎に演算したコントラスト値と視差だけ移動した像の相関とに基づき視差を評価する。相関が大きくコントラストが大きいときは、求めた視差が正しいと判断し、視差に基づき通常の視差補正を行う。そして、相関が小さくコントラストが小さいときは求めた視差が低精度である判断し、低コントラスト用の視差補正を行う。さらに、相関が小さくコントラストが大きいときは、複数の距離の被写体が含まれるため求めた視差が正しくないと判断し、ブロックを再分割する。このようにして、全画像領域できれいな画像を得る。

[0187] 以下、本発明の実施の形態 3に係るカメラモジュールについて、図面を参照しながら説明する。

[0188] 図 23は、本発明の実施の形態 3に係るカメラモジュールの構成を示す断面図である。カメラモジュール 301の回路部 320の SLSI325以外は、実施の形態 1と同様であり、実施の形態 1と同様の部材には同一の符号を付してそれらについての説明を省略する。

[0189] 図 24は、本発明の実施の形態 3に係るカメラモジュールのブロック図である。 SLSI 225は、システム制御部 331、撮像素子駆動部 132、撮像信号入力部 133、ァクチュエータ操作量出力部 134、画像処理部 335、および入出力部 136を有する。また、回路部 320は、前述の構成にカ卩えて、アンプ 126を有する。

[0190] 画像処理部 335は、ロジック回路、または DSP (ディジタル信号プロセッサ： Digital Signal Processor)、あるいはこれらの両者を含んで構成され、システム制御部 331のメモリ情報を利用し、各種画像処理を行う。画像処理部 335は、自動焦点制御部 34 1、ブロック分割部 342、視差演算部 343、相関演算部 344、コントラスト演算部 345 、ブロック再分割部 346、通常視差補正部 347、低コントラスト用視差補正部 348、および低相関用視差補正部 349を有する。

[0191] 図 25は、本発明の実施の形態 3に係るカメラモジュールの動作を示すフローチヤ一トである。 SLSI325のシステム制御部 331〖こより、カメラモジュール 301は、このフロ一チャートのとおりに動作する。

[0192] ステップ S3000にお!/、て、動作を開始する。例えば、上位 CPU (図示せず）がシャッターボタン（図示せず)などが押されたことを検知し、入出力部 136を介し、カメラモジュール 301に動作の開始を命令することにより、カメラモジュール 301は、動作を開始する。次に、ステップ S3100を実行する。

[0193] ステップ S3100において、自動焦点制御部 341は、自動焦点制御を実行する。図 26は、本発明の実施の形態 3に係る自動焦点制御の動作を示すフローチャートである。図 26のフローチャートは、ステップ S3100の動作の詳細を示す。

[0194] ステップ S3100の自動焦点制御では、まず、ステップ S3121を実行する。

[0195] ステップ S3121〖こおいて、カウンタ iを 0に初期化する。次に、ステップ S3122を実行する。

[0196] ステップ S3122において、ァクチユエータの位置指令を演算する。下記式（50)のように、カウンタ iを用いてァクチユエータの位置指令 Xactを演算する。なお、位置指令 Xactは、無限遠像の合焦位置を基準とし、被写体に向かう向きが正である位置の指令を示す。ここで、は、設定された値である。次に、ステップ S3123を実行する。

[0197] Xact=kx-i · · · (50)

ステップ S3123において、下記式（51)で示した操作量関数を用いてァクチユエ一タ操作量（ァクチユエータ可動部 115のコイルへの印加電圧) Vactを演算する。ここで、 ka、および kbは、それぞれ設定された値である。次に、ステップ S3124を実行する。

[0198] Vact=ka · Xact+kb · · · (51)

ステップ S3124において、ァクチユエータを動作させる。ァクチユエータ操作量出力部 134は、アンプ 126を介したのちァクチユエータ可動部 115のコイル（図示せず）に印加される電圧が Vactになるように、出力する電圧信号を変更する。次に、ステツプ S3125を実行する。

[0199] ステップ S3125において、撮影を実行する。システム制御部 131の命令により、撮像素子駆動部 132が電子シャッターや転送を行うための信号を随時出力する。第 1 の撮像信号入力部 133a、第 2の撮像信号入力部 133b、第 3の撮像信号入力部 13 3c、および第 4の撮像信号入力部 133dは、撮像素子駆動部 132が発生する信号に同期して、第 1の撮像素子 123a、第 2の撮像素子 123b、第 3の撮像素子 123c、および第 4の撮像素子 123dが出力する各画像のアナログ信号である撮像信号を入力し、 CDSにより固定ノイズを除去し、 AGCにより自動的に入力ゲインを調整し、 ADC によりアナログ信号をディジタル値に変換し、第 1の撮像信号 Il(x,y)、第 2の撮像信号 I2(x,y)、第 3の撮像信号 I3(x,y)、および第 4の撮像信号 I4(x,y)として、システム制御部 131の所定アドレスのメモリにディジタル値を書き込む。図 12は、本発明の実施の形態 1に係るカメラモジュールの撮像信号の座標を説明する図である。 Il(x,y)は、水平方向に X番目、垂直方向に y番目の第 1の撮像信号であることを示す。入力される画像の縦方向の画素数が H、横方向の画素数力であり、総画素数は H X Lであり、 X は 0から L— 1まで変化し、 yは 0から H— 1まで変化する。第 2の撮像信号 I2(x,y)、第 3 の撮像信号 I3(x,y)、第 4の撮像信号 I4(x,y)も同様である。すなわち、 I2(x,y)、 I3(x,y)、および I4(x,y)は、それぞれ水平方向に X番目、垂直方向に y番目の第 2の撮像信号、第 3の撮像信号、および第 4の撮像信号であることを示す。入力される画像の縦方向の画素数が H、横方向の画素数力であり、それぞれの総画素数は H X Lであり、 X は 0から L— 1まで変化し、 yは 0から H— 1まで変化する。次に、ステップ S3126を実行する。

[0200] ステップ S3126において、自動焦点制御用ブロックを設定する。画像領域の中心付近の矩形状の領域を自動焦点制御用ブロックとする。なお、このブロックは必ずしも中央付近である必要はなぐカメラを操作するユーザの意思などを反映し (例えば、センサで視点方向を検出し）、ブロックを設定してもよい。なお、単一のブロックではなく複数のブロックを選択し、複数のブロックにおいて後述の自動焦点制御用コントラスト評価値の平均を用いてもよい。また、複数のブロックにおいて後述の自動焦点制御用コントラスト評価値を演算し、後に少なくとも 1つのブロックを自動焦点制御用ブロックとして選択してもよい。次に、ステップ S3127を実行する。

[0201] ステップ S3127において、システム制御部 331のメモリ上のデータを用いて、自動焦点制御用コントラスト評価値を作成する。この演算は、第 1の撮像信号 IIの自動焦点制御用ブロックの画素について行う。下記式（52)のように、 X方向と y方向の 2階微分の和であるラプラシアンの絶対値を演算し、下記式（53)のように空間的に LPF (口一パスフィルタ。 Low

Pass Filter)を作用させ、これを下記式（54)のように自動焦点制御用ブロック内で平均して自動焦点用コントラスト評価値 C3を得る。ここで、 Nafは、自動焦点制御用プロックの画素数である。次に、ステップ S3128を実行する。

[0202] Cl(x,y)=|ll(x-l,y)+Il(x+l,y)+Il(x,y-l)+Il(x,y+l)-4Il(x,y)|

•••(52) C2(x,y)=Cl(x-l,y-l)+Cl(x,y-l)+Cl(x+l,y-l)

+Cl(x-l,y)+Cl(x,y)+Cl(x+l,y)

+Cl(x-l,y+l)+Cl(x,y+l)+Cl(x+l,y+l) · · · (53)

C3=∑C2(x,y)/Naf · · · (54)

ステップ S3128において、下記式（55)のように、コントラスト評価値 C3を C3(i)として、システム制御部 331のメモリに書き込む。次に、ステップ S3129を実行する。

[0203] C3(i)=C3 · · · (55)

ステップ S3129において、下記式（56)のように、カウンタ iに 1を加える。次に、ステップ S3130を実行する。

[0204] i=i+ l · · · (56)

ステップ S3130において、カウンタ iをしきい値 Safと比較し、その結果により分岐する。カウンタ iがしきい値 Saはり小さいとき (ステップ S3130の比較結果が Y)、次に、ステップ 3122を実行する。一方、カウンタ iがしきい値 Saf以上のとき（ステップ S313 0の比較結果が N)、次に、ステップ S3140を実行する。このように、ステップ S3121 においてカウンタ iを 0に初期化し、ステップ S3129においてカウンタ iに 1を加え、ステツプ S3130にお!/、てカウンタ iで分岐を行うことにより、 S3122力ら S3128までの処理を Saf回だけ繰り返す。

[0205] ステップ S3140において、コントラスト評価値 C3の評価を行う。図 9のように、合焦位置では、コントラスト評価値 C3が最大となる。下記式（57)のように、この最大値を与えるカウンタ値 iを、コントラスト最大値を与えるカウンタ値 iafとする。次に、ステップ S3151を実行する。

[0206] iaf=C3の最大値を与える i · · · (57)

ステップ S3151〖こおいて、ァクチユエータの位置指令を演算する。下記式（58)のように、コントラスト最大値を与えるカウンタ値 iafを用いてァクチユエータの位置指令 X actを演算する。なお、位置指令 Xactは、無限遠像の合焦位置を基準とし、被写体に向力向きが正の位置の指令を示す。次に、ステップ S3152を実行する。

[0207] Xact=kx-iaf · · · (58)

ステップ S3152にお、て、操作量関数を用いてァクチユエータ操作量 (ァクチユエータ可動部 115のコイルへの印加電圧） Vactを演算する。この動作は、ステップ S31 23と同様であり、説明を省略する。次に、ステップ S3153を実行する。

[0208] ステップ S3153において、ァクチユエータを動作させる。この動作は、ステップ S31 24と同様であり、説明を省略する。次に、ステップ S3160を実行する。

[0209] ステップ S3160において、自動焦点制御を終了し、メインルーチンへ戻る。従って、次に、図 25のステップ S3200を実行する。

[0210] ステップ S3200において、視差補正を実行する。図 27は、本発明の実施の形態 1 に係る視差補正の動作を示すフローチャートである。図 27のフローチャートは、ステップ S3200の動作の詳細を示す。

[0211] ステップ S3200の視差補正では、まず、ステップ S3220を実行する。

[0212] ステップ S3220において、撮影を実行する。システム制御部 131の命令により、撮像素子駆動部 132が電子シャッターや転送を行うための信号を随時出力する。第 1 の撮像信号入力部 133a、第 2の撮像信号入力部 133b、第 3の撮像信号入力部 13 3c、および第 4の撮像信号入力部 133dは、撮像素子駆動部 132が発生する信号に同期して、第 1の撮像素子 123a、第 2の撮像素子 123b、第 3の撮像素子 123c、および第 4の撮像素子 123dが出力する各画像のアナログ信号である撮像信号を入力し、 CDSにより固定ノイズを除去し、 AGCにより自動的に入力ゲインを調整し、 ADC によりアナログ信号をディジタル値に変換し、第 1の撮像信号 Il(x,y)、第 2の撮像信号 I2(x,y)、第 3の撮像信号 I3(x,y)、および第 4の撮像信号 I4(x,y)として、システム制御部 131の所定アドレスのメモリにディジタル値を書き込む。図 12は、本発明の実施の形態 1に係るカメラモジュールの撮像信号の座標を説明する図である。 Il(x,y)は、水平方向に X番目、垂直方向に y番目の第 1の撮像信号であることを示す。入力される画像の縦方向の画素数が H、横方向の画素数力であり、総画素数は H X Lであり、 X は 0から L— 1まで変化し、 yは 0から H— 1まで変化する。第 2の撮像信号 I2(x,y)、第 3 の撮像信号 I3(x,y)、第 4の撮像信号 I4(x,y)も同様である。すなわち、 I2(x,y)、 I3(x,y)、および I4(x,y)は、それぞれ水平方向に X番目、垂直方向に y番目の第 2の撮像信号、第 3の撮像信号、および第 4の撮像信号であることを示す。入力される画像の縦方向の画素数が H、横方向の画素数力であり、それぞれの総画素数は H X Lであり、 X は 0から L— 1まで変化し、 yは 0から H— 1まで変化する。次に、ステップ S3230を実行する。

[0213] ステップ S3230において、ブロック分割部 342は、システム制御部 331のメモリ上のデータを利用し、ブロック分割を行う。そして、その結果をシステム制御部 331のメモリに書き込む。図 28は、本発明の実施の形態 3に係るカメラモジュールにおいて、プロック分割を説明する図である。図 28のように、第 1の撮像信号 IIを、横方向に M個のブロックに、縦方向に N個のブロックに、総数で M X N個に分割し、それぞれのブロックを Biで示す。ここで、 iは 0から M X N— 1まで変化する。次に、ステップ S3240を実行する。

[0214] ステップ S3240において、視差演算部 343は、システム制御部 331のメモリ上のデータを利用し、各ブロック毎の視差値を演算する。そして、システム制御部 331のメモリに書き込む。まず、各ブロック（B0、 Bl、 · ··、 Bi、 · ··、 BMN-1)毎に、視差評価値（R0( k)ゝ Rl(k)ゝ…ゝ Ri(k)ゝ…ゝ RMN-l(k)₀ k=0、 1、…ゝ kmax)を演算する。図 29は、本発明の実施の形態 3に係るカメラモジュールにおいて、視差評価値の演算領域を説明する図である。 Biで示される（IIとしても示されている)領域は、第 1の撮像信号 IIからステップ S3230で求められた i番目のブロックである。 14で示される領域は、 Biから X 方向に kだけ、 y方向に kだけ移動した領域である。そして、それぞれの領域の全画像信号 Il(x,y)、 I4(x-k,y-k)について、下記式（59)に示される絶対値差分総和を視差評価値 Ri(k)として演算する。

[0215] Ri(k)=∑∑ |ll(x,y)-I4(x-k,y-k)| · · · (59)

この視差評価値 Ri(k)は、 i番目のブロック Biの第 1の画像信号 IIと、 x、 y方向にそれぞれ (k、 k)だけ離れた領域における第 4の画像信号 14がどれだけ相関があるかを示し、値が小さいほど相関が大きい (よく似ている)ことを示す。図 15のように、視差評価値 Ri(k)は kの値によって変化し、 k= Δ ίのとき極小値を持つ。これは、第 4の画像信号 14の i番目のブロック Biを x、 y方向にそれぞれ (- Δ i、 - Δ i)だけ移動させて得られる画像信号は、第 1の画像信号 IIと最も相関がある (最も似ている)ことを示す。したがつて、 i番目のブロック Biについての第 1の撮像信号 IIと第 4の撮像信号 14との x、 y方向の視差が（Δ ί、 Δ ί)であることが分かる。以下、この A (i,j)を、 i番目のブロック B(i,j) の視差値 Δ (ί,』·)と呼ぶ。このように、 i=0から i=M X N—lまで Biの視差値 Δ ίを求める。次に、ステップ S3251を実行する。

[0216] ステップ S3251において、相関演算部 344は、システム制御部 331のメモリ上のデータを利用し、各ブロック毎の視差精度評価用相関値を演算する。そして、結果をシステム制御部 131のメモリに書き込む。図 30は、本発明の実施の形態 3に係るカメラモジュールにおいて、視差精度評価用相関値の演算領域を説明する図である。 Biで示される（IIとしても示されている)領域は、第 1の撮像信号 IIからステップ S1230で求められた i番目のブロックである。 14で示される領域は、 Biを X方向に Δ ίだけ、 y方向に Δ ίだけ移動した領域である。そして、それぞれの領域の全画像信号 Il(x,y)、 I4(x - Δ ί,γ- Δ ί)について、下記式 (60)のように、視差精度評価用相関値 R2iとする。ここで、∑∑はブロック Bi内での総和を示し、 avgはブロック Bi内での加算平均を示す。次に、ステップ S3252を実行する。

[0217] R2i=∑∑ {Il(x,y)-avg(ll(x,y))} X {Ι4(χ- Δ i,y- Δ i)— avg(I4(x— Δ i,y- Δ i))}

/^∑∑{ll(x,y)-avg(Il(x,y))}²

/ ∑∑ {I4(x- Δ i,y- Δ i)-avg(I4(x- Δ i,y- Δ i》}² · · · (60)

ステップ S3252において、視差精度評価用相関値 R2iに基づき各ブロック Biごとの視差補正方式を選択する。下記式 (61)のように、視差精度評価用相関値 R がしきい値 R20より大きいとき、視差補正方式フラッグ Fiに通常視差補正を示す 1を代入し、システム制御部 331のメモリに保存する。次に、ステップ S3261を実行する。

[0218] Fi=l (R2i>R20) · · · (61)

ステップ S3261において、コントラスト演算部 345は、システム制御部 331のメモリ上のデータを利用し、各ブロック毎の視差精度評価用コントラスト値を演算する。そして、システム制御部 331のメモリに書き込む。下記式（62)のように、 X方向と y方向の 2階微分の和であるラプラシアンの絶対値を演算し、下記式 (63)のように空間的に L PF (ローパスフィルタ。 Low

Pass Filter)を作用させ、これを下記式（64)のように各ブロック Bi内で平均して視差精度評価用コントラスト評価値 C6iを得て、システム制御部 331のメモリに書き込む。ここで、 NBiは、ブロック Biの画素数である。なお、コントラスト評価値は式（62)力式 (64)に限定されず、コントラストを表現できるものであればよぐ例えば、式（62)において、ラプラシアンの変わりに 1次微分を用いたり、ラプラシアンの絶対値ではなく x、 yそれぞれの 2階微分の絶対値の和を用いてもよい。また、式 (63)以外の形式の LP Fを用いてもよい。さらに、式（64)の結果に対して、 IIの大きさの平均で除するなどの正規ィ匕をしてもよい。次に、ステップ S3262を実行する。

[0219] C4(x,y)=|ll(x-l,y)+Il(x+l,y)+Il(x,y-l)+Il(x,y+l)-4Il(x,y)|

•••(62)

C5(x,y)=C4(x-l,y-l)+C4(x,y-l)+C4(x+l,y-l)

+C4(x-1 ,y)+C4(x,y)+C4(x+l ,y)

+C4(x-l,y+l)+C4(x,y+l)+C4(x+l,y+l) · · · (63)

C6i=∑C5(x,y)/NBi · · · (64)

ステップ S3262において、視差精度評価用コントラスト評価値 C6iに基づき各ブロック Biごとの視差補正方式を選択する。ここで、ステップ S3262において、ステップ S32 51で視差補正方式フラッグ Fiに 1が代入されな、ブロックにお、てのみ評価を行う。そのため、ステップ S3261において、視差補正方式フラッグ Fi=lのブロック Biでは、視差精度評価用コントラスト値 C6iの演算を省略してもよい。下記式 (65)のように、視差精度評価用コントラスト評価値 C&がしきい値 C60より小さいとき、視差補正方式フラッグ Fiに低コントラスト用視差補正を示す 2を代入し、システム制御部 331のメモリに保存する。また、下記式 (66)のように、視差精度評価用コントラスト評価値 C&がしきい値 C60以上のとき、視差補正方式フラッグ Fiに低相関用視差補正を示す 3を代入し、システム制御部 331のメモリに保存する。次に、ステップ S3271を実行する。

[0220] Fi=2 (C6KC60、かつ、 Fi=lではない） · · ·（65)

Fi=3 (C6i〉=C60、かつ、 Fi=lではな!/、） · · · (66)

ステップ S3271において、視差補正方式フラッグとブロックのサイズの大きさにより、ブロックの再分割が必要力否かを判断し、その判断結果に応じて分岐する。少なくとも 1つのブロックの視差補正方式フラッグ Fiが 3であり、かつ、全てのブロック Biの中で最小のブロックの画素数が SOより大きいとき、ブロックの再分割が必要であると判断し (ステップ S1271の判断結果が Yes)、次に、ステップ S3272を実行する。全てのブロックの視差補正方式フラッグ Rが 1または 2のとき、あるいは、全てのブロック Biの中で最小のブロックの画素数が SO以下のとき、ブロックの再分割が不要と判断し (ステツプ S3271の判断結果が No)、次に、ステップ S3280を実行する。

[0221] ステップ S3272において、ブロック再分割部 346は、システム制御部 331のメモリ上のデータを利用し、ブロックを再分割する。図 31 (A)は、本発明の実施の形態 3に係るカメラモジュールにおいて、ブロックの再分割の前の状態を説明する図であり、図 3 1 (B)は、本発明の実施の形態 3に係るカメラモジュールにおいて、ブロックの再分割の後の状態を説明する図である。図 31において、簡単のため、ブロックが 4つであり、視差補正方式フラッグ Fiに低相関用視差補正を示す 3が代入されているブロック B2 ( 図 31 (A) )を 4つのブロック B2、 B4、 B5、 B6に分割する例（図 31 (B) )が示されている。ブロック B2を再分割のした後のブロックを示す番号は、分割したブロックの番号（2) と、未使用の番号 (4、 5、 6)をあてはめる。次に、 S3240を実行する。

[0222] このように、低相関（Fi=3)であるブロックを再分割し (ステップ S3272)、再分割したブロックに対する視差を演算し (ステップ S3240)、相関を演算し評価し (ステップ S3 251、ステップ S3252)、コントラストを演算し評価し (ステップ S3261、ステップ S326 2)、ブロックを再分割するかどうか判断し (ステップ S3271)さらに、低相関（Fi=3)であるブロックを再分割する (ステップ S3272)動作を、全てのブロックのうちで最小のブロックのサイズが SOになるまで、あるいは全てのブロックの視差補正方式フラッグ Fi 力 ^または 2になるまで、繰り返す。なお、ステップ S3240力らステップ S3272〖こおいて、ブロックの再分割によりブロックのサイズやブロックの番号が変更されるため、それらのステップの動作が適宜変更される。

[0223] 以上の処理により、上記のステップ S3271の判断結果が Nとなった時点（すなわちステップ S3280の実行を開始する時点）では、ステップ S3272において分割されたブロックを含め、全てのブロック Biに対する視差補正方式フラッグ Fiには、通常視差補正を示す 1、低コントラスト用視差補正を示す 2、あるいは低相関用視差補正を示す 3が代入されている。ステップ S3280において、通常視差補正部 347、低コントラスト用視差補正部 348、低相関用視差補正部 349は、システム制御部 331のメモリ上のデータを利用し、各ブロック毎に視差方正方式フラッグ Fiの値に応じたの視差補正を行ヽ画像を合成し、その結果をシステム制御部 331のメモリに書き込む。

[0224] ステップ S3280にお、て視差補正方式フラッグ Fi=lのブロックでは、視差精度評価用相関値 R2iが大きい。図 32は、本発明の実施の形態 3に係るカメラモジュールにおいて、視差精度評価用相関値 R2iと視差補正方式フラッグ Fiの関係を説明する図である。ステップ S3251において求めた視差精度評価用相関値 R2iは、 i番目のブロック Bi内の第 1の撮像信号 Il(x,y)と X方向と y方向に視差 Δ ίだけ移動した第 4の撮像信号 Ι4(χ- Δ i,y- Δ i)がー致するとき 1となり、両者力ランダムノイズのときのようにランダムに異なる場合 0となり、両者が白黒反転のような関係にあるとき一 1となる。このように、両者が似て、るとき視差精度評価用相関値 R2iが大きく 1に近くなり、両者が似て!/、ないとき、視差精度評価用相関値 R2iが小さく 1から離れる。ここで、図 32のように、しきい値 R20を 1に近い値 (例えば 0. 9)に設定し、これより視差精度評価用相関値 R2iが大きいとき、潘目のブロック Bi内の第 1の撮像信号 Il(x,y)と視差 Δ iだけ移動した第 4 の撮像信号 Ι4(χ- Δ i,y- Δ i)が似て、ると判断できる。これは、 i番目のブロック Biにおいて、視差の精度が高ぐかつ、第 1の撮像信号 Il(x,y)と視差 Δ ίだけ移動した第 4 の撮像信号 Ι4(χ- Δ i,y- Δ i)との間で同一に距離の被写体のみが存在することを示す。そのため、第 4の撮像信号 14を X方向に Δ iだけ移動し、 y方向に Δ iだけ移動することにより、 i番目のブロック Biにおける撮像信号を再現できる。さて、第 2の撮像信号 12 は X方向にのみ視差の影響があり、第 3の撮像信号 13は y方向にのみ視差の影響があるため、第 2の撮像信号 12を X方向に Δ ίだけ移動することによりブロック Biにおける青色の撮像信号を再現でき、第 3の撮像信号 13 方向に Δ ίだけ移動することによりブロック Biにおける赤色の撮像信号を再現できる。

[0225] そこで、視差補正方式フラッグ Fi=lのブロックでは、通常視差補正部 347は、システム制御部 331のメモリ上のデータを利用し、ブロックごとに、そのブロックに対応する視差値を用いて視差補正したのち、画像合成する。そして、その結果をシステム制御部 331のメモリに書き込む。第 1の撮像素子 123aおよび第 4の撮像素子 123dは、主に物体光の緑色成分を受光するため、第 1の撮像信号 II、および第 4の撮像信号 14 は、物体光の緑色成分の情報信号である。また、第 2の撮像素子 123bは、主に物体光の青色成分を受光するため、第 2の撮像信号 12は、物体光の青色成分の情報信号である。さらに、第 3の撮像素子 123cは、主に物体光の赤色成分を受光するため、第 3の撮像信号 13は、物体光の赤色成分の情報信号である。 i番目のブロック Biにおいて、第 1の撮像素子 123aと第 4の撮像素子 123dとの視差が（A i、 A i)であると予測されたため、下記式 (67)のように、画素座標 (_x、 y)における緑色の強度を示す G(x,y)を、第 1の撮像信号 Il(x,y)、および第 4の撮像信号 Ι4(χ- Δ ί,γ- Δ ί)の平均とする。このように平均をとることにより、ランダムノイズの影響を低減できる。また、第 1の撮像素子 123aと第 2の撮像素子 123bの視差が（A i、 0)であると予測されたため、下記式 (68)のように、画素座標 (x、 y)における青色の強度を示す B(x,y)を、第 2の撮像信号 I2(x- A i,y)とする。さらに、第 1の撮像素子 123aと第 3の撮像素子 123cの視差が（0、 A i)であると予測されたため、下記式 (69)のように、（x、y)における赤色の強度を示す R(x,y)を、第 3の撮像信号 I3(x,y- Δ i)とする。

G(x,y)=[Il(x,y)+I4(x- Δ i,y- Δ i)]/2 · · · (67)

B(x,y)=I2(x- A i,y) · · · (68)

R(x,y)=I3(x,y- A i) …（69)

ステップ S3280にお、て視差補正方式フラッグ Fi=2のブロックでは、視差精度評価用相関値 R2iが小さぐ視差精度評価用コントラスト評価値 C6iが小さい。図 33は、本発明の実施の形態 3に係るカメラモジュールにおいて、視差精度評価用コントラスト評価値と視差補正方式フラッグの関係を説明する図である。ステップ S3261において求めた視差精度評価用コントラスト評価値 C6は、 i番目のブロック Bi内の第 1の撮像信号 Il(x,y)がはっきりした、すなわち濃淡の変化が大きい画像を示すとき大きくなり、ぼやけた、すなわち濃淡の変化が少ない画像を示すとき 0に近くなる。ここで、図 33 のように、しきい値 C60を設定し、これより視差精度評価用コントラスト評価値が小さいとき、 i番目のブロック Bi内の第 1の撮像信号 Il(x,y)の示す画像は濃淡が小さぐ変化に乏しい画像である。そのため、信号成分に対するノイズ成分が大きくなり、視差 Δ ί の精度が悪いと判断できる。また、濃淡が小さい画像であるため、再現する画像に多少の誤差が含まれても実用上問題ない。そこで、主に第 1の撮像信号 Il(x,y)の情報に基づき色を再現する。なお、第 2の撮像信号 I2(x,y)、第 3の撮像信号 I3(x,y)、あるいは第 4の撮像信号 I4(x,y)の情報に基づき色を再現してよい。ただし、赤色、青色と比較し、緑色に最も視覚感度が高いため、物体光の緑色成分の情報を持つ第 1の撮像信号 Il(x,y)、あるいは第 4の撮像信号 I4(x,y)に基づくことが好ましい。また、視差 Δ iの精度が悪いため、第 1の撮像信号 Il(x,y)、あるいは第 4の撮像信号 I4(x,y)を単独で用いることが好ましい。

そこで、視差補正方式フラッグ Fi=2のブロックでは、低コントラスト用視差補正部 34 8は、システム制御部 331のメモリ上のデータを利用し、ブロックごとに、そのブロックに対応する視差値を用いて視差補正したのち、画像合成する。そして、その結果をシステム制御部 331のメモリに書き込む。第 1の撮像素子 123aおよび第 4の撮像素子 123dは、主に物体光の緑色成分を受光するため、第 1の撮像信号 II、および第 4 の撮像信号 14は、物体光の緑色成分の情報信号である。また、第 2の撮像素子 123 bは、主に物体光の青色成分を受光するため、第 2の撮像信号 12は、物体光の青色成分の情報信号である。さらに、第 3の撮像素子 123cは、主に物体光の赤色成分を受光するため、第 3の撮像信号 13は、物体光の赤色成分の情報信号である。 i番目のブロック Biにおいて、第 1の撮像素子 123aと第 4の撮像素子 123dとの視差が（A i、 A i)であると予測されたが誤差が大きいと予想されるため、下記式（70)のように、画素座標 (x、 y)における緑色の強度を示す G(x,y)を、第 1の撮像信号 Il(x,y)とする。また、下記式（71)のように、青色の強度を示す B(x,y)を、第 1の撮像信号 Il(x,y)に比例係数 kBを乗じたものとする。ここで、比例係数 kBは、定数とする。なお、比例係数 kB はブロック Biごとに変更してもよぐ第 1の撮像信号 Il(x,y)のブロック Biの中央の値に対する第 2の撮像信号 I2(x,y)

のブロック Biの中央の値の比や、第 1の撮像信号 Il(x,y)のブロック Biの中央の値に対する視差 Δ iだけ X方向に移動した第 2の撮像信号 Ι2(χ- Δ i,y)のブロック Biの中央の値の比や、ブロック Biの第 1の撮像信号 Il(x,y)の平均に対する第 2の撮像信号 I2(x,y) の平均の比や、ブロック Biの第 1の撮像信号 Il(x,y)の平均に対する視差 Δ iだけ X方向に移動した第 2の撮像信号 I2(x- A i,y)の平均の比でもよい。さらに、下記式（72)のように、赤色の強度を示す R(x,y)を、第 1の撮像信号 Il(x,y)に比例係数 kRを乗じたものとする。ここで、比例係数 kRは、定数とする。なお、比例係数 kRはブロック Biごとに変更してもよぐ第 1の撮像信号 Il(x,y)のブロック Biの中央の値に対する第 3の撮像信号 I3(x,y)

のブロック Biの中央の値の比や、第 1の撮像信号 Il(x,y)のブロック Biの中央の値に対する視差 Δ iだけ y方向に移動した第 3の撮像信号 I3(x,y- Δ i)のブロック Biの中央の値の比や、ブロック Biの第 1の撮像信号 Il(x,y)の平均に対する第 3の撮像信号 I3(x,y) の平均の比や、ブロック Biの第 1の撮像信号 Il(x,y)の平均に対する視差 Δ iだけ y方向に移動した第 3の撮像信号 I3(x,y- Δ 0の平均の比でもよい。なお、濃淡が小さいため、多少の誤差が含まれてもわ力ないことを考慮すれば、視差補正方式フラッグ Fi =1のときと同様に、第 1の撮像素子 123aと第 2の撮像素子 123bの視差が（A i、 0)であると予測されたため、式 (68)のように、画素座標 (_x、 y)における青色の強度を示す B(x,y)を、第 2の撮像信号 I2(x- A i,y)とし、さらに、第 1の撮像素子 123aと第 3の撮像素子 123cの視差が（0、 A i)であると予測されたため、式 (69)のように、（x、y)における赤色の強度を示す R(x,y)を、第 3の撮像信号 I3(x,y- Δ i)としてもよ、。

[0228] G(x,y)=Il(x,y) · · · (70)

B(x,y)=Il(x,y)*kB · · · (71)

R(x,y)=Il(x,y)*kR · · · (72)

ステップ S3280にお、て視差補正方式フラッグ Fi=3のブロックでは、視差精度評価用相関値 R2iが小さぐ視差精度評価用コントラスト評価値 C6iが大きい。図 32のように、しきい値 R20を 1に近い値 (例えば 0. 9)に設定し、これより視差精度評価用相関値 R2iが小さいとき、潘目のブロック Bi内の第 1の撮像信号 Il(x,y)と視差 Δ ίだけ移動した第 4の撮像信号 Ι4(χ- Δ i,y- Δ i)が似て、な、と判断できる。これは、 i番目のプロック Biにおいて、異なる被写体距離の被写体が複数含まれ、視差 Δ ίが全ての被写体に対応できないことを示す。

[0229] そこで、視差補正方式フラッグ Fi=3のブロックでは、低相関用視差補正部 349は、システム制御部 331のメモリ上のデータを利用し、ブロックをさらにエッジを用いて複数のブロックに再分割し、視差補正を行い、画像合成する。そして、その結果をシステム制御部 331のメモリに書き込む。図 34は、本発明の実施の形態 3に係る低相関用視差補正部 349の動作を示すフローチャートである。

[0230] ステップ S3310において、低相関用視差補正部 349の動作を開始する。次に、ステツプ S3320を実行する。

[0231] ステップ S3320において、エッジ検出用コントラスト評価値を演算する。この演算は、第 1の撮像信号 IIのみについて行う。下記式（73)のように、ラプラシアンを演算し、さらに下記式（74)のように空間的に LPF (ローパスフィルタ）を作用させたものを、ェッジ検出用コントラスト評価値 C8(x,y)とする。図 35 (A)は、本発明の実施の形態 3に係るカメラモジュールの低相関用視差補正部 349のエッジ検出を説明する元画像であり、図 35 (B)は、本発明の実施の形態 3に係るカメラモジュールの低相関用視差補正部 349のエッジ検出を説明するエッジ検出用コントラスト評価値の画像である。式（ 73) (74)により、図 35 (A)の元画像のエッジ検出用コントラスト評価値 C8(x,y)を計算すると、図 35 (B)のようになる。なお、図 35 (B)は、式（74)の絶対値が大きい場所を黒で表示している。次に、ステップ S3330を実行する。

[0232] C7(x,y)=Il(x-l,y)+Il(x+l,y)+Il(x,y-l)+Il(x,y+l)-4Il(x,y)

•••(73)

C8(x,y)=C7(x-l,y-l)+C7(x,y-l)+C7(x+l,y-l)

+C7(x-l,y)+C7(x,y)+C7(x+l,y)

+C7(x-l,y+l)+C7(x,y+l)+C7(x+l,y+l) · · · (74)

ステップ S3330において、エッジを検出する。図 35 (C)は、本発明の実施の形態 3 に係るカメラモジュールの低相関用視差補正部 349のエッジ検出を説明するエッジの画像である。図 35 (B)のエッジ検出用コントラスト評価値 C2(x,y)の 0クロス (値が正力負に変化する点、および値が負から正に変化する点）を検知することにより、図 3 5 (C)のようなエッジを検出できる。次に、ステップ S3340を実行する。

[0233] ステップ S3340において、ブロックを再分割する。図 35 (C)のように、エッジに囲まれた領域に、8;1、8】+ 1、 · ' ·Βί +ηのように番号を付与する。なお、; j、j + l、 · · · J +nはブロックを示す番号として未使用のものである。ここで、図 35において、簡単のため、ブロック Biを 5つのブロックに再分割する例を示しており、 n= 3である。なお、ノィズなどによるエッジの誤検出や消失の防止のために、膨張アルゴリズムや収縮アルゴリズムを用いて、エッジを補正してもよい。次に、ステップ S3350を実行する。

[0234] ステップ S3350において、各ブロック毎の視差値を演算する。この動作は、ステップ S3240と同様であり、説明を省略する。次に、ステップ S3360を実行する。

[0235] ステップ S3360において、視差を補正し、画像を合成する。この動作は、通常視差補正部 347の動作と同様であり、説明を省略する。次に、ステップ S3370を実行する

[0236] ステップ S3670において、低相関用視差補正の動作を終了する。

[0237] 以上のように、ステップ S3280を動作させ、次に、ステップ S3290を実行する。

[0238] ステップ S3290において、視差補正を終了し、メインルーチンへ戻る。すなわち、次に、図 25に示すステップ S3800を実行する。

[0239] ステップ S3800において、画像を出力する。入出力部 136は、システム制御部 331 のメモリ上のデータである G(x,y),B(x,y),R(x,y)を、上位 CPU (図示せず）や外部表示装置（図示せず）に出力する。なお、 G(_X,y),B(_X,y),R(x,y)の代わりに、例えば、輝度、色度信号などの出力を出力してもよい。また、ホワイトバランスや γ補正などの画像処理後の値を出力してもよい。さらに、可逆圧縮や JPEG等のような非可逆圧縮をしたデータを出力してもよい。また、それらの複数を出力してもよい。次に、 S3900を実行する。

[0240] ステップ S3900において、動作を終了する。

[0241] 以上のように構成し、動作させることにより、以下の効果を有する。

[0242] 式（ 1)のように被写体距離 Aに応じて第 1〜第 4のレンズ部 113a〜 113dがそれぞれ形成する 4つの物体像の相対的位置が変化する。すなわち、被写体距離 Aが小さくなると、視差 Δが大きくなる。そのため、距離が異なる複数の被写体を同時に撮影するとき、被写体毎に視差 Δが異なる。実施の形態 3のカメラモジュールでは、ステツプ S3230において、全画像領域をブロックに分割し、ステップ S3240において、ブロック毎の視差を演算し、ステップ S3280において、ブロック毎の視差に基づき視差の影響を低減するように画像合成することで視差補正する。これにより、距離が異なる複数の被写体を同時に撮影するときにおいても、適宜それぞれの被写体の視差を補正し、全画像領域で視差の影響が低減されたきれ、な画像を得ることができる。

[0243] 実施の形態 3のカメラモジュールでは、ステップ S3230にお!/、て、全画像領域を矩形状のブロックに分割し、ステップ S3240において、ブロック毎の視差を演算し、ステップ S3280において、ブロック毎の視差に基づき視差の影響を低減するように画像合成することで視差補正する。これにより、距離が異なる複数の被写体を同時に撮影するときにおいても、適宜それぞれの被写体の視差を補正し、全画像領域で視差の影響が低減されたきれヽな画像を得ることができる。

[0244] また、ステップ S3230において分割したブロック内に被写体距離が異なる複数の物体が含まれることがあり、その場合、物体像毎に視差が異なる。実施の形態 3のカメラモジュールでは、ステップ S3251において視差精度評価用相関値 R2iを演算し、ステップ S3252において視差精度評価用相関値 R2iを評価することにより視差 Δ ίの精度を評価し、ステップ S3261において視差精度評価用コントラスト評価値 C6iを演算し、ステップ S 3262にお、て視差精度評価用コントラスト評価値 C6iを評価することにより視差 Δ ίの精度を評価し、視差補正方式フラッグ Fiを設定し、視差補正の方式を決定する。これにより、ブロック毎に最適な補正方法で画像を補正できるため、全画像領域で視差の影響がさらに低減されたきれいな画像を得ることができる。

[0245] また、実施の形態 3のカメラモジュールでは、ステップ S3261にお、て視差精度評価用コントラスト評価値 C6iを演算し、ステップ S3262においてブロック毎に演算した視差 Δ Sどれだけ精度があるかをブロック毎の視差精度評価用コントラスト評価値 c

6iコントラストの大小によって判断し、コントラストが大きいとき視差補正方式フラッグ Fi =1としステップ S3280において通常視差補正を行い、コントラストが小さいとき視差補正方式フラッグ Fi=2としてステップ S3280において低コントラスト用の視差補正を行う。これにより、ブロック毎に最適な補正方法で画像を補正できるため、全画像領域で視差の影響がさらに低減されたきれいな画像を得ることができる。

[0246] また、実施の形態 3のカメラモジュールでは、ステップ S3251にお、て視差精度評価用相関値 R2iを演算する。視差精度評価用相関値 R2iは、ブロック毎に演算した視差がどれだけ精度がある力を表す視差制度評価値の一つであり、視差だけ移動した像がどれだけ相関があるかを表す値である。ステップ S3252にお、て視差精度評価用相関値 R2iが大き、ときステップ S3280にお、て通常視差補正を行!、、視差精度評価用相関値 R2iが小さいときステップ S3280において低相関用視差補正を行う。これにより、ブロック毎に最適な補正方法で画像を補正できるため、全画像領域で視差の影響がさらに低減されたきれいな画像を得ることができる。

[0247] また、実施の形態 3のカメラモジュールでは、ステップ S3251にお、て視差精度評価用相関値 R2iを演算する。視差精度評価用相関値 R2iは、ブロック毎に演算した視差がどれだけ精度がある力を表す視差制度評価値の一つであり、視差だけ移動した像がどれだけ相関がある力を表す値である。視差精度評価用相関値 R2iの大きいときステップ S3280にお、て通常視差補正を行!、、視差精度評価用相関値 R2iが小さヽときステップ S3272、およびステップ S3280の低相関用視差補正部 349においてブロックを再分割し再分割したブロック毎に視差補正を行う。すなわち、低相関と判断されたブロックを再分割する。これにより、ブロック毎に最適な補正方法で画像を補正できるため、全画像領域で視差の影響がさらに低減されたきれいな画像を得ることができる。

[0248] また、実施の形態 3のカメラモジュールでは、ステップ S3251にお、て視差精度評価用相関値 R2iを演算する。視差精度評価用相関値 R2iは、ブロック毎に演算した視差がどれだけ精度がある力を表す視差制度評価値の一つであり、視差だけ移動した像がどれだけ相関があるかを表す値である。ステップ S3261にお、て視差精度評価用コントラスト評価値 C6iを演算する。視差精度評価用コントラスト評価値 C6iは、演算した視差がどれだけ精度がある力を表す視差制度評価値の一つであり、どれだけコントラストが高いかを表す値である。視差精度評価用相関値 R2iが大きくかつ視差精度評価用コントラスト評価値 C&が大きいときステップ S3280において通常視差補正を行い、視差精度評価用相関値 R2iが小さくかつ視差精度評価用コントラスト評価値 C&が小さいときステップ S3280において低コントラスト用視差補正を行い、視差精度評価用相関値 R2iが小さくかつ視差精度評価用コントラスト評価値 C6iが大きいときステツプ S3272、およびステップ S3280の低相関用視差補正部 349においてブロックを再分割し再分割したブロック毎に視差補正を行う。すなわち、低相関でありかつ高コントラストであると判断されたブロックを再分割する。これにより、ブロック毎に最適な補正方法で画像を補正できるため、全画像領域で視差の影響がさらに低減されたきれ、な画像を得ることができる。

[0249] なお、実施の形態 3において、画像出力のタイミングは、上記に限定されず、適宜プレビュー出力をしてもよい。例えば、実施の形態 3において、ステップ S3100において自動焦点制御を行う途中で、視差補正なしの画像を出力してもよい。また、ステップ S3271の後、視差補正が可能なブロックのみ視差補正を行い、その他のブロックは視差補正を行わずに、プレビュー画面を更新してもよ、。

[0250] また、実施の形態 3において、ステップ S3320で式（74)のようにエッジ検出用コントラスト評価値 C8(x,y)を演算し、ステップ S3330で 0クロス力もエッジを検出した力これに限定されない。例えば、ブロック内のヒストグラムを作成し、極小値をしきい値として 2値ィ匕によりブロック分割してもよい。ここで、複数のしきい値を持ってもよい。また、 1回微分の絶対値を用いてエッジ検出してもよ、。

[0251] (実施の形態 4)

本発明の実施の形態 4は、インターレース読み込みをする場合に、それぞれのフィ一ルド毎に視差を求め画像合成し、それぞれのフィールド毎の合成画像を合成し最終画像とする。このようにして、各フィールドごとに視差演算を行うことにより、動く被写体の撮影時に各フィールドの撮影時間が異なることにより各フィールドの画像が異なる場合においても、各フィールドごとの視差を正しく求められ、この視差を用いて画像合成することができるため、全画像領域で視差の影響がさらに低減されたきれいな画像を得ることができる。

[0252] 以下、本発明の実施の形態 4に係るカメラモジュールについて、図面を参照しながら説明する。

[0253] 図 36は、本発明の実施の形態 4に係るカメラモジュールの構成を示す断面図である。カメラモジュール 401の回路部 420の SLSI425以外は、実施の形態 1と同様であり、実施の形態 1と同様の部材には同一の符号を付してそれらについての説明を省略する。

[0254] 図 37は、本発明の実施の形態 4に係るカメラモジュールのブロック図である。 SLSI 425は、システム制御部 431、撮像素子駆動部 132、撮像信号入力部 133、ァクチュエータ操作量出力部 134、画像処理部 435、および入出力部 136を有する。また、回路部 420は、前述の構成にカ卩えて、アンプ 126を有する。

[0255] 画像処理部 435は、ロジック回路、または DSP (ディジタル信号プロセッサ。 Digital Signal Processor)、あるいはこれらの両者を含んで構成され、システム制御部 431のメモリ情報を利用し、各種画像処理を行う。画像処理部 435は、自動焦点制御部 34 1、ブロック分割部 342、視差演算部 343、相関演算部 344、コントラスト演算部 345 、ブロック再分割部 346、通常視差補正部 347、低コントラスト用視差補正部 348、低相関用視差補正部 349、フレーム画像作成部 451を有する。

[0256] 図 38 (A)〜図 38 (D)は、本発明の実施の形態 4のカメラモジュールに係るフィールド画像を説明する図である。画像全体は、図 38 (A)に示すように、第 1のフィールド画像と第 2のフィールド画像が交互に配置される。まず、第 1のフィールド画像を構成する撮像信号が転送され、次に第 2のフィールド画像を構成する撮像信号が転送される。通常の白黒画像では、これらを 1ラインずつ交互に配置することにより画像全体を再現する。図 38 (B)のように画像全体 (フレーム画像）の幅が L、高さが Hであるとき、図 38 (C)および図 38 (D)のように、第 1のフィールド画像、および第 2のフィールド画像の幅はそれぞれ Lであり、高さは HZ2である。

[0257] 図 39は、本発明の実施の形態 4に係るカメラモジュールの動作を示すフローチヤ一トであり、図 40は、本発明の実施の形態 4に係るカメラモジュールの動作を示すタイムチャートである。 SLSI425のシステム制御部 431により、カメラモジュール 401は、このフローチャートとタイムチャートに示されるとおりに動作される。

[0258] ステップ S4000にお!/、て、動作を開始する。例えば、上位 CPU (図示せず）がシャッターボタン（図示せず)などが押されたことを検知し、入出力部 136を介し、カメラモジュール 401に動作の開始を命令することにより、カメラモジュール 401は、動作を開始する。次に、ステップ S4100を実行する。

[0259] ステップ S4100において、自動焦点制御部 341は、自動焦点制御を実行する。この動作は、実施の形態 3のステップ S3100と同様であり説明を省略する。ただし、図 40に示すように、第 1のフィールドのみを転送し、第 1のフィールド画像のみを使用するため、適宜変更が加えられる。そのため、画像全体 (第 1のフィールド、および第 2 のフィールド)を転送する場合と比較し、転送に要する時間が略半分になるため、その分だけ自動焦点制御の時間を短縮できる。次に、ステップ S4200を実行する。

[0260] ステップ S4200において、第 1のフィールドの視差補正を実行する。この動作は、実施の形態 3のステップ S3200と同様であり説明を省略する。ただし、図 40に示すように、第 1のフィールドのみを転送し、第 1のフィールド画像のみを使用し、第 1のフィ一ルドの赤色の強度を示す Rfl(_X,y)、緑色の強度を示す Gfl(x,y)、および青色の強度を示す Bfl(x,y)を作成するように、適宜変更が加えられる。次にステップ S4300を実行する。

[0261] ステップ S4300において、第 2のフィールドの視差補正を実行する。この動作は、実施の形態 3のステップ S3200と同様であり説明を省略する。ただし、図 40に示すように、第 2のフィールドのみを転送し、第 2のフィールド画像のみを使用し、第 2のフィ一ルドの赤色の強度を示す R12(_X,y)、緑色の強度を示す Gf2(x,y)、および青色の強度を示す Bf2(x,y)を作成するように、適宜変更が加えられる。次にステップ S4400を実行する。

[0262] ステップ S4400〖こお!/、て、フレーム画像（画像全体）を作成する。下記式（75)のように、第 1フレームの赤色の強度を示す Rfl(x,y)をフレーム画像の偶数行の赤色の強度を示す R(x,2*y)とし、下記式（76)のように、第 2フレームの赤色の強度を示す Ri2(x ,y)をフレーム画像の奇数行の赤色の強度を示す R(x,2*y+1)とする。また、下記式（77 )のように、第 1フレームの緑色の強度を示す Gfl(x,y)をフレーム画像の偶数行の緑色の強度を示す G(x,2*y)とし、下記式（78)のように、第 2フレームの緑色の強度を示す Gf2(x,y)をフレーム画像の奇数行の緑色の強度を示す G(x,2*y+1)とする。また、下記式（79)のように、第 1フレームの青色の強度を示す Bfl(x,y)をフレーム画像の偶数行の青色の強度を示す B(x,2*y)とし、下記式 (80)のように、第 2フレームの青色の強度を示す Bf2(x,y)をフレーム画像の奇数行の青色の強度を示す B(x,2*y+1)とする。ここで、 Xは 0から Lまで変化させ、 yは 0から H/2— 1まで変化させる。次に、ステップ S 4800を実行する。

[0263] R(x,2*y)=Rfl(x,y) . . . (75)

R(x,2*y+l)=R12(x,y) · · · (76)

G(x,2*y)=Gfl(x,y) · · · (77)

G(x,2*y+l)=G12(x,y) · · · (78)

B(x,2*y)=Bfl(x,y) · · · (79) B(x,2*y+l)=B12(x,y) · · · (80)

ステップ S4800において、画像を出力する。この動作は実施の形態 3と同様であり、説明を省略する。次に、 S4900を実行する。

[0264] ステップ S4900において、動作を終了する。

[0265] 上記のように構成し動作させることにより、実施の形態 4のカメラモジュールは、実施の形態 3と同様の効果を有する。

[0266] また、実施の形態 4のカメラモジュールは、インターレース読み込みをする場合に、ステップ S4200において第 1のフィールドの視差を求め、求められた視差に基づいて視差補正を行って画像 (Rfl,Gfl,Bfl)を作成する。また、ステップ S4300において第 2のフィールドの視差を求め、求められた視差に基づいて視差補正を行って画像（ R12,Gf2,Bf2)を作成する。さらに、ステップ S4400において、それぞれのフィールド毎の合成画像を合成し、最終画像とする。このようにして、各フィールドごとに視差演算を行うことにより、動く被写体の撮影時に各フィールドの撮影時間が異なることにより各フィールドの画像が異なる場合においても、各フィールドごとの視差を正しく求めることができる。これにより、この視差を用いて画像合成することができるため、全画像領域で視差の影響がさらに低減されたきれいな画像を得ることができる。

[0267] なお、実施の形態 4のカメラモジュールはフィールドの数が 2であった力これに限定されない。より多いフィールド（例えば、 3フィールド、 4フィールド）であってもよい。

[0268] なお、実施の形態 4のカメラモジュールは、それぞれのフィールドの画像を作成した 1S フレーム画像の領域をあら力じめ用意し、直接代入してもよい。また、それぞれのフィールドの視差情報などを保持し、フィールド画像を作成せず、直接フレーム画像を作成してもよい。

[0269] また、実施の形態 4のカメラモジュールは、図 41 (A)および図 41 (B)にそれぞれ示すように、第 1のカラーフィルタ 124a、第 2のカラーフィルタ 124b、第 3のカラーフィルタ 124c、および第 4のカラーフィルタ 124dのうち、 X方向に隣接する 2つのカラーフィルタが、主に緑色を透過する分光透過特性を有しても良い。なお、図 41 (A)〜図 41 (C)では、それぞれのカラーフィルタが透過する色を R, G, Bの記号で図中に示した。図 41 (A)または図 41 (B)の構成によれば、撮像素子 123において X方向に隣接する 2つの撮像素子 (すなわち、第 1の撮像素子 123aと第 2の撮像素子 123b、または、第 3の撮像素子 123cと第 4の撮像素子 123d)が、物体光における緑色の成分を受光することとなる。

[0270] あるいは、図 41 (C)に示すように、第 1のカラーフィルタ 124a、第 2のカラーフィルタ 124b,第 3のカラーフィルタ 124c、および第 4のカラーフィルタ 124dを配置し、 X方向に隣接する 2つのカラーフィルタ（この例では第 2のカラーフィルタ 124bと第 3の力ラーフィルタ 124c)力主に緑色を透過する分光透過特性を有するようにしても良い。なお、図 41 (C)に示すように 4つのカラーフィルタが配置されている場合、レンズ 11 3における第 1のレンズ部 113a、第 2のレンズ部 113b、第 3のレンズ部 113c、および第 4のレンズ部 113dは、これらのカラーフィルタの中心に光軸が一致するように配置される。同様に、撮像素子 123における第 1の撮像素子 123a、第 2の撮像素子 123b 、第 3の撮像素子 123c、および第 4の撮像素子 123dも、レンズ部 113における各レンズ部の配置に併せて配置される。ここで、第 1の撮像信号 IIと第 2の撮像信号 12と力視差を求めるように、適宜変更が加えられる。

[0271] 本実施形態のカメラモジュール 401において、図 41 (A)〜図 41 (C)に示すようなカラーフィルタ配置を採用することにより、以下のような利点がある。第 1の撮像信号 I 1と第 2の撮像信号 12との比較により視差を求めるため、視差の発生する方向が X方向のみであり、各フィールド間をまたがることがない。そのため、より正確な視差を求めることができる。

[0272] なお、図 41 (A)〜図 41 (C)は、あくまでも好ましいカラーフィルタ配置の例を示したものであって、本発明の実施形態をこれに限定するものではない。例えば、 Bと Rの力ラーフィルタの位置が逆であっても良!、。

[0273] (実施の形態 5)

本発明の実施の形態 5は、視差が小さい、すなわち被写体距離が大きいブロックを背景であると認識し、あらかじめ保存された背景画像等の別画像と置き換える。このようにして、視差に基づき補正した画像と別画像とを組み合わせることにより、補正した画像力も視差が大きい部分の画像を正しく抽出できるため、きれいにこれらの画像を組み合わせることができる。 [0274] 以下、本発明の実施の形態 5に係るカメラモジュールについて、図面を参照しながら説明する。

[0275] 図 42は、本発明の実施の形態 5に係るカメラモジュールの構成を示す断面図である。カメラモジュール 501の回路部 520の SLSI525以外は、実施の形態 1と同様であり、実施の形態 1と同様の部材には同一の符号を付してそれらについての説明を省略する。

[0276] 図 43は、本発明の実施の形態 5に係るカメラモジュールのブロック図である。 SLSI 525は、システム制御部 531、撮像素子駆動部 132、撮像信号入力部 133、ァクチュエータ操作量出力部 134、画像処理部 535、入出力部 136、および背景画像保存部 551を有する。また、回路部 520は、前述の構成に加えて、アンプ 126を有する。

[0277] 画像処理部 535は、ロジック回路、または DSP (ディジタル信号プロセッサ： Digital Signal Processor)、あるいは両者を含んで構成され、システム制御部 331のメモリ情報を利用し、各種画像処理を行う。画像処理部 335は、自動焦点制御部 341、ブロック分割部 342、視差演算部 343、相関演算部 344、コントラスト演算部 345、ブロック再分割部 346、通常視差補正部 347、低コントラスト用視差補正部 348、低相関用視差補正部 349、および背景画像置換部 552を有する。

[0278] 背景画像保存部 551は、 RAMやフラッシュメモリのような書き換え可能なメモリから構成され、画像情報が記憶され、適宜、外部から入出力部 136、およびシステム制御部 531を介し、書き換えられる。

[0279] 図 44は、本発明の実施の形態 5に係るカメラモジュールの動作を示すフローチヤ一トである。 SLSI525のシステム制御部 531〖こより、カメラモジュール 501は、このフロ一チャートに示されるとおりに動作される。

[0280] ステップ S5000にお!/、て、動作を開始する。例えば、上位 CPU (図示せず）がシャッターボタン（図示せず)などが押されたことを検知し、入出力部 136を介し、カメラモジュール 501に動作の開始を命令することにより、カメラモジュール 501は、動作を開始する。次に、ステップ 54100を実行する。

[0281] ステップ S5100において、自動焦点制御部 341は、自動焦点制御を実行する。この動作は、実施の形態 3のステップ S3100と同様であり説明を省略する。次に、ステップ S 5200を実行する。

[0282] ステップ S5200にお、て、視差補正を実行する。この動作は、実施の形態 3のステップ S3200と同様であり説明を省略する。次に、ステップ S5300を実行する。

[0283] ステップ S5300において、背景を置き換える。下記式（81) (82) (83)のように、視差 Δ しきい値 Ashよりも大きい画素は、画像の変更を行わない。一方、下記式 (84 ) (85) (86)のように、視差 Δίがしきい値 Ash以下の画素は、背景画像保存部 551 に保存された画像（Rback,Gback,Bback)と置き換える。なお、 Δίはステップ S5200で求められたブロック Biの視差を示す。次に、ステップ S5800を実行する。

[0284] R(x,y)=R(x,y) (Ai>Ash) ··· (81)

G(x,y)=G(x,y) (Ai>Ash) · · · (82)

B(x,y)=B(x,y) (Ai>Ash) · · · (83)

R(x,y)=Rback(x,y) (Δί≤ Ash) · · · (84)

G(x,y)=Gback(x,y) (Δί≤ Ash) · · · (85)

B(x,y)=Bback(x,y) (Δί≤ Ash) · · · (86)

ステップ S5800において、画像を出力する。この動作は実施の形態 3と同様であり、説明を省略する。次に、 S5900を実行する。

[0285] ステップ S5900において、動作を終了する。

[0286] 上記のように構成し動作させることにより、実施の形態 5のカメラモジュールは、実施の形態 3と同様の効果を有する。

[0287] 本発明の実施の形態 5は、ステップ S5300において、視差 Δ ^小さい、すなわち被写体距離が大きいブロック Biを背景であると認識し、あらかじめ保存された背景画像 (Rback,Gback,Bback)と置き換える。このようにして、視差に基づき補正した画像と別画像を組み合わせることにより、補正した画像から視差が大き、部分の画像を正しく抽出できるため、きれいにこれらの画像を組み合わせることができる。図 45(A)〜図 45 (C)は、本発明の実施の形態 5に係るカメラモジュールの背景置換を説明する図である。実施の形態 5によれば、例えば、図 45(A)のような背景が山である人物像を撮影した場合、人物像の視差 Δίは大きく背景の山の視差 Δίは小さい。ここで、視差のしき、値 Δ shを人物像の視差と山の視差との間に設定すれば、背景の山の画素を背景画像保存部に保存された海の背景画像（図 45 (B)。 Rback,Gback,Bback) と置き換えることにより、図 45 (C)に示すように、背景が海である人物像の画像を作成できる。

[0288] (実施の形態 6)

本発明に力かる電子機器の一実施形態を図 46 (A)および図 46 (B)に示す。図 46 (A)および図 46 (B)に示すように、本発明にかかる電子機器の一実施形態としてのカメラ付き携帯電話 600は、スピーカ 601、アンテナ 602、液晶ディスプレイ 603、キ一部 605、マイクロフォン 606を備えており、ヒンジ部 604によって折りたたみが可能である。また、携帯電話 600は、図 46 (B)に示すように、液晶ディスプレイ 603の背面側にレンズモジュール 110を内蔵し、静止画や動画の撮影が可能である。

[0289] なお、本発明にかかる電子機器は、携帯電話に限らず、車載用カメラや、ディジタルカメラやカメラ付き PDA等としても実施可能である。

[0290] 以上、本発明のいくつかの実施形態を説明したが、これらはあくまでも例示であつて、本発明の実施に際しては、以下のとおり、種々の変更が可能である。

[0291] 例えば、実施の形態 1から実施の形態 5のカメラモジュールにおいて、演算された視差をそのまま利用した力適宜リミットしてもよい。レンズ特性によっては被写体距離 Aがある値よりも小さいとき、画像が不鮮明となる。そのため、この値を被写体距離 Aの最小値と定めれば、視差 Δの最大値を定められる。この値よりも大きい視差は、誤差であるとして無視してもよい。また、このような場合、視差評価値が 2番目に小さ V、値を視差として採用してもよ!、。

[0292] また、実施の形態 1から実施の形態 5のカメラモジュールでは、視差を第 1の撮像信号 II (主に緑色を示す)と第 4の撮像信号 14 (主に緑色を示す)とから演算したが、本発明はこれに限定されない。例えば、紫色の被写体は緑色成分が少なぐ青色成分、赤色成分を多く含むため、第 1の撮像信号 II (主に緑色を示す)と第 4の撮像信号 I 4 (主に緑色を示す)と力も演算できないことがある。この場合、第 2の撮像信号 12 (主に青色を示す)と第 3の撮像信号 13 (主に赤色を示す)とから視差を演算してもよ!ヽ。また、第 1の視差信号 II (主に緑色を示す)と第 4の視差信号 14 (主に緑色を示す)と力視差が演算不能であり、かつ、第 2の撮像信号 12 (主に青色を示す)と第 3の撮像信号 13 (主に赤色を示す)とから視差が演算不能であれば、視差の影響がな!、ものとみなし、視差なしとすればよい。

[0293] また、実施の形態 1から実施の形態 5のカメラモジュールをカメラに搭載するとき、撮影時に上側になる方に第 2の撮像素子 123aが、下側になる方に第 3の撮像素子 12 3cが配置されるように、第 1〜第 4の撮像素子 123a〜123dを配置することにより、上側が青色に敏感となり、下側が赤色に敏感となるので、風景写真の色再現をより自然にできる。

[0294] また、視差評価値に目立つ極値が 2つあるときは、より大きい方の視差を採用してもよい。このようなブロックには、被写体と背景が含まれており、被写体距離と背景距離とが異なるため、極値が 2つ現れる。背景距離と比較して被写体距離は小さいため、背景の視差と比較して被写体の視差は大きい。ここで、大きい方の視差を採用すれば、背景の視差の影響は低減できないが、画質に直接影響する被写体の視差の影響を低減できる。

[0295] また、実施の形態 1から実施の形態 5において、撮像素子 123は、第 1の撮像素子 123a,第 2の撮像素子 123b、第 3の撮像素子 123c、および第 4の撮像素子から構成され、撮像信号入力部 133は、第 1の撮像信号入力部 133a、第 2の撮像信号入力部 133b、第 3の撮像信号入力部 133c、および第 4の撮像信号入力部 133dから構成された。しかし、撮像素子 123を 1つの撮像素子で構成し、この受光面上の異なる位置に第 1〜第 4のレンズ部 113a〜 113dによる 4つの像を形成しても良ヽ。また、撮像信号入力部 133が 1つの撮像素子 123からの信号が入力される 1つの撮像信号人力咅カら構成されてもよヽ。この場合、システム帘1』御咅 131、 231、 331、 431、 53 1のメモリ上に置かれたデータカゝら適宜領域を選択し、第 1の撮像信号 II、第 2の撮像信号 12、第 3の撮像信号 13、および第 4の撮像信号 14とすればよい。

[0296] また、実施の形態 1から実施の形態 5にお、て、視差評価値 Ri(k)として式 (4)、 (59 )のような差分絶対値総和を用いた力 Sこれに限定されない。例えば、差分の二乗値の総和や、第 1の撮像信号 IIからブロック内の平均を差分したものと第 4の撮像信号 14 力ブロック内の平均を差分したものとの差分の二乗値の総和や、第 1の撮像信号 II 力ブロック内の平均を差分したものと第 4の撮像信号 14からブロック内の平均を差分したものとの差分の二乗値の総和や、第 1の撮像信号 IIからブロック内の平均を差分したものと第 4の撮像信号 14からブロック内の平均を差分したものとの差分の二乗値の総和を第 1の撮像信号 II力ブロック内の平均を差分したものの二乗値の総和の平方根で除し第 4の撮像信号 14からブロック内の平均を差分したものの二乗値の総和の平方根で除したものを利用してもよ、。

[0297] また、視差評価値 Ri(k)として、式 (60)や、第 1の撮像信号 IIからブロック内の平均を差分したものと第 4の撮像信号 14からブロック内の平均を差分したものとの乗算結果の総和を用いてよい。ただし、第 1から第 5の実施の形態の視差評価値 Ri(k)は相関が大きヽ (似て、る）ほど小さくなるため、図 15のように極小値を与える kが視差 Δ i を与えたが、式 (60)などを用いたとき相関が大き!/、 (似て!/、る）ほど値が大きくなるため、極大値を与える kを視差 Δ ίにするなどの適宜変更が必要である。

[0298] また、実施の形態 1から実施の形態 5において、第 1のレンズ部 113a、第 2のレンズ部 113b、第 3のレンズ 113c、および第 4のレンズ部 113dの光軸の中心を互いに結んで得られる矩形が正方形になるように配置されたがこれに限定されな、。この矩形の X方向の長さと y方向の長さが異なってもよい。この場合、例えば、ステップ S 140、およびステップ S3240において視差を求めるとき、ステップ S151、ステップ S184、ステップ S250、およびステップ S3280において視差補正をするときなど適宜変更を要する。すなわち、 X方向と y方向とで同一の kを用いるのではなぐ前述の矩形の X 方向の長さと y方向の長さとの比を保つように kを変更する。

[0299] また、実施の形態 1から実施の形態 5において、視差は整数として求めた力これに限定されない。直線補間などにより、ステップ S140、ステップ S240、およびステップ S3240において視差を/ J、数まで求め、ステップ S184、 S250、およびステップ S328 0にお、てそれぞれ直線補間を利用し視差補正してもよ!/、。

[0300] また、実施の形態 1から実施の形態 5において、焦点制御を省略し、ァクチユエータを構成に含まず、ブロック分割と視差補正を行ってもよい。非常に焦点深度が深いレンズを利用した場合は、レンズと撮像素子の距離には多少の誤差が大きく許容されるため、ァクチユエータを動作させる必要がない。

[0301] また、実施の形態 1から実施の形態 5において、第 1の撮像信号 IIは主に緑色成分を示し、第 2の撮像信号 12は主に青色成分を示し、第 3の撮像信号 13は主に赤色成分を示し、第 4の撮像素子 123dは主に緑色成分を示し、第 1の撮像信号 IIと第 4の撮像信号 14とを比較し視差を検知し、視差補正を行ったが、これに限定されない。例えば、レンズとカラーフィルタの設計を変更し、第 1の撮像信号 IIが主に緑色成分を示し、第 2の撮像信号 12は主に緑色成分を示し、第 3の撮像信号は主に青色成分を示し、第 4の撮像信号 14は主に赤色成分を示すように変更してもよい。この場合、下記式 (87)のように視差評価関数を変更し、下記式 (88) (89) (90)のように視差補正するなどの変更が必要である。

[0302] Ri(k)=∑∑ |ll(x,y)-I2(x-k,y)| · · · (87)

G(x,y)=[Il(x,y)+I2(x- Δ i,y)]/2 · · · (88)

B(x,y)=I3(x,y- A i) …（89)

R(x,y)=I4(x,y- A i) …（90)

また、第 1の撮像信号 IIが主に緑色成分を示し、第 2の撮像信号 12は主に青色成分を示し、第 3の撮像信号は主に緑色成分を示し、第 4の撮像信号 14は主に赤色成分を示すように変更してもよい。この場合、下記式 (91)のように視差評価関数を変更し、下記式（92) (93) (94)のように視差補正するなどの変更が必要である。

[0303] Ri(k)=∑∑ |ll(x,y)-I3(x,y-k)| · · · (91)

G(x,y)=[Il(x,y)+I3(x,y- Δ i)]/2 · · · (92)

B(x,y)=I2(x- A i,y) · · · (93)

R(x,y)=I4(x- Δ i,y- Δ i) · · · (94)

また、実施の形態 1から実施の形態 5において、格子状に 4つの撮像領域を設けた力れに限定されない。例えば、第 1の撮像素子、第 2の撮像素子、第 3の撮像素子、第 4の撮像素子が 1直線上になるように配置し、第 1の撮像信号 IIが主に青色を示し、第 2の撮像信号 12が主に緑色を示し、第 3の撮像信号 13が主に緑色を示し、第 4 の撮像信号が主に赤色を示すように変更してもよい。この場合、下記式（95)のように視差評価関数を変更し、下記式 (96) (97) (98)のように視差補正するなどの変更が必要である。

[0304] Ri(k)=∑∑ |l2(x,y)-I3(x-k,y)| · · · (95) G(x,y)=[I2(x,y)+I3(x- Δ i,y)]/2 · · · (96)

B(x,y)=Il(x+ A i,y) …（97)

R(x,y)=I4(x-2* Δ i,y) · · · (98)

また、実施の形態 1から実施の形態 5において、 4つの撮像領域を設けたがこれに限定されない。例えば、 3つの撮像領域を持ち、第 1の撮像素子、第 2の撮像素子、第 3の撮像素子力直線上になるように配置し、第 1の撮像信号 IIが主に青色を示し、第 2の撮像信号 12が主に緑色を示し、第 3の撮像信号 13が主に赤色を示すよう〖こ変更してもよい。この場合、下記式 (99)、（100)のように視差評価関数を変更し、下記式（101)のように緑色成分 Gを作成し、式（99)を用いて求めた視差 Δ iを利用し下記式（102)のように青色成分 Bを作成し、式（100)を用いて求めた視差 Δ iを利用し下記式（103)のように赤色成分 Rを作成し、視差補正するなどの変更が必要である。また、式（99) (100)の代わりに、式（60)のような形式を使用してもよい。

[0305] Ri(k)=∑∑ |l2(x,y)-Il(x+k,y)| · · · (99)

Ri(k)=∑∑ |l2(x,y)-I3(x-k,y)| · · · (100)

G(x,y)=I2(x,y) …（101)

B(x,y)=Il(x+ A i,y) · ' · (102)

R(x,y)=I3(x-* Δ i,y) · · · (103)

また、 3つの撮像領域を持ち、第 1の撮像素子の右に (X軸の正の位置に)第 2の撮像素子が配置され、第 1の撮像素子の下に (y軸の正の位置に)第 3の撮像素子を配置し、第 1の撮像信号 IIが主に緑色を示し、第 2の撮像信号 12が主に青色を示し、第 3の撮像信号 13が主に赤色を示すように変更してもよい。この場合、下記式（104)、 ( 105)のように視差評価関数を変更し、下記式（106)のように緑色成分 Gを作成し、式（104)を用いて求めた視差 Δ iを利用し下記式（107)のように青色成分 Bを作成し、式（ 105)を用いて求めた視差 Δ iを利用し下記式（108)のように赤色成分 Rを作成し、視差補正するなどの変更が必要である。また、式（104) (105)の代わりに、式 (6 0)のような形式を使用してもよい。

[0306] Ri(k)=∑∑ |ll(x,y)-Il(x-k,y)| · · · (104)

Ri(k)=∑∑ |ll(x,y)-I3(x,y-k)| · · · (105) G(x,y)=Il(x,y) ·'·(106)

B(x,y)=I2(x-Ai,y) ·'·(107)

R(x,y)=I3(x,y-Ai) ·'·(108)

実施の形態 1、実施の形態 3から実施の形態 5のカメラモジュールにおいて、ブロックにおける視差 Δ iを用いて視差補正を行った力ブロック毎の視差 Δ iを用いて各画素の視差 Δ (x,y)を定め、この各画素の視差 Δ (x,y)を用いて視差補正を行ってもょ、産業上の利用可能性

本発明のカメラモジュールは、小型化、薄型化が可能な自動焦点機能を有するカメラモジュールであるため、カメラ機能を備えた携帯電話、デジタルスチルカメラ、車載用カメラ、および監視用カメラなどに有用である。

Claims

請求の範囲

[1] それぞれが少なくとも 1枚のレンズを含む複数のレンズ部と、

前記複数のレンズ部に一対一に対応し、対応する前記レンズ部の光軸方向に対して略垂直な受光面をそれぞれ備える複数の撮像領域と、

前記複数の撮像領域からそれぞれ出力される複数の撮像信号が入力される撮像信号入力部と、

前記複数の撮像信号のうちの少なくとも 1つの撮像信号を複数のブロックに分割するブロック分割部と、

前記撮像信号を用いて、前記ブロックごとに、前記複数のレンズ部がそれぞれ形成する像間の視差を演算する視差演算部と、

前記視差に基づいて前記複数の撮像信号を補正し画像を合成する視差補正部と、を有するカメラモジュール。

[2] 前記複数のレンズ部と前記複数の撮像領域との相対距離を変化させるァクチユエータと、

前記視差に基づきァクチユエータを制御する焦点制御部とを更に有する、請求項 1 に記載のカメラモジュール。

[3] 前記複数の撮像信号のうち少なくとも 1つの撮像信号に基づいてコントラストを演算するコントラスト演算咅を更に有し、

前記焦点制御部は、前記視差と前記コントラストとに基づき前記ァクチユエ一タを制御する、請求項 2に記載のカメラモジュール。

[4] 前記焦点制御部は、前記ァクチユエータを複数回制御し、初回は前記視差に基づき前記ァクチユエータを制御し、 2回目以降は前記コントラストに基づき前記ァクチュエータを制御する、請求項 3に記載のカメラモジュール。

[5] 前記焦点制御部は、前記コントラストに基づき前記ァクチユエータを制御したときの前記ァクチユエータに対する操作量を学習する、請求項 3に記載のカメラモジュール

[6] 前記ブロック分割部は、前記少なくとも 1つの撮像信号に基づいて複数の画像領域の輪郭を検出し、前記輪郭により前記複数の画像領域に分割されるように、前記少なくとも 1つの撮像信号を複数のブロックに分割する、請求項 5に記載のカメラモジュ一ノレ。

[7] 前記撮像信号に基づいて前記輪郭の視差である輪郭視差を求める輪郭視差演算部が付加され、

前記視差演算部は、前記輪郭視差に基づいて、前記ブロックごとに、前記複数のレンズ部がそれぞれ形成する像間の視差を演算する、請求項 6に記載のカメラモジュ一ノレ。

[8] 前記ブロック分割部は、前記少なくとも 1つの撮像信号を矩形状の複数のブロックに分割する、請求項 1に記載のカメラモジュール。

[9] 前記撮像信号に基づき前記複数のブロックごとに前記視差の精度を示す少なくとも

1つの視差精度評価値を演算する視差評価値演算部を更に有し、

前記視差補正部は、前記複数のブロックごとに前記視差と前記視差精度評価値とに基づ!/ヽて前記複数の撮像信号を補正し画像を合成する、請求項 1に記載のカメラモジユーノレ。

[10] 前記視差補正部は、前記複数のブロックごとに前記視差精度評価値に基づき当該ブロックを少なくとも 2つに分割するかどうかを決定し、分割すべきと判断されたブロックにお!/ヽて分割後のブロックの視差に基づき画像を合成する、請求項 9に記載のカメラモシユーノレ。

[11] 前記視差評価値演算部は、前記複数の撮像信号のうち少なくとも 1つの撮像信号に基づいて前記複数のブロックごとにコントラストの大きさを示す第 1の視差精度評価値を演算する、請求項 9に記載のカメラモジュール。

[12] 前記視差評価値演算部は、前記複数のブロックに分割された前記撮像信号を用いて、前記複数のブロックごとに、少なくとも 2つの前記レンズ部がそれぞれ形成する像を前記視差だけ移動した像がどれだけ相関があるかを示す第 2の視差精度評価値を演算する、請求項 9に記載のカメラモジュール。

[13] 前記視差補正部は、前記複数のブロックごとに前記第 2の視差精度評価値が小さいとき当該ブロックを少なくとも 2つに分割し、分割されたブロックにおいて分割後のブロックの視差に基づき画像を合成する、請求項 11に記載のカメラモジュール。

[14] 前記視差評価値演算部は、前記複数の撮像信号のうち少なくとも 1つの撮像信号に基づいて前記複数のブロックごとにコントラストの大きさを示す第 1の視差精度評価値と、

前記複数のブロックに分割された前記撮像信号を用いて、前記複数のブロックごとに、少なくとも 2つの前記レンズ部がそれぞれ形成する像を前記視差だけ移動した像力 Sどれだけ相関があるかを示す第 2の視差精度評価値を演算し、

前記視差補正部は、前記複数のブロックごとに前記第 1の視差精度評価値が大きくかつ前記第 2の視差精度評価値が小さいとき当該ブロックを少なくとも 2つに分割し、分割されたブロックにおヽて分割後のブロックの視差に基づき画像を合成する、請求項 10に記載のカメラモジュール。

[15] 前記撮像信号入力部は、前記複数の撮像信号を複数のフィールドごとに入力し、前記視差演算部は、前記複数のフィールドのそれぞれについて、前記ブロック毎の視差を演算する、請求項 1に記載のカメラモジュール。

[16] 前記複数のレンズ部に一対一に対応し、複数色のフィルタが配置されたカラーフィノレタをさらに備え、

前記複数のレンズ部のうち、前記フィールドの走査方向に平行に配置された少なくとも 2つのレンズ部に対応して、同色のフィルタが配置されている、請求項 15に記載のカメラモジユーノレ。

[17] 撮影画像とは異なる別画像を保存する別画像保存部を更に有し、

前記視差補正部は、前記視差に基づき前記撮像信号を補正した画像と前記別画像とを組み合わせる、請求項 1に記載のカメラモジュール。

[18] 前記視差補正部は、前記視差が大き!ヽほど前記撮像信号を補正した画像の割合を大きく前記別画像の割合を小さくなるように組み合わせる、請求項 17に記載のカメラモシユーノレ。

[19] 請求項 1〜18のいずれか一項に記載のカメラモジュールを備えた電子機器。

[20] それぞれが少なくとも 1枚のレンズを含む複数のレンズ部と、前記複数のレンズ部に一対一に対応し、対応する前記レンズ部の光軸方向に対して略垂直な受光面をそれぞれ備える複数の撮像領域と、前記複数の撮像領域からそれぞれ出力される複数の撮像信号が入力される撮像信号入力部と、入力された撮像信号の画像処理を行う画像処理部とを備えたカメラモジュールにお、て、前記画像処理部の動作を制御するプログラムであって、

前記複数の撮像信号のうちの少なくとも 1つの撮像信号を複数のブロックに分割するブロック分割処理と、

前記撮像信号を用いて、前記ブロックごとに、前記複数のレンズ部がそれぞれ形成する像間の視差を演算する視差演算処理と、

前記視差に基づいて前記複数の撮像信号を補正し画像を合成する視差補正処理とを、前記画像処理部に実行させることを特徴とするプログラム。

それぞれが少なくとも 1枚のレンズを含む複数のレンズ部と、前記複数のレンズ部に一対一に対応し、対応する前記レンズ部の光軸方向に対して略垂直な受光面をそれぞれ備える複数の撮像領域と、前記複数の撮像領域からそれぞれ出力される複数の撮像信号が入力される撮像信号入力部と、入力された撮像信号の画像処理を行う画像処理部とを備えたカメラモジュールにお、て、前記画像処理部の動作を制御するプログラムを記録したプログラム記録媒体であって、

前記プログラムは、

前記視差に基づいて前記複数の撮像信号を補正し画像を合成する視差補正処理とを、前記画像処理部に実行させることを特徴とするプログラム記録媒体。