WO2015178079A1 - 撮像装置、撮像装置の制御方法、および、撮像装置の制御プログラム - Google Patents

Abstract

　より高画質な画像を得ることが可能な新規な構造を有する撮像装置、撮像装置の制御方法、撮像装置の制御プログラムを提供する。撮像装置は、互いに異なる視点から被写体をそれぞれ撮像する３つ以上のレンズを含む撮像部（２０）と、３つ以上のレンズのそれぞれを透過した光から得られたそれぞれの画像の全部または一部を用いて、被写体を表現する出力画像を生成する生成部とを備える。３つ以上のレンズは、レンズ群（２６＿１）と、レンズ群（２６＿２）とからなる。レンズ群（２６＿１）には、第１の波長透過特性を有するフィルタが関連付けられる。レンズ群（２６＿２）には、第１の波長透過特性に比較して赤外領域の透過率がより少ないフィルタが関連付けられる。

Description

撮像装置、撮像装置の制御方法、および、撮像装置の制御プログラム

　本開示は、撮像装置、撮像装置の制御方法、および、撮像装置の制御プログラムに関し、特に、互いに異なる視点から被写体を撮像する複数の撮像部を有する撮像装置、撮像装置の制御方法、および、撮像装置の制御プログラムに関する。

　近年、画像の画質を向上するための撮像装置が開発されている。たとえば、特表２０１１－５２３５３８号公報（特許文献１）は、得られた画像を超解像度化する撮像装置を開示している。当該撮像装置は、複数の撮像部を有する。これらの撮像部の１つは、赤外光を透過するフィルタが取り付けられた、所謂、赤外カメラである。当該撮像装置は、赤外カメラから得られた、赤外情報のみを含む赤外画像を用いて超解像度化を行なう。

　特開２００６－１３５７３５号公報（特許文献２）は、低照度下でも高画質な画像を取得するための撮像装置を開示している。当該撮像装置は、赤外光をカットするフィルタ（以下、「赤外カットフィルタ」とも称する。）を出し入れする機構を有する。当該撮像装置は、低照度下では、赤外カットフィルタをはずすことで撮像感度を向上することを目的とする。

特表２０１１－５２３５３８号公報 特開２００６－１３５７３５号公報

　ところで、世の中には様々な種類の光源が存在する。たとえば、赤外光を多く発する白熱電球や太陽光などの光源がある。一方で、赤外光をほとんど発しないＬＥＤ（Light　Emitting　Diode）や蛍光灯などの光源がある。特許文献１に開示される撮像装置に含まれる赤外カメラは、赤外光を撮像するものであるので、赤外光をほとんど発しない光源下においては、無駄な構成となる。また、特許文献２に開示される撮像装置においては、高画質な画像を得るために、赤外カットフィルタを出し入れする機構が必要となり、撮像装置の構造が複雑になる。このため、特許文献１、２に開示される撮像装置とは異なる構造を有する撮像装置で画像の高画質化を実現することが望まれている。

　この開示は上述のような問題点を解決するためになされたものであって、ある局面における目的は、より高画質な画像を得ることが可能な新規な構造を有する撮像装置を提供することである。

　一実施の形態に従うと、撮像装置は、互いに異なる視点から被写体をそれぞれ撮像する３つ以上のレンズを含む撮像部と、３つ以上のレンズのそれぞれを透過した光から得られたそれぞれの画像の全部または一部を用いて、被写体を表現する出力画像を生成する生成部とを備える。３つ以上のレンズは、第１のレンズ群と、第２のレンズ群とを含む。第１のレンズ群には、第１の波長透過特性を有するフィルタが関連付けられている。第２のレンズ群には、第１の波長透過特性に比較して赤外領域の透過率がより少ないフィルタが関連付けられている。

　他の実施の形態に従うと、撮像装置を制御するための制御方法が提供される。撮像装置は、互いに異なる視点から被写体をそれぞれ撮像する３つ以上のレンズを含む撮像部を備える。３つ以上のレンズは、第１のレンズ群と、第２のレンズ群とからなる。第１のレンズ群には、第１の波長透過特性を有するフィルタが関連付けられている。第２のレンズ群には、第１の波長透過特性に比較して赤外領域の透過率がより少ないフィルタが関連付けられている。制御方法は、撮像装置の撮像モードを第１の撮像モードおよび第２の撮像モードのいずれかに設定することと、撮像装置の撮像モードが第１の撮像モードである場合に、第１のレンズ群を透過した光を撮像して得られた画像から被写体を表現する出力画像を生成することと、撮像装置の撮像モードが第２の撮像モードである場合に、第２のレンズ群を透過した光を撮像して得られた画像から出力画像を生成することとを備える。

　さらに他の実施の形態に従うと、撮像装置を制御するための制御方法が提供される。撮像装置は、互いに異なる視点から被写体をそれぞれ撮像する３つ以上のレンズを含む撮像部を備える。３つ以上のレンズは、第１のレンズ群と、第２のレンズ群とからなる。第１のレンズ群には、第１の波長透過特性を有するフィルタが関連付けられている。第２のレンズ群には、第１の波長透過特性に比較して赤外領域の透過率がより少ないフィルタが関連付けられている。制御方法は、撮像装置の制御モードを第１の制御モードおよび第２の制御モードのいずれかに設定することと、撮像装置の制御モードが第１の制御モードである場合に、第１のレンズ群を透過した光から得られた第１の画像群と、第２のレンズ群を透過した光から得られた第２の画像群とが、同じ色特性を有するものとすることと、撮像装置の制御モードが第２の制御モードである場合に、第１の画像群と、第２の画像群とが、異なる色特性を有するものとすることとを備える。

　さらに他の実施の形態に従うと、撮像装置を制御するための制御プログラムが提供される。撮像装置は、互いに異なる視点から被写体をそれぞれ撮像する３つ以上のレンズを含む撮像部を備える。３つ以上のレンズは、第１のレンズ群と、第２のレンズ群とからなる。第１のレンズ群には、第１の波長透過特性を有するフィルタが関連付けられている。第２のレンズ群には、第１の波長透過特性に比較して赤外領域の透過率がより少ないフィルタが関連付けられている。制御プログラムは、撮像装置に、撮像装置の撮像モードを第１の撮像モードおよび第２の撮像モードのいずれかに設定することと、撮像装置の撮像モードが第１の撮像モードである場合に、第１のレンズ群を透過した光を撮像して得られた画像から被写体を表現する出力画像を生成することと、撮像装置の撮像モードが第２の撮像モードである場合に、第２のレンズ群を透過した光を撮像して得られた画像から出力画像を生成することとを実行させる。

　さらに他の実施の形態に従うと、撮像装置を制御するための制御プログラムが提供される。撮像装置は、互いに異なる視点から被写体をそれぞれ撮像する３つ以上のレンズを含む撮像部を備える。３つ以上のレンズは、第１のレンズ群と、第２のレンズ群とからなる。第１のレンズ群には、第１の波長透過特性を有するフィルタが関連付けられる。第２のレンズ群には、第１の波長透過特性に比較して赤外領域の透過率がより少ないフィルタが関連付けられる。制御プログラムは、撮像装置に、撮像装置の制御モードを第１の制御モードおよび第２の制御モードのいずれかに設定することと、撮像装置の制御モードが第１の制御モードである場合に、第１のレンズ群を透過した光から得られた第１の画像群と、第２のレンズ群を透過した光から得られた第２の画像群とが、同じ色特性を有するものとすることと、撮像装置の制御モードが第２の制御モードである場合に、第１の画像群と、第２の画像群とが、異なる色特性を有するものとすることとを実行させる。

　本発明の上記および他の目的、特徴、局面および利点は、添付の図面と関連して理解される本発明に関する次の詳細な説明から明らかとなるであろう。

被写体距離を算出する処理を説明するための概念図である。 第１の実施の形態に従う撮像装置の主要な構成を概略的に表わした図である。 変形例１に従う撮像装置の構成の概略を表した図である。 変形例２に従う撮像装置の構成の概略を表した図である。 第１の実施の形態に従う撮像装置の機能構成の一例を示すブロック図である。 判定画像の画素値の分布を示したヒストグラムを示す図である。 赤外カットモードにおける対応点探索処理を概略的に表した概念図である。 赤外透過モードにおける対応点探索処理を概略的に表した概念図である。 赤外カットモードにおけるカラー画像の生成処理を概略的に表した概念図である。 赤外透過モードにおけるカラー画像の生成処理を概略的に表した概念図である。 第１の実施の形態に従う撮像装置が実行する処理の一部を表わすフローチャートである。 第１の実施の形態に従う撮像装置の構成の基本的構成を示すブロック図である。 図１２に示す撮像装置を具現化したデジタルカメラの構成を示すブロック図である。 第１の実施の形態に従う撮像装置の処理を実現するための制御プログラムをダウンロードした電子機器の構成を示すブロック図である。 第２の実施の形態に従う撮像装置の対応点探索処理の利点を説明するための図である。 第２の実施の形態に従う撮像装置の機能構成の一例を示すブロック図である。 第１の制御モードにおける対応点探索処理を概略的に表した概念図である。 第２の実施の形態に従う撮像装置が実行する処理の一部を表わすフローチャートである。 第３の実施の形態に従う撮像装置が実行する処理の一部を表わすフローチャートである。 第３の実施の形態に従う撮像装置が実行する処理の変形例を表すフローチャートである。

　以下、図面を参照しつつ、本発明に従う各実施の形態について説明する。以下の説明では、同一の部品および構成要素には同一の符号を付してある。それらの名称および機能も同じである。したがって、これらについての詳細な説明は繰り返さない。なお、以下で説明される各実施の形態、および／または、各変形例は、選択的に組み合わされてもよい。

　＜技術原理＞
　まず、本発明に従う各実施の形態についての理解を深めるために、図１を参照して、以下の各実施の形態に従う撮像装置１００が利用する技術原理について説明する。図１は、撮像装置１００から被写体の各領域までの距離（以下、「被写体距離」とも称する。）を算出する処理を説明するための概念図である。撮像装置１００は、複数のカメラを有することにより、カメラ間の視差情報を用いて、被写体距離を算出することができる。

　図１には、撮像部２０Ａと、撮像部２０Ｂとが示されている。被写体３１は、撮像部２０Ａおよび撮像部２０Ｂの視野に含まれる。説明を簡単にするために、被写体から焦点までの光軸方向の距離をＺ（すなわち、被写体距離）と定義する。撮像部２０Ａおよび撮像部２０Ｂの焦点距離をｆと定義する。撮像部２０Ａと撮像部２０Ｂとの間の距離（すなわち、基線長）をＢと定義する。画像１画素当たりの長さ（すなわち、画素ピッチ（ここでは、ｍｍ））をμと定義する。撮像部２０Ａから得られた画像上の被写体３１の位置と、撮像部２０Ｂから得られた画像上の被写体３１の位置との間の画素差を（すなわち、視差）ｄと定義する。このとき、三角形の相似の関係から、以下の式（１）が成り立つ。

　ここで、被写体距離Ｚ、焦点距離ｆ、基線長Ｂ、および画素ピッチμは、それぞれ撮像部の特性を示すパラメータであるため、各パラメータの値は既知である。このため、視差ｄが分かれば、被写体距離Ｚは、式（１）から算出され得る。撮像装置１００は、互いに異なる視点の撮像部から得られた画像間の対応点を探索することにより視差ｄを検出する。撮像装置１００は、検出した視差ｄを式（１）に代入することにより、被写体距離Ｚを算出できる。

　各撮像部は、異なる視点から被写体を撮像するため、各撮像部によって得られた画像間において、位置ずれが生じる。このため、以下の各実施の形態に従う撮像装置１００は、画像間の対応点間の視差ｄを用いて、得られた画像間の位置ずれを補正する。このように、撮像装置１００は、複数の撮像部から得られた画像を選択的に組み合わせることで高画質な画像（以下、「出力画像」とも称する。）を生成することが可能になる。

　撮像装置１００は、さらに、画像間の視差ｄを用いて、被写体距離Ｚを算出できる。すなわち、撮像装置１００は、被写体の各領域までの距離を示した距離画像を得ることもできる。

　＜第１の実施の形態＞
　　［概要］
　以下、図２を参照して、第１の実施の形態に従う撮像装置１００の構成について説明する。図２は、撮像装置１００の主要な構成を概略的に表わした図である。

　撮像装置１００は、撮像部２０を含む。一例として、撮像部２０は、互いに視点位置の異なる複数のレンズを並列に配置し、各レンズによって形成される像をそれぞれ撮像するアレイカメラである。撮像部２０は、赤外光を透過するレンズ群２６＿１と、赤外光をカットするレンズ群２６＿２と、撮像素子２８とを有する。レンズ群２６＿１は、レンズ２６＿１Ａを含む。レンズ群２６＿２は、レンズ２６＿２Ａと、レンズ２６＿２Ｂとを含む。

　レンズ２６＿１Ａ、２６＿１Ｂ、２６＿２Ｂには、所定の波長透過特性を有するフィルタが関連付けられる。一例として、当該フィルタは、赤色の波長帯域の光（以下、「光（Ｒ）」とも称する。）を透過する波長透過特性を有する。

　さらに、レンズ２６＿２Ａおよびレンズ２６＿２Ｂには、レンズ２６＿１Ａと比較して赤外領域の透過率がより少ないフィルタ（以下、「赤外カットフィルタ」とも称する。）が関連付けられる。これにより、レンズ群２６＿２は、赤外光をカットすることができる。光（Ｒ）を透過するフィルタ（以下、「赤色透過フィルタ」とも称する。）と、赤外カットフィルタとは、１枚のフィルタとして構成されてもよいし、別々のフィルタとして構成されてもよい。なお、図において添え字「ｉ」がある個所（図２ではレンズ群２６＿１）は、赤外カットフィルタを用いていないことを表わしている。一方、添え字「ｉ」を付していない個所（図２ではレンズ群２６＿２）は、赤外カットフィルタを用いていることを表わしている。なお、この点については、以降の図面において共通である。

　撮像素子２８は、レンズ群２６＿１およびレンズ群２６＿２を透過した光を受けて画像を生成する。これにより、撮像装置１００は、レンズ２６＿１を透過した光を撮像した画像と、レンズ２６＿２Ａを透過した光を撮像した画像と、レンズ２６＿２Ｂを透過した光を撮像した画像との３つの画像を生成することができる。

　撮像装置１００は、これら３つの画像の全部または一部を用いて、被写体を表現する画像（すなわち、出力画像）を生成する。より具体的には、撮像装置１００は、低照度下では、赤外光を透過するレンズ群２６＿１からの画像を用いて出力画像を生成する。これにより、撮像装置１００は、照度不足を赤外光で補うことができ、受光感度を改善することができる。この結果、撮像装置１００は、低照度下でも鮮明な画像を得ることができる。

　一方、撮像装置１００は、高照度下では、赤外光をカットするレンズ群２６＿２からの画像を用いて出力画像を生成する。これにより、撮像装置１００は、高照度下ではノイズとなり得る赤外光をカットすることができ、高画質な画像を得ることができる。

　このように、撮影者は、新規な構造を有する撮像装置１００により、低照度下であっても、高照度下であっても、高画質な画像を得ることができる。

　また、撮像装置１００は、互いに異なる視点のレンズから得られた同じ色情報を有する画像を得ることができる。図２においては、レンズ２６＿２Ａからの画像と、レンズ２６＿２Ｂからの画像とが同じ色情報を有する。撮像装置１００は、同じ色情報を有する画像間の対応点を探索することにより、被写体距離を算出することができる。これにより、撮像装置１００は、被写体の各領域までの距離を示した距離画像を生成することができる。

　さらに、撮像装置１００は、同じ色情報を有する２枚の画像を合成することにより、画像が１枚の場合に比べて、受光感度が改善された画像を得ることができる。

　なお、レンズ群２６＿１およびレンズ群２６＿２に関連付けられるフィルタは、レンズ上に設けられてもよいし、レンズと一体に構成されてもよい。また、当該フィルタは、撮像素子２８に設けられてもよいし、撮像素子２８と一体に構成されてもよい。

　また、図２の例においては、複数の撮像素子が示されているが、撮像素子は、１つであってもよい。この場合、撮像素子は、各レンズを透過した光を、当該レンズの対応する領域で受けるように構成される。

　（撮像装置１００の変形例１）
　図３を参照して、撮像装置１００の変形例について説明する。図３は、変形例１に従う撮像装置１００の構成の概略を表した図である。

　撮像装置１００のレンズ構成は、図２に示される例に限定されるわけではない。たとえば、図３に示されるように、レンズ群２６＿１は、１つのレンズではなく、赤外光を透過する２つのレンズ２６＿１Ａ、２６＿１Ｂで構成されてもよい。レンズ群２６＿２は、２つのレンズではなく、赤外光をカットする１つのレンズ２６＿２Ａで構成されてもよい。

　（撮像装置１００の変形例２）
　図４を参照して、撮像装置１００の他の変形例について説明する。図４は、変形例２に従う撮像装置１００の構成の概略を表した図である。

　撮像装置１００に設けられるレンズの数は、３つに限定されるわけではなく、３つ以上であればよい。この場合、レンズ群２６＿１は、１つ以上のレンズで構成される。レンズ群２６＿２は、少なくとも１つ以上の残りのレンズで構成される。なお、図４に示される、レンズ群２６＿１およびレンズ群２６＿２の左上の数字「１～１６」は、レンズの場所を示すためのインデックスである。レンズ群２６＿１は、赤外カットフィルタが設けられていない８個のレンズ（すなわち、レンズ１、４、５、８、９～１１、１５）で構成される。レンズ群２６＿２は、赤外カットフィルタが設けられた８個のレンズ（すなわち、レンズ２、３、６、７、１２～１４、１６）で構成される。

　より具体的には、レンズＲ（すなわち、レンズ２、１２）には、赤色透過フィルタと、赤外カットフィルタとが設けられる。レンズＲｉ（すなわち、レンズ４、１０）には、赤色透過フィルタが設けられる。赤色透過フィルタと、赤外カットフィルタとは、１枚のフィルタとして構成されてもよいし、別々のフィルタとして構成されてもよい。撮像装置１００は、レンズＲおよびレンズＲｉを透過した光を撮像することで、赤色の波長帯域の情報を含む単色の画像を得ることができる。

　同様に、レンズＧ（すなわち、レンズ３、６、１２、１４）には、緑色透過フィルタと、赤外カットフィルタとが設けられる。レンズＧｉ（すなわち、レンズ１、８、９、１１）には、緑色透過フィルタが設けられる。

　同様に、レンズＢ（すなわち、レンズ７、１３）には、青色透過フィルタと、赤外カットフィルタとが設けられる。レンズＢｉ（すなわち、レンズ５、１５）には、青色透過フィルタが設けられる。

　本変形例に従う撮像装置１００は、低照度下では、赤外光を透過するレンズ群２６＿１（すなわち、レンズＲｉ、レンズＧｉ、レンズＢｉ）を透過した光を撮像して画像を生成する。撮像装置１００は、照度不足を赤外光で補うことにより、受光感度を改善することができる。また、レンズＲｉから得られた画像Ｒｉと、レンズＢｉから得られた画像Ｂｉと、レンズＧｉから得られた画像Ｇｉとの各画素を対応付けて、各画像を合成することにより、低照度下であっても、鮮明なカラー画像を得ることができる。

　一方、撮像装置１００は、高照度下では、赤外光をカットするレンズ群２６＿２（すなわち、レンズＲ、レンズＧ、レンズＢ）を透過した光を撮像して得られた画像を生成する。これにより、撮像装置１００は、高照度下では余分な情報となり得る赤外光をカットする。このため、撮像装置１００は、レンズＲから得られた画像Ｒと、レンズＢから得られた画像Ｇと、レンズＧから得られた画像Ｇとの各画素を対応付けて、各画像を合成することにより、高照度下であっても、より正しい色合いの高画質なカラー画像を得ることができる。

　なお、レンズが透過する光は、上記のような光（Ｒ）、光（Ｇ）、光（Ｂ）に限定されない。たとえば、撮像装置１００は、光（Ｃ：シアン）、光（Ｍ：マゼンダ）、光（Ｙ：イエロー）などの他の波長を有する光を透過するように構成されてもよい。

　　［機能構成］
　図５を参照して、第１の実施の形態に従う撮像装置１００の機能構成について説明する。図５は、撮像装置１００の機能構成の一例を示すブロック図である。図５には、上述した第１の実施の形態の変形例２（図４）のように、画像Ｒ、画像Ｇ、画像Ｂおよび画像Ｒｉ、画像Ｇｉ、画像Ｂｉを得ることができ、カラー画像を出力できる撮像装置１００に用いられるのに適した構成が示されている。撮像装置１００は、後述する画像処理部２００を含む。画像処理部２００は、第１の設定部２１０と、距離算出部２４０と、生成部２５０とを含む。各構成は、ハードウェアモジュールまたはソフトウェアモジュールによって実現され得る。

　撮像装置１００は、撮像モードとして、レンズ群２６＿１を透過した光を撮像して得られた画像から出力画像を生成する撮像モード（以下、「赤外透過モード」とも称する。）と、レンズ群２６＿２を透過した光を撮像して得られた画像から出力画像を生成する撮像モード（以下、「赤外カットモード」とも称する。）とを有する。撮像装置１００は、赤外透過モードと赤外カットモードとを選択可能に構成される。撮像モードは、第１の設定部２１０によって設定される。撮像モードの設定方法の詳細については後述する。

　距離算出部２４０は、異なる視点から撮影された、同じ色特性を有する２枚以上の画像間の対応点探索を行なう。対応点探索の詳細については後述する。距離算出部２４０は、画像間の対応点を検出することにより、画素ごとに視差情報（式（１）の視差ｄ）を算出する。距離算出部２４０は、算出した視差情報を生成部２５０に出力する。また、距離算出部２４０は、算出した視差ｄを用いて上記式（１）から、被写体の各領域までの距離情報（上記式（１）の被写体距離Ｚ）を算出する。

　生成部２５０は、第１の生成部２５２と、第２の生成部２５４とを含む。生成部２５０は、距離算出部２４０から得られた画像間の視差情報を用いて、出力画像を生成する。生成部２５０の画像の生成方法の詳細については後述する。

　第１の生成部２５２は、撮像モードが赤外透過モードである場合に、赤外情報を含む単色画像（図５における「単色画像（＋赤外）」）から出力画像を生成する。ここでいう、単色画像とは、所定の波長帯域の光とを含む光を撮像して得られるものである。たとえば、赤外情報を含む単色画像は、画像Ｒｉ、画像Ｇｉ、および画像Ｂｉを含む。第１の生成部２５２は、画像Ｒｉ、画像Ｇｉ、および画像Ｂｉから赤外情報を含むカラー画像（図５における「カラー画像（＋赤外）」）を出力画像として生成する。

　第２の生成部２５４は、撮像モードが赤外カットモードである場合に、赤外情報を含まない単色画像（図５における「単色画像（－赤外）」））から出力画像を生成する。たとえば、赤外情報を含まない単色画像は、画像Ｒ、画像Ｇ、および画像Ｂを含む。第２の生成部２５４は、画像Ｒ、画像Ｇ、および画像Ｂから赤外情報を含まないカラー画像（図５における「カラー画像（－赤外）」）を出力画像として生成する。

　　［撮像モードの設定方法（第１の設定部２１０の詳細）］
　以下、第１の設定部２１０による撮像モードの設定方法について説明する。上述したように、撮像装置１００は、撮像モードとして、赤外光を透過するレンズ群２６＿１から得られた画像を用いて出力画像を生成する画像赤外透過モードと、赤外光をカットするレンズ群２６＿２から得られた画像を用いて出力画像を生成する赤外カットモードとを有する。

　撮像モードは、撮像装置１００の周囲の照度に応じて、第１の設定部２１０によって決定される。第１の設定部２１０は、周囲の照度が低い場合には、赤外光で照度を補うために、撮像モードを赤外透過モードに設定する。また、撮像装置１００は、周囲の照度が高い場合には、ノイズになり得る赤外情報をカットするために、撮像モードを赤外カットモードに設定する。

　撮像モードの判定に用いる画像（以下、「判定画像」とも称する。）としては、赤外情報を含まない画像が用いられる。すなわち、第１の設定部２１０は、赤外光をカットするレンズ群２６＿２を透過した光から得られた画像の全部または一部の輝度情報を用いて撮像モードを設定する。

　第１の設定部２１０は、判定画像の輝度情報が、照度が相対的に低いことを示す所定条件を満たした場合には、撮像モードを赤外透過モードに設定し、判定画像の輝度情報が、当該所定条件を満たさない場合には、撮像モードを赤外カットモードに設定する。

　より具体的な処理として、第１の設定部２１０は、判定画像の輝度情報から、受光した光の強さを示す照度を算出する。第１の設定部２１０は、算出した照度が所定値よりも大きい場合には、高照度下であるとして、撮像モードを赤外カットモードに設定する。第１の設定部２１０は、算出した照度が所定値よりも小さい場合には、低照度下であるとして、撮像モードを赤外透過モードに設定する。

　照度の算出方法については様々な方法が考えられる。以下では、図６を参照して、照度の算出方法の一例について説明する。図６は、判定画像の画素値の分布を示したヒストグラムを示す図である。

　撮像装置１００は、判定画像に含まれる画素の画素値をヒストグラム化する。すなわち、撮像装置１００は、同じ画素値を有する画素の数を、画素値ごとにカウントする。第１の設定部２１０は、判定画像の画素を画素値の順に並べた場合に、上位から所定パーセントにある画素値を、撮像装置１００が受光した光の照度として用いる。たとえば、第１の設定部２１０は、図６に示されるように、ヒストグラムの上位１％の位置にある画素値を照度として用いる。第１の設定部２１０は、上位１％の位置にある画素値を照度として採用することで、ノイズとして現れた高数値な画素値を除外することができる。

　第１の設定部２１０は、照度が所定の値（たとえば、１００）よりも小さい場合に、低照度であると判定し、撮像モードを赤外透過モードに設定する。また、第１の設定部２１０は、当該照度が所定の値（たとえば、１００）よりも大きい場合に、高照度であると判定し、撮像モードを赤外カットモードに設定する。

　なお、第１の設定部２１０は、判定画像の最大画素値を照度として用いてもよい。また、第１の設定部２１０は、ノイズの影響を除去するために、判定画像の最大画素値に所定の係数（たとえば、０より大きく１より小さい値）を掛けた値を照度として用いてもよい。

　また、第１の設定部２１０は、照度の算出精度を上げるため、判定画像として複数の画像を用いてもよい。たとえば、第１の設定部２１０は、互いに異なる色特性を有する複数の単色画像（たとえば、Ｒ画像、Ｇ画像、Ｂ画像）を用いて照度を判定してもよい。第１の設定部２１０は、複数の画像を判定画像として用いた場合には、たとえば、複数の画像の画素値のうちの最大画素値を照度として用いる。

　さらに、第１の設定部２１０は、同じ色特性を有する複数の単色画像（たとえば、複数のＲ画像）を用いて照度を判定してもよい。第１の設定部２１０は、また、第１の設定部２１０は、図６に示される方法と同様に、複数の画像の画素値をヒストグラム化して照度を決定してもよい。

　さらに、上述の例では、照度に応じて撮像モードを設定する方法について説明したが、撮像装置１００は、撮影者が撮影モードを任意に設定できるように構成されてもよい。この場合、撮像装置１００は、撮像モードの設定を支援するためのユーザインターフェイスを提供してもよい。たとえば、撮像装置１００は、図６に示に示されるようなヒストグラムを表示してもよい。これにより、撮影者は、ユーザインターフェイス上でヒストグラムを確認しながら撮像モードを設定に用いられる閾値を設定することが可能になる。

　　［対応点探索処理（距離算出部２４０の詳細）］
　（赤外カットモードにおける対応点探索処理）
　図７を参照して、撮像モードが赤外カットモードにおける、画像間の対応点の探索方法について説明する。図７は、赤外カットモードにおける対応点探索処理を概略的に表した概念図である。

　撮像装置１００は、互いに異なる視点から被写体を撮像するため、得られた画像間においてズレ（すなわち、視差）が生じる。また、視差は、上記式（１）からも分かるように、被写体距離によって変わる。このため、距離算出部２４０は、得られた画像の画素ごとに対応点の探索を行ない、画素ごとに視差を検出する。検出された視差は、被写体距離の算出にも用いられるし、下記の生成部２５０の画像の生成時においても用いられる。

　より具体的な処理として、距離算出部２４０は、撮像モードが赤外カットモードである場合には、赤外光をカットするレンズ群２６＿２からの画像を用いて対応点探索を行なう。距離算出部２４０は、対応点探索処理に用いる画像として、同じ色特性を有する画像を用いる必要がある。なぜならば、距離算出部２４０は、色情報が異なる画像間では類似する領域を検出できないからである。

　図７に示されるように、一例として、距離算出部２４０は、レンズＧ（すなわち、レンズ３、６、１４、１６）から得られた同じ色特性を有する４枚の画像Ｇ（すなわち、画像３Ａ、６Ａ、１４Ａ、１６Ａ）の間で対応点探索を行なう。

　以下では、距離算出部２４０が、画像６Ａを基準画像にして、画像３Ａ内において対応点を探索する例について説明する。好ましくは、基準画像は、複数のレンズにおいて、より中心に設けられたレンズから得られたものを用いる。これにより、距離算出部２４０は、基準のレンズに対して様々な相対的方向に設けられたレンズから得られた画像を用いて対応点探索を行なうことができ、対応点の探索精度を向上させることができる。

　対応点の探索範囲は、レンズの相対的な位置関係から限定され得る。すなわち、探索点は、所謂、エピポールライン上に存在するので、対応点の探索範囲は、エピポールライン上に限定される。好ましくは、対応点の探索範囲は、被写体が無限遠にある場合の画素５０に対応する画素５２から、被写体が所定距離（＝Ｚｍ）にある場合の画素５０に対応する画素５４までの間（すなわち、エピポールライン３Ｂ上）にさらに限定される。これにより、距離算出部２４０は、対応点探索にかかる時間を短縮することができる。

　距離算出部２４０は、画素５０から所定範囲の画像情報（たとえば、画素値）をテンプレートとして、当該テンプレートに類似する画像情報を有する画素を画像３Ａ内のエピポールライン３Ｂ上で探索する。一例として、距離算出部２４０は、画素５０を中心とした９×９画素程度のサイズを有する領域５０Ａをテンプレートする。対応点の探索方法は、たとえば、画間の類似度を算出するＳＡＤ（Sum　of　Absolute　Difference）によって行なう。ＳＡＤ値は、以下の式（２）により算出される。ＳＡＤ値は、式（２）から、類似度が高いほど小さくなる。

　ここで、上記式（１）を変形すると下記の式（３）となる。

　式（３）により、被写体距離Ｚの逆数（＝１／Ｚ）は、視差ｄ（対応点探索時の画素ずらし量）に比例する。すなわち、視差ｄは、被写体距離Ｚに対応した値である。このため、画素５０から視差ｄの位置にある画像３Ａ内の各画素のＳＡＤ値は、グラフ６２に示されるように、横軸を被写体距離の逆数（＝１／Ｚ）で正規化することができる。これに着目して、距離算出部２４０は、画素５０の対応点を画像３Ａ内のエピポールライン３Ｂ上で探索して、被写体距離の逆数（＝１／Ｚ）の位置におけるＳＡＤ値を算出する。

　同様に、距離算出部２４０は、画素５０の対応点を画像１４Ａ内のエピポールライン１４Ｂ上で探索する。グラフ６４には、画素５０に対するエピポールライン１４Ｂ上の各点の探索結果が示される。同様に、距離算出部２４０は、画素５０に対する対応点を画像１６Ａ内のエピポールライン１６Ｂ上で探索する。

　エピポールライン３Ｂ、エピポールライン１４Ｂ、およびエピポールライン１６上の各探索結果（すなわち、ＳＡＤ値）は、被写体距離の逆数で正規化されているため、足し合わせられ得る。距離算出部２４０は、各探索結果が足し合わされた結果であるグラフ６６においてＳＡＤ値が最小となるＺｃを画素５０における被写体距離とする。このように、距離算出部２４０は、より多くの探索結果を足し合わせた結果を用いることにより、被写体距離を、より正確に特定することができる。

　また、距離算出部２４０は、画素５０に対して行った対応点探索処理を、画像６Ａ内の他の画素についても行なう。これにより、距離算出部２４０は、画像６Ａ内の各画素について被写体距離を算出することができる。

　なお、図７においては、レンズＧから得られた画像Ｇを用いて対応点探索を行なう例について説明を行なったが、対応点探索に用いられる画像は、画像Ｇに限定されない。対応点探索に用いられる画像は、同じ色特性を有するものであればよい。たとえば、距離算出部２４０は、対応点探索において、レンズＲから得られた画像Ｒを用いてもよい。他にも、距離算出部２４０は、対応点探索において、レンズＢから得られた画像Ｂを用いてもよい。

　また、被写体が遠方に存在する場合や、被写体が一定の位置に存在する場合など、視差が常に一定になるような場合には、距離算出部２４０による対応点探索処理は、必ずしも実行されなくともよい。

　（赤外透過モードにおける対応点探索処理）
　図８を参照して、撮像装置１００の撮像モードが赤外透過モードである場合における、画像間の対応点の探索方法について説明する。図８は、赤外透過モードにおける対応点探索処理を概略的に表した概念図である。

　図８に示されるように、距離算出部２４０は、撮像モードが赤外透過モードである場合には、赤外光を透過するレンズ群２６＿１からの画像を用いて対応点探索を行なう。このとき、距離算出部２４０は、同じ色特性を有する画像間で対応点の探索処理を行なう。たとえば、図８に示されるように、距離算出部２４０は、レンズＧｉ（すなわち、レンズ１、８、９、１１）から得られた同じ色特性を有する４枚の画像Ｇｉ（すなわち、画像１Ａ、８Ａ、９Ａ、１１Ａ）の間で対応点探索を行なう。

　たとえば、距離算出部２４０は、画像１１Ａを基準画像とする。距離算出部２４０は、画像１１Ａの点５０の対応点を、画像１Ａのエピポールライン１Ｂ上、画像８Ａのエピポールライン８Ｂ、画像９Ａのエピポールライン９Ｂ上で探索する。距離算出部２４０は、画素５０に対して行った対応点探索処理を、画像６Ａ内の他の画素についても行なう。対応点探索の具体的な処理については上述と同じであるので省略する。

　なお、図８においては、レンズＧｉから得られた画像Ｇｉを用いて対応点探索を行なう例について説明を行なったが、対応点探索に用いられる画像は、画像Ｇｉに限定されない。対応点探索に用いられる画像は、同じ色特性を有するものであればよい。たとえば、距離算出部２４０は、対応点探索において、レンズＲｉから得られた画像Ｒｉを用いてもよい。他にも、距離算出部２４０は、対応点探索において、レンズＢｉから得られた画像Ｂｉを用いてもよい。

　　［画像の生成方法（生成部２５０の詳細）］
　（赤外カットモードにおける画像の生成方法）
　図９を参照して、撮像装置１００の撮像モードが赤外カットモードである場合における、カラー画像を生成する方法について説明する。図９は、赤外カットモードにおけるカラー画像の生成処理を概略的に表した概念図である。

　上述の通り、画像内の各画素についての被写体距離が距離算出部２４０によって算出さるので、生成部２５０は、算出された被写体距離Ｚを用いて、上記式（１）から視差ｄを算出できる。ここで、視差ｄは、画像間の対応点のズレ量に対応する。このため、生成部２５０は、被写体距離Ｚから、色特性が異なる画像間の対応点を特定できる。

　一例として、図９を参照して、レンズ６から得られた画像６Ａ（すなわち、画像Ｇ）を基準画像として、画像６Ａと、レンズ２から得られた画像２Ａ（すなわち、画像Ｒ）と、レンズ７から得られた画像７Ａ（すなわち、画像Ｂ）とからカラー画像（ＲＧＢ画像）を生成する例について説明する。

　生成部２５０は、画像６Ａの画素５０における被写体距離Ｚｃを用いて、画素５０の対応点を画像２Ａにおいて算出する。より具体的には、画像２Ａにおける画素５０の対応点の位置は、レンズ２とレンズ６との位置関係に基づいて上記式（１）から算出される。画像２Ａにおいて、画素５０の対応点として算出された画素５２が示される。

　同様に、生成部２５０は、画像６Ａの画素５０における被写体距離Ｚｃを用いて、画素５０の対応点を画像７Ａにおいて算出する。画像７Ａにおける画素５０の対応点の位置は、レンズ６とレンズ７との位置関係に基づいて上記式（１）から算出される。画像７Ａにおいて、画素５０の対応点として算出された画素５４が示される。

　生成部２５０は、画素５０に対して行った画素の対応付け処理を、画像６Ａ内の他の画素についても行なう。以上のようにして、生成部２５０は、画像６Ａの各画素についての視差によるズレを補正することができる。すなわち、生成部２５０は、色情報が異なる画像間で対応点を算出することができる。これにより、生成部２５０は、各画像を合成して、カラー画像を生成することができる。

　なお、上述では、レンズ６から得られた画像６Ａと、レンズ２から得られた画像２Ａと、レンズ７から得られた画像７Ａとの間で対応点を特定する例について説明したが、生成部２５０は、他の画像間で対応点を特定してもよい。生成部２５０は、赤外光をカットするレンズ群２６＿２から得られた他の画像を用いて対応点を特定してもよい。

　また、基準画像は、必ずしも、画像６Ａである必要はない。生成部２５０は、基準画像として、赤外カットモードである場合には、赤外光をカットするレンズ群２６＿２から得られた他の画像を用いてもよい。

　（赤外透過モードにおける画像の生成方法）
　図１０を参照して、撮像装置１００の撮像モードが赤外透過モードである場合におけるカラー画像を生成する方法について説明する。図１０は、赤外透過モードにおけるカラー画像の生成処理を概略的に表した概念図である。

　図１０に示されるように、生成部２５０は、撮像モードが赤外透過モードである場合には、赤外光を透過するレンズ群２６＿１からの画像を用いてカラー画像の生成を行なう。

　一例として、図１０に示されるように、レンズ１１から得られた画像１１Ａ（すなわち、画像Ｇｉ）を基準画像として、画像１１Ａと、レンズ１０から得られた画像１０Ａ（すなわち、画像Ｒｉ）と、レンズ１５から得られた画像１５Ａ（すなわち、画像Ｂｉ）とからカラー画像を生成する。カラー画像の生成方法については上述と同じであるので、その説明を繰り返さない。

　なお、上述では、レンズ１０から得られた画像１０Ａと、レンズ１１から得られた画像１１Ａと、レンズ１５から得られた画像１５Ａとの間で対応点を特定する例について説明したが、生成部２５０は、他の画像間で対応点を特定してもよい。生成部２５０は、赤外光をカットするレンズ群２６＿２から得られた他の画像を用いて対応点を特定してもよい。

　また、基準画像は、必ずしも、画像１１Ａである必要はない。生成部２５０は、基準画像として、赤外透過モードである場合には、赤外光をカットするレンズ群２６＿２から得られた他の画像を用いてもよい。

　　［フローチャート］
　図１１を参照して、図５に示される撮像装置１００の処理手順について説明する。図１１は、撮像装置１００が実行する処理の一部を表わすフローチャートである。図１１の処理は、後述するＣＰＵ１０２がプログラムを実行することにより実現される。他の局面において、処理の一部または全部が、後述の画像処理回路１０６、回路素子、その他のハードウェアによって実行されてもよい。

　ステップＳ５１０において、ＣＰＵ１０２は、レンズ１～１６（図４参照）のそれぞれを得られた光を撮像することで１６枚の画像を取得する。なお、ＣＰＵ１０２は、レンズ１～１６の全てから画像を得る必要はなく、レンズ１～１６の一部のレンズから画像を得てもよい。

　ステップＳ５２０において、ＣＰＵ１０２は、第１の設定部２１０として、取得した画像の画像情報（たとえば、画素値などの輝度情報）に基づいて撮像モードを設定する。具体的には、ＣＰＵ１０２は、赤外光をカットするレンズ群２６＿２を透過した光を撮像して得られた画像から、当該光の照度を算出する。ＣＰＵ１０２は、算出した照度が所定の値よりも大きい場合には、撮像モードを赤外カットモードに設定する。ＣＰＵ１０２は、算出した照度が所定の値よりも小さい場合には、撮像モードを赤外透過モードに設定する。

　ステップＳ５３０において、ＣＰＵ１０２は、撮像装置１００の撮像モードが赤外透過モードであるか否かを判断する。ＣＰＵ１０２は、撮像装置１００の撮像モードが赤外透過モードであると判断した場合には（ステップＳ５３０においてＹＥＳ）、制御をステップＳ５４０に切り替える。そうでない場合には（ステップＳ５３０においてＮＯ）、ＣＰＵ１０２は、制御をステップＳ５５０に切り替える。

　ステップＳ５４０において、ＣＰＵ１０２は、距離算出部２４０として、赤外光を透過するレンズ群２６＿１から得られた単色画像を用いて、同じ色特性を有する単色画像間の対応点を探索する。また、ＣＰＵ１０２は、画像間の対応点の探索結果（すなわち、視差情報）を用いて、単色画像内の各画素について被写体距離を算出する。

　ステップＳ５４２において、ＣＰＵ１０２は、第１の生成部２５２として、赤外光を透過するレンズ群２６＿１から得られた単色画像間の対応点の探索結果（すなわち、視差情報）を用いて、異なる色特性を有する画像間で対応点を算出する。ＣＰＵ１０２は、算出された対応点に基づいて、それぞれが異なる色特性を有する単色画像を合成し、赤外情報を含むカラー画像を生成する。

　ステップＳ５５０において、ＣＰＵ１０２は、距離算出部２４０として、赤外光をカットするレンズ群２６＿２から得られた単色画像を用いて、同じ色特性を有する単色画像間の対応点を探索する。また、ＣＰＵ１０２は、画像間の対応点の探索結果（すなわち、視差情報）を用いて、単色画像内の各画素について被写体距離を算出する。

　ステップＳ５５２において、ＣＰＵ１０２は、赤外光をカットするレンズ群２６＿２から得られた単色画像間の対応点の探索結果（すなわち、視差情報）を用いて、異なる色特性を有する画像間で対応点を算出する。ＣＰＵ１０２は、算出された対応点に基づいて、それぞれが異なる色特性を有する単色画像を合成し、赤外情報を含まないカラー画像を生成する。

　［ハードウェア構成］
　図１２を参照して、本実施の形態に従う撮像装置１００のハードウェア構成の一例について説明する。図１２は、撮像装置１００の主要なハードウェア構成を示すブロック図である。

　撮像装置１００は、撮像部２０と、ＩＲ（Infrared）投光装置４０と、出力部４５と、画像処理部２００とを含む。図１２に示す撮像装置１００においては、撮像部２０が被写体を撮像することで画像を取得し、取得した画像に対して前述の画像処理を行なうことで、出力画像（たとえば、カラー画像や距離画像）を生成する。出力部４５は、出力画像を表示デバイスなどへ出力する。

　撮像部２０は、被写体を撮像して画像を生成する。撮像部２０は、カメラ２２、カメラ２２に接続されたＡ／Ｄ（Analog　to　Digital）変換部２９とを含む。

　カメラ２２は、被写体を撮像するための光学系を備えたアレイカメラである。カメラ２２は、所定の波長帯域の光を透過するフィルタ２４と、格子状に配置された視点の異なるＮ個のレンズ２６と、レンズ２６により形成された光学像を電気信号に変換する撮像素子（イメージセンサ）２８とを含む。

　Ａ／Ｄ変換部２９は、撮像素子２８から出力される被写体を示す電気信号（アナログ電気信号）をデジタル信号に変換して出力する。撮像部２０はさらに、カメラ各部分を制御するための制御処理回路などを含み得る。

　画像処理部２００は、撮像部２０によって取得された画像に対して、前述の画像処理を実施することでカラー画像を生成したり、被写体の各領域までの距離を示した距離画像を出力したりする。出力部４５は、画像処理部２００によって生成されるカラー画像や、距離画像を表示デバイスなどへ出力する。

　［撮像装置１００の実装例１］
　図１２に示す撮像装置１００は、汎用的には、以下に説明するデジタルカメラ、ビデオカメラなどとして具現化される。そこで、以下では、本実施の形態に従う撮像装置１００をデジタルカメラとして具現化した例について説明する。

　図１３は、図１２に示す撮像装置１００を具現化したデジタルカメラ１００Ａの構成を示すブロック図である。図１３において、図１２に示す撮像装置１００を構成するそれぞれのブロックに対応するコンポーネントには、図１２と同一の参照符号を付している。

　図１３を参照して、デジタルカメラ１００Ａは、ＣＰＵ（Central　Processing　Unit）１０２と、デジタル処理回路１０４と、画像表示部１０８と、カードインターフェイス（Ｉ／Ｆ）１１０と、記憶部１１２と、カメラ１１４と、ＩＲ投光部１２０とを含む。

　ＣＰＵ１０２は、予め格納されたプログラムなどを実行することで、デジタルカメラ１００Ａを制御する。デジタル処理回路１０４は、本実施の形態に従う画像処理を含む各種のデジタル処理を実行する。デジタル処理回路１０４は、典型的には、ＤＳＰ（Digital　Signal　Processor）、ＡＳＩＣ（Application　Specific　Integrated　Circuit）、ＬＳＩ（Large　Scale　Integration）、ＦＰＧＡ（Field-Programmable　Gate　Array）などによって構成される。このデジタル処理回路１０４は、図１２に示す画像処理部２００が提供する機能を実現するための画像処理回路１０６を含む。

　画像表示部１０８は、カメラ１１４により提供される入力画像、デジタル処理回路１０４（画像処理回路１０６）によって生成される出力画像、デジタルカメラ１００Ａに従う各種設定情報、および、制御用ＧＵＩ（Graphical　User　Interface）画面などを表示する。

　カードＩ／Ｆ１１０は、画像処理回路１０６によって生成された画像データを記憶部１１２へ書き込み、あるいは、記憶部１１２から画像データなどを読み出すためのインターフェイスである。記憶部１１２は、画像処理回路１０６によって生成された画像データや各種情報（デジタルカメラ１００Ａの制御パラメータや撮像モードなどの設定値）を格納する記憶デバイスである。記憶部１１２は、フラッシュメモリ、光学ディスク、磁気ディスクなどからなり、データを不揮発的に記憶する。

　ＩＲ投光部１２０は、赤外光を被写体に向けて照射する。カメラ１１４は、被写体によって反射された赤外光を受光することで、赤外光の強さに応じた画像を生成する。また、ＩＲ投光部１２０は、赤外光を照射しているか否かを示すＩＲ投光情報４２（フラグ）を格納する。画像処理部２００は、ＩＲ投光情報４２を参照することで、ＩＲ投光部１２０が赤外光を照射しているか否かを判断することができる。なお、ＩＲ投光部１２０は、本実施の形態に従う撮像装置１００においては必須の構成ではない。ＩＲ投光部１２０は、以下の第３の実施の形態に従う撮像装置１００Ｅにおいて用いられる。

　図１３に示すデジタルカメラ１００Ａは、本実施の形態に従う撮像装置１００の全体を単体の装置として実装したものである。すなわち、ユーザーは、デジタルカメラ１００Ａを用いて被写体を撮像することで、画像表示部１０８において高画質な画像を視認することができる。

　なお、上記では、撮像装置１００をデジタルカメラ１００Ａとして具現化する例について説明を行なったが、撮像装置１００は、図１２に示される構成と同様の構成でビデオカメラとして具現化されてもよい。

　［撮像装置１００の実装例２］
　図１４を参照して、本実施の形態に従う撮像装置１００を実現するための制御プログラム１５４をダウンロードした例について説明する。図１４は、制御プログラム１５４をダウンロードすることにより実現される電子機器１００Ｂの構成を示すブロック図である。制御プログラム１５４は、たとえば、ＰＣ（Personal　Computer）、携帯電話、スマートフォンなどにダウンロードされ得る。以下では、制御プログラム１５４をＰＣ１５２にダウンロードした例について説明する。

　図１４に示す電子機器１００Ｂでは、任意の撮像部２０によって取得された入力画像が外部から入力される構成となっている。このような構成であっても、本発明の実施の形態に従う撮像装置１００に含まれ得る。なお、図１４においても、図１２に示す撮像装置１００を構成するそれぞれのブロックに対応するコンポーネントには、図１２と同一の参照符号を付している。

　図１４を参照して、電子機器１００Ｂは、ＰＣ１５２と、モニタ１５６と、マウス１５８と、キーボード１６０と、外部記憶装置１６２とを含む。

　ＰＣ１５２は、典型的には、汎用的なアーキテクチャーに従う汎用コンピューターであり、基本的な構成要素として、ＣＰＵ、ＲＡＭ（Random　Access　Memory）、ＲＯＭ（Read　Only　Memory）などを含む。ＰＣ１５２は、画像処理部２００が提供する機能を実現するための制御プログラム１５４をダウンロード可能に構成される。制御プログラム１５４は、ＣＤ－ＲＯＭ（Compact　Disk-Read　Only　Memory）などの記憶媒体に格納されて流通し、あるいは、ネットワークを介してサーバー装置からダウンロードされる。制御プログラム１５４は、ＰＣ１５２のハードディスクなどの記憶領域内に格納される。

　制御プログラム１５４は、ＰＣ１５２で実行されるオペレーティングシステム（ＯＳ）の一部として提供されるプログラムモジュールのうち必要なモジュールを、所定のタイミングおよび順序で呼出して処理を実現するように構成されてもよい。この場合、制御プログラム１５４自体には、ＯＳが提供するモジュールは含まれず、ＯＳと協働して画像処理が実現される。また、制御プログラム１５４は、単体のプログラムではなく、何らかのプログラムの一部に組込まれて提供されてもよい。このような場合にも、制御プログラム１５４自体には、当該何らかのプログラムにおいて共通に利用されるようなモジュールは含まれず、当該何らかのプログラムと協働して画像処理が実現される。このような一部のモジュールを含まない制御プログラム１５４であっても、本実施の形態に従う撮像装置１００の趣旨を逸脱するものではない。

　もちろん、制御プログラム１５４によって提供される機能の一部または全部を専用のハードウェアによって実現してもよい。

　モニタ１５６は、オペレーティングシステム（ＯＳ）が提供するＧＵＩ画面、制御プログラム１５４によって生成される画像などを表示する。

　マウス１５８およびキーボード１６０は、それぞれユーザー操作を受付け、その受付けたユーザー操作の内容をＰＣ１５２へ出力する。

　外部記憶装置１６２は、何らかの方法で取得された入力画像を格納しており、この入力画像をＰＣ１５２へ出力する。外部記憶装置１６２としては、フラッシュメモリ、光学ディスク、磁気ディスクなどのデータを不揮発的に記憶するデバイスが用いられる。

　　［利点］
　以上のようにして、本実施の形態に従う撮像装置１００は、低照度下においては、赤外光を透過するレンズ群２６＿１からの画像を用いることで、感度不足を赤外光でカバーすることができる。これにより、撮影者は、低照度下であっても、鮮明なカラー画像を得ることができる。また、撮像装置１００は、低照度下であっても、赤外光を透過するレンズ群２６＿１からの画像を用いることで、被写体までの正確な距離を算出することができる。

　一方、撮像装置１００は、高照度下においては、赤外光をカットするレンズ群２６＿２からの画像を用いることで、高照度下においてはノイズとなり得る赤外光をカットする。これにより、撮影者は、高照度下であっても、高画質なカラー画像を得ることができる。また、撮像装置１００は、高照度下であっても、赤外光をカットするレンズ群２６＿２からの画像を用いることで、被写体までの正確な距離を算出することができる。

　＜第２の実施の形態＞
　　［概要］
　図１５を参照して、第２の実施の形態に従う撮像装置１００Ｄの概要について説明する。図１５は、本実施の形態に従う対応点探索処理の利点を説明するための図である。本実施の形態に従う撮像装置１００Ｄは、赤外情報を含む単色画像と、赤外情報を含まない単色画像とのいずれか一方を用いる場合だけでなく、これらの画像の両方を用いて画像間の対応点探索処理を行なう場合がある点で、第１の実施の形態に従う撮像装置１００とは異なる。ハードウェア構成などのその他の点については第１の実施の形態、特にその変形例２に従う撮像装置１００と同じであるので、それらの説明を繰り返さない。

　画像間の対応点の探索処理の精度は、様々な視点から撮影して得られた画像を用いることで改善され得る。以下、その理由について説明する。図１５に示されるように、直線のような同じ模様が繰り返されるパターンを有する基準画像７０について対応点探索処理が実行される場合について考える。

　探索画像７２は、基準画像７０に対応するレンズの真横に設けられたレンズから得られたものである。すなわち、基準画像７０内の画素７０Ａの対応点は、探索画像７２の横縞に平行なエピポールライン７２Ｂ上に存在することになる。このため、エピポールライン７２Ｂ上には、画素７０Ａに類似する点が多数存在するので、誤った点を画素７０Ａの対応点としてしまう可能性が高い。この結果、視差が正確に推定されなくなる。

　探索画像７４は、基準画像７０に対応するレンズの右下に設けられたレンズから得られたものである。すなわち、基準画像７０内の画素７０Ａの対応点は、探索画像７２の横縞に対して斜めの方向を向いたエピポールライン７４Ｂ上に存在することになる。このため、エピポールライン７４Ｂ上には、画素７０Ａに類似する点を絞り込むことができるので、探索画像７４Ａの正しい点を画素７０Ａの対応点として検出する可能性が高くなる。

　このように、対応点探索処理において１組の画像だけが用いられると、対応点として誤った点が検出される可能性が高くなるが、複数の組の画像が用いられると、正しい点を対応点として検出できる可能性が高まる。また、オクルージョン（隠れ）による問題からも、複数の視点から得られた画像を用いて対応点探索処理を行なう方が好ましい。そこで、本実施の形態に従う撮像装置１００Ｄは、対応点探索処理に用いる画像の種類を増やすことにより、対応点探索の精度を改善する。

　より具体的には、撮像装置１００Ｄの周囲の環境に赤外光が存在しない場合には、赤外光を透過するレンズ群２６＿１から得られた画像と、赤外光をカットするレンズ群２６＿２から得られた画像とは、同じ色特性を有することになる。そこで、撮像装置１００Ｄは、赤外光を透過するレンズ群２６＿１からの画像に赤外光の情報が含まれているか否かを判断し、当該画像に赤外光の情報が含まれていない場合には、レンズ群２６＿１からの画像と、レンズ群２６＿２からの画像との両方を用いて対応点探索を行なう。

　このように、撮像装置１００Ｄは、より多くの視点から撮影して得られた画像を用いて対応点探索処理を行なうことで、対応点探索処理の精度を向上することができる。すなわち、撮像装置１００Ｄは、直線などの同じ模様が繰り返される間違えやすい画像についても、異なる向きのエピポールラインを探索できるので、正しい点を対応点として検出できる可能性が高くなる。

　　［機能構成］
　図１６を参照して、第２の実施の形態に従う撮像装置１００Ｄの機能構成について説明する。図１６は、撮像装置１００Ｄの機能構成の一例を示すブロック図である。撮像装置１００Ｄは、画像処理部２００を含む。画像処理部２００は、第１の設定部２１０と、第２の設定部２３０と、距離算出部２４０と、生成部２５０とを含む。第１の設定部２１０と、生成部２５０については、上述した通りであるので、それらの説明を繰り返さない。

　撮像装置１００Ｄは、制御モードとして、赤外光を透過するレンズ群２６＿１を透過した光から得られた画像（第１の画像群）と、赤外光をカットするレンズ群２６＿２を透過した光から得られた画像（第２の画像群）との両方を用いて対応点探索を行なう第１の制御モードを有する。また、撮像装置１００Ｄは、制御モードとして、レンズ２６＿１からの画像およびレンズ２６＿２からの画像のいずれか一方を用いて対応点探索を行なう第２の制御モードを有する。撮像装置１００Ｄは、第１の制御モードと第２の制御モードとを選択可能に構成される。制御モードは、第２の設定部２３０によって設定される。制御モードの設定方法の詳細については後述する。

　距離算出部２４０は、第１の距離算出部２４２と、第２の距離算出部２４４とを含む。距離算出部２４０は、制御モードに応じて、対応点探索処理に用いる画像を変える。

　第１の距離算出部２４２は、制御モードが第１の制御モードである場合において、赤外光を透過するレンズ群２６＿１からの画像（図１６における「単色画像（＋赤外）」）と、赤外光をカットするレンズ群２６＿２からの画像（図１６における「単色画像（－赤外）」）とを同じ色特性を有する画像として扱い、これらの画像の両方を用いて対応点探索処理を行なう。たとえば、第１の距離算出部２４２は、画像Ｒおよび画像Ｒｉを同じ色特性を有する画像として扱う。

　第２の距離算出部２４４は、制御モードが第２の制御モードである場合において、レンズ群２６＿１からの画像（図１６における「単色画像（＋赤外）」）と、レンズ群２６＿２からの画像（図１６における「単色画像（－赤外）」）とを異なる色特性を有する画像として扱い、これらの画像のいずれか一方を用いて対応点探索処理を行なう。たとえば、第１の距離算出部２４２は、画像Ｒおよび画像Ｒｉを異なる色特性を有する画像として扱う。

　　［制御モードの設定方法（第２の設定部２３０の詳細）］
　以下、第２の設定部２３０の制御モードの設定方法について説明する。上述したように、撮像装置１００Ｄは、制御モードとして、第１の制御モードと、第２の制御モードとを有する。第２の設定部２３０は、撮像装置１００Ｄの周囲の環境において赤外光が存在するか否か基づいて、制御モードを設定する。

　一例として、撮像装置１００Ｄの周囲の環境において赤外光が存在するか否かは、赤外光を透過するレンズ群２６＿１からの画像と、赤外光をカットするレンズ群２６＿２からの画像とを比較することにより判断される。すなわち、赤外光を透過するレンズ群２６＿１からの画像が、赤外光がカットされた画像と類似する場合には、撮像装置１００Ｄの周囲に赤外光が存在しないと考えられる。そこで、第２の設定部２３０は、レンズ群２６＿１からの画像の画像情報（たとえば、画素値などの輝度情報）とレンズ群２６＿２からの画像情報（たとえば、画素値などの輝度情報）とを比較することにより、撮像装置１００Ｄの制御モードを設定する。

　一例として、第２の設定部２３０は、レンズＧｉからの画像Ｇｉと、レンズＧからの画像Ｇとの輝度情報を比較する。たとえば、画像Ｇｉの平均画素値と、画像Ｇの平均画素値との差が所定の閾値（たとえば、５）以下である場合には、第２の設定部２３０は、画像Ｇと画像Ｇｉとが同じ色情報を有しているものとして扱う。すなわち、この場合には、第２の設定部２３０は、制御モードを第１の制御モードに設定する。

　また、画像Ｇｉの平均画素値と、画像Ｇの平均画素値との差が所定の閾値（たとえば、５）よりも大きい場合には、第２の設定部２３０は、画像Ｇと画像Ｇｉとが異なる色情報を有しているものとして扱う。すなわち、この場合には、第２の設定部２３０は、制御モードを第２の制御モードに設定する。

　なお、画像に赤外情報が含まれるか否かを判定する他の方法として、第２の設定部２３０は、画像Ｇおよび画像Ｇｉを所定の領域に分割して、分割した領域ごとの平均画素値を比較するように構成されてもよい。これにより、画像の部分的な差異を見つけることが可能になる。一例として、第２の設定部２３０は、画像Ｇおよび画像Ｇｉのそれぞれを、縦に４分割し、横に４分割し、合計１６個の領域に分割する。

　他にも、第２の設定部２３０は、画像の平均画素値だけでなく、さらに、画像の最大画素値を比較してもよい。これにより、画像に赤外情報が含まれるか否かの判定精度が向上する。

　さらに、撮像装置１００Ｄは、撮影者が制御モードを任意に設定できるように構成されてもよい。この場合、撮像装置１００Ｄは、制御モードの設定を受けるためのユーザインターフェイスを提供する。

　　［対応点探索処理（距離算出部２４０の詳細）］
　図１７を参照して、撮像装置１００Ｄの制御モードが第１の制御モードである場合の対応点探索処理について説明する。図１７は、第１の制御モードにおける対応点探索処理を概略的に表した概念図である。

　距離算出部２４０は、制御モードが第１の制御モードである場合には、赤外光を透過するレンズ群２６＿１からの画像と、赤外光をカットするレンズ群２６＿２からの画像との両方を用いて対応点探索処理を行なう。すなわち、距離算出部２４０は、レンズ群２６＿１からの画像と、レンズ群２６＿２からの画像とを同じ色特性を有するものとして扱い、これらの画像の両方を用いて、被写体距離を算出する。

　より具体的な処理として、図１７に示されるように、距離算出部２４０は、レンズＧ（すなわち、レンズ３、６、１４、１６）から得られた画像Ｇと、レンズＧｉ（すなわち、レンズ１、８、９、１１）から得られた画像Ｇｉとの８枚の画像（すなわち、画像３Ａ、６Ａ、１４Ａ、１６Ａ、１Ａ、８Ａ、９Ａ、１１Ａ）の間で対応点探索を行なう。

　対応点探索方法については、図７および図８と同様であるので、以下では、上記と異なる部分のみ説明を行なう。図７および図８においては、距離算出部２４０は、対応点の探索方法として、ＳＡＤを用いたが、代わりに、ＮＣＣ（Normalized　Cross　Correlation）を用いてもよい。赤外光が存在しない環境下では、Ｇ画像とＧｉとは、ほぼ同じ輝度情報を有するが、若干の違いは生じる。このため、距離算出部２４０は、画素値を比較するＳＡＤでは対応点探索を誤る場合もあり得る。このため、好ましくは、距離算出部２４０は、パターン成分を比較するＮＣＣなどの対応点探索手法を用いる。画像間の類似度を示すＮＣＣ値は、以下の式（４）を用いて算出される。

　なお、図１７においては、画像Ｇおよび画像Ｇｉを用いて対応点探索を行なう例について説明を行なったが、第１の制御モードにおいて対応点探索に用いられる画像は、これらに限定されない。たとえば、距離算出部２４０は、画像Ｒおよび画像Ｒｉを用いて対応点探索を行なってもよい。他にも、たとえば、距離算出部２４０は、画像Ｂおよび画像Ｂｉを用いて対応点探索を行なってもよい。

　また、撮像装置１００Ｄの制御モードが第２の制御モードである場合の対応点探索処理については図７および図８と同じであるので、それらの説明を繰り返さない。

　　［フローチャート］
　図１８を参照して、撮像装置１００Ｄの処理手順について説明する。図１８は、撮像装置１００Ｄが実行する処理の一部を表わすフローチャートである。図１８の処理は、撮像装置１００ＤのＣＰＵ１０２がプログラムを実行することにより実現される。他の局面において、処理の一部または全部が、画像処理回路１０６、回路素子、その他のハードウェアによって実行されてもよい。なお、ステップＳ５１０～Ｓ５５２の処理は、図１１と同じであるので、それらの説明を繰り返さない。

　ステップＳ６１０において、ＣＰＵ１０２は、第２の設定部２３０として、撮像装置１００Ｄの周囲の環境において赤外光が存在するか否かに基づいて、撮像装置１００Ｄの制御モードを設定する。一例として、ＣＰＵ１０２は、赤外光を透過するレンズ群２６＿１からの画像と、赤外光をカットするレンズ群２６＿２からの画像との輝度情報を比較する。ＣＰＵ１０２は、レンズ群２６＿１からの画像と、レンズ群２６＿２からの画像との輝度情報に差が無い場合には、これらの画像が同じ色情報を有するものとして、制御モードを第１の制御モードに設定する。ＣＰＵ１０２は、レンズ群２６＿１からの画像と、レンズ群２６＿２からの画像との輝度情報に差がある場合には、これらの画像が異なる色情報を有するものとして、制御モードを第２の制御モードに設定する。

　ステップＳ６２０において、ＣＰＵ１０２は、撮像装置１００Ｄの制御モードが第１の制御モードであるか否かを判断する。ＣＰＵ１０２は、撮像装置１００Ｄの制御モードが第１の制御モードであると判断した場合には（ステップＳ６２０においてＹＥＳ）、制御をステップＳ６３０に切り替える。そうでない場合には（ステップＳ６２０においてＮＯ）、ＣＰＵ１０２は、制御をステップＳ６４０に切り替える。

　ステップＳ６３０において、ＣＰＵ１０２は、第１の距離算出部２４２として、赤外光を透過するレンズ群２６＿１からの画像（図１８の「単色画像（＋赤外）」）と、赤外光をカットするレンズ群２６＿２からの画像（図１８の「単色画像（－赤外）」）との両方を用いて対応点探索処理を行なう。

　ステップＳ６４０において、ＣＰＵ１０２は、第２の距離算出部２４４として、赤外光を透過するレンズ群２６＿１からの画像（図１８の「単色画像（＋赤外）」）と、赤外光をカットするレンズ群２６＿２からの画像（図１８の「単色画像（－赤外）」）とのいずれか一方を用いて対応点探索処理を行なう。より具体的には、ＣＰＵ１０２は、撮像装置１００Ｄの制御モードが第２の制御モードであり、かつ、撮像装置１００Ｄの撮像モードが赤外透過モードである場合には、レンズ群２６＿１からの画像を用いて対応点探索処理を行なう。ＣＰＵ１０２は、撮像装置１００Ｄの制御モードが第２の制御モードであり、かつ、撮像装置１００Ｄの撮像モードが赤外カットモードである場合には、レンズ群２６＿２からの画像を用いて対応点探索処理を行なう。

　　［利点］
　以上のようにして、本実施の形態に従う撮像装置１００Ｄは、当該撮像装置１００Ｄの周囲の環境に赤外光が存在しない場合には、赤外光を透過するレンズ群２６＿１からの画像と、赤外光をカットするレンズ群２６＿２からの画像とを同じ色情報を有する画像として扱う。これにより、撮像装置１００Ｄは、レンズ群２６＿１からの画像と、レンズ群２６＿２からの画像との両方を用いて対応点探索を行なうことができる。このように、より多くの画像を用いて対応点探索を行なうことにより、対応点探索の精度が向上する。この結果、撮像装置１００Ｄは、被写体距離の算出精度を改善させることができる。また、撮像装置１００Ｄは、対応点探索の精度を上げることで、より高画質なカラー画像を生成することが可能になる。

　＜第３の実施の形態＞
　　［概要］
　以下、第３の実施の形態に従う撮像装置１００Ｅの概要について説明する。本実施の形態に従う撮像装置１００Ｅは、ＩＲ投光装置４０（図１２参照）が赤外の投光を行なっているか否かに基づいて、制御モードを設定する点で第２の実施の形態に従う撮像装置１００Ｄとは異なる。ハードウェア構成などのその他の点については第２の実施の形態に従う撮像装置１００Ｄと同じであるので、それらの説明を繰り返さない。

　本実施の形態における撮像装置１００Ｅは、当該撮像装置１００Ｅの周囲の環境に赤外光が存在しない、あるいは赤外光が少ない環境や施設などで用いられるのに好適である。さらに、撮像装置１００Ｅは、当該撮像装置１００Ｅから可視光の投光が行なわれることで周囲の環境に影響を与えることが望ましくない装置（たとえば、防犯用の監視カメラなど）などに用いられるのに好適である。

　撮像装置１００Ｅは、被写体に向けて赤外光を投光するためのＩＲ投光装置４０を備える。撮像装置１００Ｅは、ＩＲ投光装置４０が赤外光を投光しているか否かを示すＩＲ投光情報４２（図１２参照）を記憶する。撮像装置１００Ｅは、ＩＲ投光情報４２に基づいて、撮像装置１００Ｅの制御モードを設定する。

　たとえば、ＩＲ投光装置４０が赤外光を投光していないことをＩＲ投光情報４２が示している場合には、撮像装置１００Ｅは、制御モードを第１の制御モードに設定する。また、ＩＲ投光装置４０が赤外光を投光していることをＩＲ投光情報４２が示している場合には、撮像装置１００Ｅは、制御モードを第２の制御モードに設定する。

　これにより、撮像装置１００Ｅは、赤外情報が含まれるか否かを判定するための処理を省くことが可能になるので、処理時間が改善される。

　　［フローチャート］
　図１９を参照して、撮像装置１００Ｅの処理手順について説明する。図１９は、撮像装置１００Ｅが実行する処理の一部を表わすフローチャートである。図１９の処理は、撮像装置１００ＥのＣＰＵ１０２がプログラムを実行することにより実現される。他の局面において、処理の一部または全部が、画像処理回路１０６、回路素子、その他のハードウェアによって実行されてもよい。なお、ステップＳ５１０～ステップＳ６４０の処理は、図１８と同じであるので、それらの説明を繰り返さない。

　ステップＳ７１０において、ＣＰＵ１０２は、ＩＲ投光装置４０が赤外光を投光していないことをＩＲ投光情報４２が示している場合には、撮像装置１００Ｅは、制御モードを第１の制御モードに設定する。また、ＩＲ投光装置４０が赤外光を投光していることをＩＲ投光情報４２が示している場合には、ＣＰＵ１０２は、制御モードを第２の制御モードに設定する。

　（変形例）
　図２０を参照して、撮像装置１００Ｅにおける変形例に従う処理手順について説明する。図２０は、撮像装置１００Ｅが実行する処理の変形例を表すフローチャートである。図２０の処理は、撮像装置１００ＥのＣＰＵ１０２がプログラムを実行することにより実現される。他の局面において、処理の一部または全部が、画像処理回路１０６、回路素子、その他のハードウェアによって実行されてもよい。なお、ステップＳ５１０、ステップＳ６２０、ステップＳ６３０、ステップＳ６４０の処理は、図１８と同じであるので、それらの説明を繰り返さない。

　ステップＳ８１０において、ＣＰＵ１０２は、ＩＲ投光情報４２を参照して、ＩＲ投光装置４０が赤外光を投光しているか否かを判断する。ＣＰＵ１０２は、ＩＲ投光装置４０が赤外光を投光していると判断した場合には（ステップＳ８１０においてＹＥＳ）、制御をステップＳ６４０に切り替える。そうでない場合には（ステップＳ８１０においてＮＯ）、ＣＰＵ１０２は、制御をステップＳ６２０に切り替える。

　このように、ＩＲ投光装置４０が赤外光を投光している場合には、必ず、赤外光を透過するレンズ群２６＿１からの画像には赤外情報が含まれるので、ＣＰＵ１０２は、この場合のみ、赤外情報が含まれるか否かを判定するための処理を省略する。

　　［利点］
　以上のようにして、本実施の形態に従う撮像装置１００Ｅは、ＩＲ投光装置４０に基づいて、赤外光を透過するレンズ群２６＿１からの画像に赤外情報が含まれるか否かを判定する。これにより、撮像装置１００Ｅは、レンズ群２６＿１からの画像に赤外情報が含まれるか否かを判定するための処理を省くことが可能になるので、処理時間を改善することができる。

　以上説明した撮像装置は、互いに異なる視点から被写体をそれぞれ撮像する３つ以上のレンズを含む撮像部と、３つ以上のレンズのそれぞれを透過した光から得られたそれぞれの画像の全部または一部を用いて、被写体を表現する出力画像を生成する生成部とを備える。３つ以上のレンズは、第１のレンズ群と、第２のレンズ群とからなる。第１のレンズ群には、第１の波長透過特性を有するフィルタが関連付けられている。第２のレンズ群には、第１の波長透過特性に比較して赤外領域の透過率がより少ないフィルタが関連付けられている。

　撮像装置は、第１のレンズ群を透過した光を撮像して得られた第１の画像群から出力画像を生成する第１の撮像モードと、第２のレンズ群を透過した光を撮像して得られた第２の画像群から出力画像を生成する第２の撮像モードとを選択可能に構成される。

　撮像装置は、第２の画像群の全部または一部の画像の輝度情報を用いて、撮像装置の撮像モードを設定するための第１の設定部をさらに備える。

　第１の設定部は、第２のレンズ群を透過した光から得られた画像の全部または一部の輝度情報が、照度が相対的に低いことを示す所定条件を満たした場合に、撮像装置の撮像モードを第１の撮像モードに設定する。輝度情報が、所定条件を満たさない場合に、撮像装置の撮像モードを第２の撮像モードに設定する。

　撮像装置は、制御モードとして、第１のレンズ群を透過した光から得られた第１の画像群と、第２のレンズ群を透過した光から得られた第２の画像群とが、同じ色特性を有するものとする第１の制御モードと、第１の画像群と、第２の画像群とが、異なる色特性を有するものとする第２の制御モードとを有する。

　撮像装置は、当該撮像装置の制御モードが第１の制御モードである場合には、第１の画像群と第２の画像群との両方を用いて、被写体の各領域までの距離情報を算出する。

　撮像装置は、第１の画像群に属する画像の輝度情報と、第２の画像群に属する画像の輝度情報とを比較することにより、撮像装置の制御モードを設定する。

　撮像装置は、被写体に赤外光を投光するための投光部と、投光部が赤外光を投光しているか否かに基づいて、撮像装置の制御モードを設定するため第２の設定部とをさらに備える。

　また、以上説明した撮像装置の制御方法は、次の撮像装置を制御する方法である。すなわち、撮像装置は、互いに異なる視点から被写体をそれぞれ撮像する３つ以上のレンズを含む撮像部を備える。３つ以上のレンズは、第１のレンズ群と、第２のレンズ群とからなる。第１のレンズ群には、第１の波長透過特性を有するフィルタが関連付けられている。第２のレンズ群には、第１の波長透過特性に比較して赤外領域の透過率がより少ないフィルタが関連付けられている。そして、この撮像装置の制御方法は、撮像装置の撮像モードを第１の撮像モードおよび第２の撮像モードのいずれかに設定することと、撮像装置の撮像モードが第１の撮像モードである場合に、第１のレンズ群を透過した光を撮像して得られた画像から被写体を表現する出力画像を生成することと、撮像装置の撮像モードが第２の撮像モードである場合に、第２のレンズ群を透過した光を撮像して得られた画像から出力画像を生成することとを備える。

　撮像装置の他の制御方法は、撮像装置の制御モードを第１の制御モードおよび第２の制御モードのいずれかに設定することと、撮像装置の制御モードが第１の制御モードである場合に、第１のレンズ群を透過した光から得られた第１の画像群と、第２のレンズ群を透過した光から得られた第２の画像群とが、同じ色特性を有するものとすることと、撮像装置の制御モードが第２の制御モードである場合に、第１の画像群と、第２の画像群とが、異なる色特性を有するものとすることとを備える。

　また、以上説明した撮像装置を制御するための制御プログラムは、次の撮像装置を制御するための制御プログラムである。すなわち、撮像装置は、互いに異なる視点から被写体をそれぞれ撮像する３つ以上のレンズを含む撮像部を備える。３つ以上のレンズは、第１のレンズ群と、第２のレンズ群とからなる。第１のレンズ群には、第１の波長透過特性を有するフィルタが関連付けられている。第２のレンズ群には、第１の波長透過特性に比較して赤外領域の透過率がより少ないフィルタが関連付けられている。そして、この撮像装置の制御プログラムは、撮像装置に、撮像装置の撮像モードを第１の撮像モードおよび第２の撮像モードのいずれかに設定することと、撮像装置の撮像モードが第１の撮像モードである場合に、第１のレンズ群を透過した光を撮像して得られた画像から被写体を表現する出力画像を生成することと、撮像装置の撮像モードが第２の撮像モードである場合に、第２のレンズ群を透過した光を撮像して得られた画像から出力画像を生成することとを実行させる。

　撮像装置を制御するための他の制御プログラムは、撮像装置に、撮像装置の制御モードを第１の制御モードおよび第２の制御モードのいずれかに設定することと、撮像装置の制御モードが第１の制御モードである場合に、第１のレンズ群を透過した光から得られた第１の画像群と、第２のレンズ群を透過した光から得られた第２の画像群とが、同じ色特性を有するものとすることと、撮像装置の制御モードが第２の制御モードである場合に、第１の画像群と、第２の画像群とが、異なる色特性を有するものとすることとを実行させる。

　以上説明した撮像装置によれば、より高画質な画像を得ることが可能な新規な構造を得ることができ、さらにその撮像装置を制御する制御方法、制御プログラムを得ることができる。

　今回開示された実施の形態は全ての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した説明ではなく、請求の範囲によって示され、請求の範囲と均等の意味および範囲内での全ての変更が含まれることが意図される。

　１～１６，２６，２６＿１Ａ，２６＿１Ｂ，２６＿２Ａ，２６＿２Ｂ　レンズ、１Ａ～１６Ａ　画像、１Ｂ～１６Ｂ，７２Ｂ，７４Ｂ　エピポールライン、２０，２０Ａ，２０Ｂ　撮像部、２２，１１４　カメラ、２４　フィルタ、２６＿１，２６＿２　レンズ群、２８　撮像素子、２９　Ａ／Ｄ変換部、３１　被写体、４０　投光装置、４２　投光情報、４５　出力部、５０，５２，５４，７０Ａ　画素、５０Ａ　領域、６２，６４，６６　グラフ、７０　基準画像、７２，７４，７４Ａ　探索画像、１００，１００Ｄ，１００Ｅ　撮像装置、１００Ａ　デジタルカメラ、１００Ｂ　電子機器、１０４　デジタル処理回路、１０６　画像処理回路、１０８　画像表示部、１１２　記憶部、１２０　投光部、１５４　制御プログラム、１５６　モニタ、１５８　マウス、１６０　キーボード、１６２　外部記憶装置、２００　画像処理部、２１０　第１の設定部、２３０　第２の設定部、２４０　距離算出部、２４２　第１の距離算出部、２４４　第２の距離算出部、２５０　生成部、２５２　第１の生成部、２５４　第２の生成部。

Claims (12)

1. 　互いに異なる視点から被写体をそれぞれ撮像する３つ以上のレンズを含む撮像部と、
   　前記３つ以上のレンズのそれぞれを透過した光から得られたそれぞれの画像の全部または一部を用いて、前記被写体を表現する出力画像を生成する生成部とを備え、
   　前記３つ以上のレンズは、第１のレンズ群と、第２のレンズ群とからなり、
   　前記第１のレンズ群には、第１の波長透過特性を有するフィルタが関連付けられており、
   　前記第２のレンズ群には、前記第１の波長透過特性に比較して赤外領域の透過率がより少ないフィルタが関連付けられている、撮像装置。
2. 　前記撮像装置は、前記第１のレンズ群を透過した光を撮像して得られた第１の画像群から前記出力画像を生成する第１の撮像モードと、前記第２のレンズ群を透過した光を撮像して得られた第２の画像群から前記出力画像を生成する第２の撮像モードとを選択可能に構成される、請求項１に記載の撮像装置。
3. 　前記撮像装置は、前記第２の画像群の全部または一部の画像の輝度情報を用いて、前記撮像装置の撮像モードを設定するための第１の設定部をさらに備える、請求項２に記載の撮像装置。
4. 　前記第１の設定部は、前記第２のレンズ群を透過した光から得られた画像の全部または一部の輝度情報が、照度が相対的に低いことを示す所定条件を満たした場合に、前記撮像装置の撮像モードを前記第１の撮像モードに設定し、前記輝度情報が、前記所定条件を満たさない場合に、前記撮像装置の撮像モードを前記第２の撮像モードに設定する、請求項３に記載の撮像装置。
5. 　前記撮像装置は、制御モードとして、
   　　前記第１のレンズ群を透過した光から得られた第１の画像群と、前記第２のレンズ群を透過した光から得られた第２の画像群とが、同じ色特性を有するものとする第１の制御モードと、
   　　前記第１の画像群と、前記第２の画像群とが、異なる色特性を有するものとする第２の制御モードとを有する、請求項１～４のいずれか１項に記載の撮像装置。
6. 　前記撮像装置は、当該撮像装置の制御モードが前記第１の制御モードである場合には、前記第１の画像群と前記第２の画像群との両方を用いて、前記被写体の各領域までの距離情報を算出するための距離算出部をさらに備える、請求項５に記載の撮像装置。
7. 　前記撮像装置は、前記第１の画像群に属する画像の輝度情報と、前記第２の画像群に属する画像の輝度情報とを比較することにより、前記撮像装置の制御モードを設定するための第２の設定部をさらに備える、請求項５または６に記載の撮像装置。
8. 　前記撮像装置は、
   　　前記被写体に赤外光を投光するための投光部と、
   　　前記投光部が赤外光を投光しているか否かに基づいて、前記撮像装置の制御モードを設定するため第２の設定部とをさらに備える、請求項５または６に記載の撮像装置。
9. 　撮像装置を制御するための制御方法であって、
   　前記撮像装置は、互いに異なる視点から被写体をそれぞれ撮像する３つ以上のレンズを含む撮像部を備え、
   　前記３つ以上のレンズは、第１のレンズ群と、第２のレンズ群とからなり、
   　前記第１のレンズ群には、第１の波長透過特性を有するフィルタが関連付けられており、
   　前記第２のレンズ群には、前記第１の波長透過特性に比較して赤外領域の透過率がより少ないフィルタが関連付けられており、
   　前記制御方法は、
   　　前記撮像装置の撮像モードを第１の撮像モードおよび第２の撮像モードのいずれかに設定することと、
   　　前記撮像装置の撮像モードが前記第１の撮像モードである場合に、前記第１のレンズ群を透過した光を撮像して得られた画像から前記被写体を表現する出力画像を生成することと、
   　　前記撮像装置の撮像モードが前記第２の撮像モードである場合に、前記第２のレンズ群を透過した光を撮像して得られた画像から前記出力画像を生成することとを備える、制御方法。
10. 　撮像装置を制御するための制御方法であって、
    　前記撮像装置は、互いに異なる視点から被写体をそれぞれ撮像する３つ以上のレンズを含む撮像部を備え、
    　前記３つ以上のレンズは、第１のレンズ群と、第２のレンズ群とからなり、
    　前記第１のレンズ群には、第１の波長透過特性を有するフィルタが関連付けられており、
    　前記第２のレンズ群には、前記第１の波長透過特性に比較して赤外領域の透過率がより少ないフィルタが関連付けられており、
    　前記制御方法は、
    　　前記撮像装置の制御モードを第１の制御モードおよび第２の制御モードのいずれかに設定することと、
    　　前記撮像装置の制御モードが前記第１の制御モードである場合に、前記第１のレンズ群を透過した光から得られた第１の画像群と、前記第２のレンズ群を透過した光から得られた第２の画像群とが、同じ色特性を有するものとすることと、
    　　前記撮像装置の制御モードが前記第２の制御モードである場合に、前記第１の画像群と、前記第２の画像群とが、異なる色特性を有するものとすることとを備える、制御方法。
11. 　撮像装置を制御するための制御プログラムであって、
    　前記撮像装置は、互いに異なる視点から被写体をそれぞれ撮像する３つ以上のレンズを含む撮像部を備え、
    　前記３つ以上のレンズは、第１のレンズ群と、第２のレンズ群とからなり、
    　前記第１のレンズ群には、第１の波長透過特性を有するフィルタが関連付けられており、
    　前記第２のレンズ群には、前記第１の波長透過特性に比較して赤外領域の透過率がより少ないフィルタが関連付けられており、
    　前記制御プログラムは、前記撮像装置に、
    　　前記撮像装置の撮像モードを第１の撮像モードおよび第２の撮像モードのいずれかに設定することと、
    　　前記撮像装置の撮像モードが前記第１の撮像モードである場合に、前記第１のレンズ群を透過した光を撮像して得られた画像から前記被写体を表現する出力画像を生成することと、
    　　前記撮像装置の撮像モードが前記第２の撮像モードである場合に、前記第２のレンズ群を透過した光を撮像して得られた画像から前記出力画像を生成することとを実行させる、制御プログラム。
12. 　撮像装置を制御するための制御プログラムであって、
    　前記撮像装置は、互いに異なる視点から被写体をそれぞれ撮像する３つ以上のレンズを含む撮像部を備え、
    　前記３つ以上のレンズは、第１のレンズ群と、第２のレンズ群とからなり、
    　前記第１のレンズ群には、第１の波長透過特性を有するフィルタが関連付けられており、
    　前記第２のレンズ群には、前記第１の波長透過特性に比較して赤外領域の透過率がより少ないフィルタが関連付けられており、
    　前記制御プログラムは、前記撮像装置に、
    　　前記撮像装置の制御モードを第１の制御モードおよび第２の制御モードのいずれかに設定することと、
    　　前記撮像装置の制御モードが前記第１の制御モードである場合に、前記第１のレンズ群を透過した光から得られた第１の画像群と、前記第２のレンズ群を透過した光から得られた第２の画像群とが、同じ色特性を有するものとすることと、
    　　前記撮像装置の制御モードが前記第２の制御モードである場合に、前記第１の画像群と、前記第２の画像群とが、異なる色特性を有するものとすることとを実行させる、制御プログラム。

Images