JP6699897B2 - 撮像装置、自動制御システム及びシステム - Google Patents

Description

本発明の実施形態は、撮像装置、自動制御システム及びシステムに関する。

一般的に、撮像装置（カメラ）によって撮像された被写体の画像（以下、撮像画像と表記）に基づいて、当該撮像装置から被写体までの距離を示す距離情報を取得する技術が知られている。

このような技術の一例として、例えばステレオカメラと称される２つのカメラで被写体（対象物）を異なる方向から撮影することによって、当該被写体までの距離を算出することが知られている。

特開２０１３−０１７１３８号公報

しかしながら、上記したステレオカメラでは２つのカメラを所定の間隔で設ける必要があるため、小型化が困難である。

また、撮像画像に基づいて距離情報を取得する技術はステレオカメラ以外にも様々なものが存在するが、小型かつ低コストの撮像装置において高精度に距離情報を取得する技術は確立されていない。

そこで、本発明が解決しようとする課題は、小型かつ低コストで高精度に距離情報を取得することが可能な撮像装置、自動制御システム及びシステムを提供することにある。

実施形態に係る撮像装置は、被写体を撮像するために入射した光を透過するフィルタと、前記フィルタを透過した光を受光して画像を生成するイメージセンサと、算出手段とを具備する。前記フィルタは、第１のフィルタ領域と、第２のフィルタ領域と、第３のフィルタ領域と、第４のフィルタ領域とを含む。前記第１のフィルタ領域は、前記入射した光のうちの第１の波長領域の光を透過し、前記第１の波長領域とは波長が異なる第２の波長領域の光を透過しない。前記第２のフィルタ領域は、前記第１の波長領域の光を透過せず、前記第２の波長領域の光を透過する。前記第３のフィルタ領域は、前記第１の波長領域の光を透過せず、前記第２の波長領域の光を透過しない。前記第４のフィルタ領域は、前記第１の波長領域の光を透過し、前記第２の波長領域の光を透過する。前記算出手段は、前記第１の波長領域に基づいて前記イメージセンサによって生成された第１の画像または前記第２の波長領域に基づいて前記イメージセンサによって生成された第２の画像の第１のぼけ形状と、前記第１の波長領域及び前記第２の波長領域とは波長が異なる第３の波長領域に基づいて前記イメージセンサによって生成された第３の画像の第２のぼけ形状とを比較することによって、前記被写体までの距離を算出する。

第１の実施形態に係る撮像装置のハードウェア構成の一例を示すブロック図。 撮像装置の開口部に設けられているフィルタの一例について説明するための図。 第１〜第３のフィルタ領域の透過率特性の一例を表す図。 撮像装置の機能構成の一例を示す図。 撮像装置の処理手順の一例を示すフローチャート。 第１のセンサによって生成されるＲ画像について概念的に説明するための図。 第３のセンサによって生成されるＢ画像について概念的に説明するための図。 Ｒ画像のぼけ形状の大きさの変化を示す図。 Ｇ画像のぼけ形状の大きさの変化を示す図。 Ｂ画像のぼけ形状の大きさの変化を示す図。 Ｒ画像のぼけ形状に補正フィルタを適用する場合について説明するための図。 Ｒ画像のぼけ形状を表すぼけ関数及びＧ画像のぼけ形状を表すぼけ関数の一例を表す図。 距離ｄ１に対応する補正フィルタの一例を表す図。 距離ｄ２に対応する補正フィルタの一例を表す図。 距離ｄ３に対応する補正フィルタの一例を表す図。 Ｂ画像のぼけ形状に補正フィルタを適用する場合について説明するための図。 第１〜第４のフィルタ領域の別の配置例を示す図。 第１〜第４のフィルタ領域の更に別の配置例を示す図。 第１〜第４のフィルタ領域の更に別の配置例を示す図。 監視システムに適用される撮像装置の一例を示す図。 監視システムの機能構成の一例を示すブロック図。 被写体の追跡における３次元情報の活用例について説明するための図。 自動車の動作を制御する自動制御システムの機能構成の一例を示すブロック図。 自動車に設置される撮像装置の一例を示す図。 ロボットの動作を制御する自動制御システムの機能構成の一例を示す図。 自動ドアの動作を制御する自動制御システムの機能構成の一例を示すブロック図。 自動ドアシステムの動作例を示す図。 自動ドアシステムの動作例を示す図。 第２の実施形態に係る撮像装置の開口部に設けられているフィルタの一例について説明するための図。 第１のセンサによって生成されるＲ画像について概念的に説明するための図。 第３のセンサによって生成されるＢ画像について概念的に説明するための図。 第１〜第４のフィルタ領域の別の配置例を示す図。 第１〜第４のフィルタ領域の更に別の配置例を示す図。

以下、図面を参照して、各実施形態について説明する。

（第１の実施形態）
まず、第１の実施形態について説明する。図１は、本実施形態に係る撮像装置のハードウェア構成の一例を示すブロック図である。本実施形態に係る撮像装置は、例えばカメラ、カメラ機能を有する携帯電話機、スマートフォン及びＰＤＡ（Personal Digital Assistant, Personal Data Assistant）のような携帯情報端末、カメラ機能を有するパーソナルコンピュータ、または各種電子機器に内蔵される組み込みシステムとして実現され得る。

図１に示すように、撮像装置１００は、フィルタ１０、レンズ２０、イメージセンサ３０、画像処理部、及び記憶部を備える。画像処理部は、例えばＣＰＵ４０等の回路で構成される。記憶部は、例えば不揮発性メモリ５０及び主メモリ６０で構成される。撮像装置１００は、通信Ｉ／Ｆ７０、ディスプレイ８０及びメモリカードスロット９０等を更に備えていてもよい。例えば、イメージセンサ３０、ＣＰＵ４０、不揮発性メモリ５０、主メモリ６０、通信Ｉ／Ｆ７０、ディスプレイ８０及びメモリカードスロット９０は、バスを介して相互に接続され得る。

フィルタ１０は、例えば撮像装置１００の開口部に設けられ、図１において矢印によって表される被写体を撮像するために入射した光（被写体で反射した光）を透過する。

フィルタ１０が撮像装置１００の開口部に設けられている場合、レンズ２０は、当該フィルタ１０を透過した光を集光するように透過する。

フィルタ１０及びレンズ２０を透過した光は、イメージセンサ３０に到達し、イメージセンサ３０によって受光される。イメージセンサ３０は、受光した光を電気信号に変換（光電変換）することによって画像を生成する。以下の説明においては、イメージセンサ３０によって生成される画像を便宜的に撮像画像と称する。

なお、イメージセンサ３０は、例えばＣＣＤ（Charge Coupled Device）イメージセンサ及びＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等により実現される。イメージセンサ３０は、例えば赤色（Ｒ）の波長領域の光を検出するセンサ（Ｒセンサ）、緑色（Ｇ）の波長領域の光を検出するセンサ（Ｇセンサ）及び青色（Ｂ）の波長領域の光を検出するセンサ（Ｂセンサ）を有し、それぞれのセンサにより対応する波長領域の光を受光して、各波長領域（色成分）に対応する画像（Ｒ画像、Ｇ画像及びＢ画像）を生成する。すなわち、上記した撮像画像には、Ｒ画像、Ｇ画像及びＢ画像が含まれる。

なお、図１においてはフィルタ１０が撮像装置１００の開口部に設けられている場合について説明したが、当該フィルタ１０は、レンズ２０の内部に設けられていてもよいし、レンズ２０とイメージセンサ３０との間に設けられていてもよい。すなわち、フィルタ１０は、イメージセンサ３０がフィルタ１０を透過した光を受光して画像を生成することが可能な位置に設けられていればよい。

ＣＰＵ４０は、撮像装置１００の動作を統括的に制御するハードウェアプロセッサである。具体的には、ＣＰＵ４０は、不揮発性メモリ５０から主メモリ６０にロードされる各種プログラム（ソフトウェア）を実行する。なお、不揮発性メモリ５０としては、例えばＨＤＤ（Hard Disk Drive）及びＮＡＮＤ型フラッシュメモリ等の書き換え可能な記憶デバイスを用いることができる。また、主メモリ６０としては、例えばＲＡＭ（Random Access Memory）等が用いられる。

通信Ｉ／Ｆ７０は、例えば外部機器との通信等を制御するインタフェースである。ディスプレイ８０は、液晶ディスプレイ及びタッチスクリーンディスプレイ等を含む。メモリカードスロット９０は、例えばＳＤメモリカード及びＳＤＨＣメモリカード等の可搬記憶媒体を挿入して利用することができるように構成されている。メモリカードスロット９０に記憶媒体が挿入された場合、当該記憶媒体に対するデータの書き込み及び読み出しが実行され得る。データは、例えば画像データや後述する距離情報である。

なお、図１においては、フィルタ１０、レンズ２０、イメージセンサ３０、ＣＰＵ４０、不揮発性メモリ５０、主メモリ６０、通信Ｉ／Ｆ７０、ディスプレイ８０及びメモリカードスロット９０の全てが撮像装置１００内に備えられるものとして説明したが、本実施形態においては、例えばフィルタ１０、レンズ２０及びイメージセンサ３０以外のうちの少なくとも１つが撮像装置１００に備えられていないような構成であっても構わない。

次に、図２を参照して、本実施形態に係る撮像装置１００の開口部に設けられているフィルタ１０の一例について説明する。

本実施形態において、フィルタ１０は、カラーフィルタであり、特定の波長帯の光を透過する。フィルタ１０は、例えば互いに重ならない複数の領域により全領域が構成される。図２に示す例では、フィルタ１０は、第１のフィルタ領域１１、第２のフィルタ領域１２、第３のフィルタ領域１３及び第４のフィルタ領域１４を含む。

図２に示すように、第１〜第４のフィルタ領域１１〜１４は、例えばレンズ２０の光学中心に対して非点対称な形状である。第１〜第４のフィルタ領域１１〜１４は、フィルタ１０の外縁と、当該外縁の内側にあり互いに交わる少なくとも２以上の線とによって形成される。図２に示す例では、第１〜第４のフィルタ領域１１〜１４は、例えば撮像装置１００の開口部（つまり、フィルタ１０）の形状（例えば、円形状）の中心を通過し、互いに交差する２本の線１０ａ及び１０ｂによって形成される同一の大きさの扇型形状を有する。開口部の形状の中心は、例えばレンズ２０の光学中心である。２本の線１０ａ及び１０ｂは、例えば直交する。２本の線は、例えば線分である。撮像装置１００によって撮像される被写体側から見た場合において、例えば第１のフィルタ領域１１は、第３のフィルタ領域１３の左側、かつ、第４のフィルタ領域１４の上側にそれぞれ隣り合うように位置するとともに、第２のフィルタ領域１２と向かい合う位置に配置されている。すなわち、本実施形態におけるフィルタ１０は、図２に示すように、第１のフィルタ領域１１がフィルタ１０の左上、第２のフィルタ領域１２がフィルタ１０の右下、第３のフィルタ領域１３がフィルタ１０の右上、第４のフィルタ領域１４がフィルタ１０の左下にそれぞれ配置されている。第１のフィルタ領域１１と第２のフィルタ領域１２は、対向する。第３のフィルタ領域１３と第４のフィルタ領域１４は、対向する。第１のフィルタ領域１１と第２のフィルタ領域１２と第３のフィルタ領域１３と第４のフィルタ領域１４は、開口部の周に沿ってこの順に並ぶ。

第１のフィルタ領域１１は、被写体を撮像するために撮像装置１００に入射した光（以下、単に入射光と表記）のうちの第１の波長領域の光を透過する。また、第１のフィルタ領域１１は、入射光のうちの第１の波長領域とは波長が異なる第２の波長領域の光を透過しない。第１のフィルタ領域１１は、例えば第２の波長領域の光を反射することにより遮蔽する。第１のフィルタ領域１１は、例えば第２の波長領域の光を吸収することにより減衰させる。ここで、第１の波長領域は赤色の波長領域を含み、第２の波長領域は青色の波長領域を含む。第１のフィルタ領域１１は、例えば、赤色の波長領域の光と緑色の波長領域（第３の波長領域）の光とを透過し、青色の波長領域の光を透過しない「イエロー（Ｙ：Yellow）フィルタ」によって構成される。

第２のフィルタ領域１２は、入射光のうちの第１の波長領域の光を透過せず、第２の波長領域の光を透過する。上記したように第１の波長領域を赤色の波長領域、第２の波長領域を青色の波長領域とすると、第２のフィルタ領域１２は、緑色の波長領域の光と青色の波長領域の光とを透過し、赤色の波長領域の光を透過しない「シアン（Ｃ：Cyan）フィルタ」によって構成される。

第３のフィルタ領域１３は、入射光のうちの第１の波長領域の光及び第２の波長領域の光を透過しない。上記したように第１の波長領域を赤色の波長領域、第２の波長領域を青色の波長領域とすると、第３のフィルタ領域１３は、第３の波長領域（例えば緑色の波長領域）の光を透過し、赤色の波長領域の光と青色の波長領域の光とを透過しない「グリーン（Ｇ：Green）フィルタ」によって構成される。

第４のフィルタ領域１４は、入射光のうちの第１の波長領域の光及び第２の波長領域の光を透過する。上記したように第１の波長領域を赤色の波長領域、第２の波長領域を青色の波長領域とすると、第４のフィルタ領域１４は、赤色の波長領域の光と緑色の波長領域の光と青色の波長領域の光とを透過する（つまり、入射光の全色を透過する）「透明フィルタ」によって構成される。なお、開口部にフィルタ１０を設ける構成上、第４のフィルタ領域１４が「透明フィルタ」によって構成されるものとして説明するが、当該第４のフィルタ領域１４にはフィルタ（透明フィルタ）が設けられない構成であっても構わない。

ここで、図３は、上記した第１〜第３のフィルタ領域１１〜１３の透過率特性の一例を表す。図３においては、第１のフィルタ領域１１は、赤色及び緑色の波長領域の光を透過する。第２のフィルタ領域１２は、緑色及び青色の波長領域の光を透過する。更に、第３のフィルタ領域１３は、緑色の波長領域の光を透過する。

なお、図３においては第４のフィルタ領域１４の透過率特性については省略されているが、第４のフィルタ領域１４は赤色、緑色及び青色の波長領域の光を透過する「透明フィルタ」である。このように、本実施形態において、フィルタ１０は、第１〜第４のフィルタ領域１１〜１４の透過率特性がそれぞれ異なるように構成されている。

なお、本実施形態において、「透過する」とは、対応する波長領域の光を高い透過率で透過し、当該波長領域の光の減衰（すなわち、光量の低下）が極めて小さいことを意味する。すなわち、「透過する」とは、対応する波長領域の光の全てを透過する場合のみではなく、当該波長領域を主として透過するような場合をも含むものとする。

また、「透過しない」とは、対応する波長領域の光を遮蔽することであり、例えば当該波長領域の光を低い透過率で透過し、当該フィルタ領域による当該波長領域の光の減衰が極めて大きいことを意味する。すなわち、「透過しない」とは、対応する波長領域の光の全てを透過しない場合のみではなく、当該波長領域を主として透過しないような場合をも含むものとする。

具体的には、第１のフィルタ領域１１は、赤色及び緑色の波長領域の光を透過し、青色の波長領域の光を遮蔽するように構成されているが、赤色及び緑色の波長領域の光の全てを透過するものでなくてもよいし、青色の波長領域の光の全てを透過しないものでなくてもよい。他のフィルタ領域についても同様である。換言すれば、第１〜第４のフィルタ領域１１〜１４の透過率特性は、例えば、第１のフィルタ領域１１及び第４のフィルタ領域１４を透過した光から赤色の波長領域の光に基づくＲ画像を生成することができ、第１〜第４のフィルタ領域１１〜１４を透過した光から緑色の波長領域の光に基づくＧ画像を生成することができ、第２のフィルタ領域１２及び第４のフィルタ領域１４を透過した光から青色の波長領域の光に基づくＢ画像を生成することができるように設定されていればよい。

本実施形態に係る撮像装置１００は、上記したようなフィルタ１０を介して任意の被写体を撮像することによって得られる画像に基づいて、当該撮像装置１００から被写体までの距離（奥行き）を示す情報（以下、距離情報と表記）を取得する機能を有する。

図４は、本実施形態に係る撮像装置１００の機能構成の一例を示す。図４に示すように、撮像装置１００は、上述したフィルタ１０、レンズ２０及びイメージセンサ３０に加えて、機能構成部としての画像処理部１１０を含む。本実施形態において、画像処理部１１０の一部または全ては、ＣＰＵ４０等のコンピュータにプログラムを実行させること、すなわち、ソフトウェアによって実現されるものとする。コンピュータに実行させるプログラムは、コンピュータ読み取り可能な記憶媒体に格納して頒布されてもよいし、ネットワークを通じて撮像装置１００にダウンロードされてもよい。なお、画像処理部１１０の一部または全ては、ＩＣ（Integrated Circuit）等のハードウェアによって実現されてもよいし、ソフトウェア及びハードウェアの組み合わせ構成として実現されてもよい。

ここで、本実施形態において、撮像装置１００の開口部に設けられているフィルタ１０は、上記したように第１〜第４のフィルタ領域１１〜１４を含む。

イメージセンサ３０は、フィルタ１０とレンズ２０を透過した光を光電変換し、電気信号を画像処理部１１０に送る。フィルタ１０とイメージセンサ３０の間にレンズ２０が設けられてもよいし、レンズ２０とイメージセンサ３０の間にフィルタ１０が設けられてもよい。レンズ２０が複数ある場合には、２つのレンズの間にフィルタ１０が設けられてもよい。フィルタ１０は、レンズ２０の面上に設けられてもよい。

また、イメージセンサ３０は、第１〜第３のセンサ３１〜３３を含む。なお、第１のセンサ３１は第１の波長領域の光を検出するＲセンサであり、第２のセンサ３２は第２の波長領域の光を検出するＧセンサであり、第３のセンサ３３は第３の波長領域の光を検出するＢセンサである。

第１のセンサ３１は、検出された赤色の波長領域の光に基づいてＲ画像を生成する。

第２のセンサ３２は、検出された緑色の波長領域の光に基づいてＧ画像を生成する。

第３のセンサ３３は、検出された青色の波長領域の光に基づいてＢ画像を生成する。

ここで、第２のセンサ３２は上記したように第１〜第４のフィルタ領域１１〜１４の全てを透過した緑色の波長領域の光を検出するため、Ｇ画像は、他の画像（Ｒ画像及びＢ画像）より明るく、ノイズの少ない画像となり得る。また、Ｇ画像は、フィルタ１０が設けられたことによる影響が少ない画像であるといえる。このため、第２のセンサ３２によって生成されるＧ画像は、フィルタ１０を設けない場合の理想的な画像（以下、リファレンス画像と表記）に近い画像となる。一方、第１のセンサ３１によって生成されるＲ画像及び第３のセンサ３３によって生成されたＢ画像は、第１〜第４のフィルタ領域１１〜１４のうちの２つのフィルタ領域を透過した光から生成される画像であるため、リファレンス画像またはＧ画像等と異なる。このＲ画像及びＢ画像の詳細については後述する。

上記したように第１〜第３のセンサ３１〜３３によって生成されたＲ画像、Ｇ画像及びＢ画像は、画像処理部１１０に対して出力される。

図４に示すように、画像処理部１１０は、入力部１１１、距離算出部１１２及び画像生成部１１３を含む。

入力部１１１は、第１〜第３のセンサ３１〜３３によって生成されたＲ画像、Ｇ画像及びＢ画像を入力する。

距離算出部１１２は、入力部１１１によって入力されたＲ画像、Ｇ画像及びＢ画像に基づいて、撮像装置１００から被写体までの距離（以下、被写体距離と表記）を算出する。この場合、距離算出部１１２は、撮像画像の画素毎に被写体距離を算出する。なお、距離算出部１１２による被写体距離の算出処理については後述する。

画像生成部１１３は、入力部１１１によって入力されたＲ画像、Ｇ画像及びＢ画像と距離算出部１１２によって画素毎に算出された被写体距離（を示す距離情報）とに基づいて、ディスプレイ８０に表示される画像（以下、表示画像と表記）を生成する。

なお、図４においては撮像装置１００が画像処理部１１０を含むものとして説明したが、当該画像処理部１１０は、例えば撮像装置１００とは別個の画像処理装置等に設けられていても構わない。

次に、図５のフローチャートを参照して、本実施形態に係る撮像装置１００の処理手順について説明する。

まず、撮像装置１００による被写体の撮像が開始されると、撮像装置１００に設けられているフィルタ１０及びレンズ２０を透過した光がイメージセンサ３０に到達する。

この場合、イメージセンサ３０に含まれる第１のセンサ３１（Ｒセンサ）は、第１のフィルタ領域１１及び第４のフィルタ領域１４を透過した光から赤色の波長領域の光を検出（受光）してＲ画像を生成する（ステップＳ１）。

なお、このステップＳ１において生成されるＲ画像は、上述したようにリファレンス画像等と異なる。

ここで、図６を参照して、第１のセンサ３１によって生成されるＲ画像について概念的に説明する。

上述したように撮像装置１００の開口部に設けられるフィルタ１０には透過率特性の異なる第１〜第４のフィルタ領域１１〜１４が含まれるが、以下の説明においては、当該第１〜第４のフィルタ領域１１〜１４のうち赤色の波長領域の光を透過する第１のフィルタ領域１１及び第４のフィルタ領域１４を含む領域（つまり、撮像装置１００によって撮像される被写体側から見た場合におけるフィルタ１０の左半分の領域）を便宜的にＲフィルタ領域２０１と称する。図６の右列と中列はイメージセンサ３０上に形成される画像のぼけ形状を表し、左列は、それぞれ撮像装置１００を上方向（つまり、Ｙ軸の正方向）から見た場合におけるレンズ２０及びフィルタ１０の組み合わせとイメージセンサ３０とを示している。

なお、以下の説明においては、撮像装置１００においてピントが合う位置（以下、ピント位置と表記）から被写体までの距離を距離ｄと称する。なお、距離ｄは、ピント位置を基準（０）として、被写体の位置がピント位置よりも遠い場合には正の値となり、被写体の位置がピント位置よりも近い場合には負の値となるものとする。

まず、被写体の位置がピント位置よりも遠い、つまり、距離ｄ＞０の場合を想定する。この場合、被写体にはピントが合っていないため、Ｒ画像においては、ぼけが生じる。これは、Ｇ画像においても同様である。

また、上記したようにＲ画像は、Ｒフィルタ領域（フィルタ１０の左半分の領域）２０１を透過した光に基づいて生成される画像である。このため、距離ｄ＞０の場合のＲ画像のぼけの形状（以下、単にぼけ形状と表記）２０１ａは、図６の上段に示すように、例えばＧ画像のぼけ形状２０２ａと比較して右側に偏った形状となる。すなわち、Ｇ画像のぼけ形状２０２ａはフィルタ１０（開口部）の形状に応じた点対称形状であり、Ｒ画像のぼけ形状２０１ａは、Ｒフィルタ領域２０１の形状に応じた非点対称形状（右側に偏った形状）である。

なお、本実施形態において説明するぼけ形状とは、特定の画素を含む所定の範囲において生じているぼけの形状であるものとする。以下に説明においても同様である。

なお、ぼけ形状２０１ａ及び２０２ａのようなぼけの形状を表す関数は、ぼけ関数（ＰＳＦ：Point Spread Function）と称される。

次に、被写体の位置がピント位置に一致する、つまり、距離ｄ＝０の場合を想定する。図６の中段に示すように、この場合のＲ画像においては、ぼけは生じない。なお、距離ｄ＝０の場合、Ｇ画像においても同様にぼけは生じない。

更に、被写体の位置がピント位置よりも近い、つまり、距離ｄ＜０の場合を想定する。この場合、被写体にはピントが合っていないため、Ｒ画像においては、ぼけが生じる。

また、上記したようにＲ画像はＲフィルタ領域２０１を透過した光に基づいて生成される画像であるが、距離ｄ＜０の場合のＲ画像のぼけ形状２０１ｂは、図６の下段に示すように、例えばＧ画像のぼけ形状２０２ｂと比較して左側に偏った形状となる。

すなわち、ぼけ形状２０１ｂは、上記したぼけ形状２０１ａと同様にＲフィルタ領域２０１の形状に応じた非点対称形状であり、当該ぼけ形状２０１ａをＹ軸方向に平行な位置直線を中心にして反転した形状となる。

一方、この場合におけるＧ画像のぼけ形状２０２ｂは、上記したＧ画像のぼけ形状２０２ａと同様の点対称形状となる。

再び図５に戻ると、イメージセンサ３０に含まれる第２のセンサ３２（Ｇセンサ）は、第１〜第４のフィルタ領域１１〜１４を透過した光から緑色の波長領域の光を検出（受光）してＧ画像を生成する（ステップＳ２）。

なお、上述したように緑色の波長領域の光は全てのフィルタ領域を透過するため、Ｇ画像は、リファレンス画像に近い画像となる。

次に、イメージセンサ３０に含まれる第３のセンサ３３（Ｂセンサ）は、第２のフィルタ領域１２及び第４のフィルタ領域１４を透過した光から青色の波長領域の光を検出（受光）してＢ画像を生成する（ステップＳ３）。

なお、このステップＳ３において生成されるＢ画像は、上述したようにリファレンス画像等と比較して異なる。

ここで、図７を参照して、第３のセンサ３３によって生成されるＢ画像について概念的に説明する。なお、図７に示すＧ画像のぼけ形状については、図６において説明した通りであるため、その詳しい説明を省略する。

上述したように撮像装置１００の開口部に設けられるフィルタ１０には透過率特性の異なる第１〜第４のフィルタ領域１１〜１４が含まれるが、以下の説明においては、当該第１〜第４のフィルタ領域１１〜１４のうち青色の波長領域の光を透過する第２のフィルタ領域１２及び第４のフィルタ領域１４を含む領域（つまり、撮像装置１００によって撮像される被写体側から見た場合におけるフィルタ１０の下半分の領域）を便宜的にＢフィルタ領域２０３と称する。図７の右列と中列はイメージセンサ３０上に形成される画像のぼけ形状を表し、左列は、それぞれ撮像装置１００を右方向（つまり、Ｘ軸の正方向）から見た場合におけるレンズ２０及びフィルタ１０の組み合わせとイメージセンサ３０とを示している。

まず、被写体の位置がピント位置よりも遠い、つまり、距離＞０の場合を想定する。この場合、被写体にはピントが合っていないため、Ｂ画像においては、ぼけが生じる。これは、Ｇ画像においても同様である。

また、上記したようにＢ画像は、Ｂフィルタ領域（フィルタ１０の下半分の領域）２０３を透過した光に基づいて生成される画像である。このため、距離ｄ＞０の場合のＢ画像のぼけ形状２０３ａは、図７の上段に示すように、例えばＧ画像のぼけ形状２０２ａと比較して上側に偏った形状となる。すなわち、Ｂ画像のぼけ形状２０３ａは、Ｂフィルタ領域２０３の形状に応じた非点対称形状（上側に偏った形状）である。

次に、被写体の位置がピント位置に一致する、つまり、距離ｄ＝０の場合を想定する。図７の中段に示すように、この場合のＢ画像においては、ぼけは生じない。

更に、被写体の位置がピント位置よりも近い、つまり、距離ｄ＜０の場合を想定する。この場合、被写体にはピントが合っていないため、Ｂ画像においては、ぼけが生じる。

また、上記したようにＢ画像はＢフィルタ領域２０３を透過した光に基づいて生成される画像であるが、距離ｄ＜０の場合のＢ画像のぼけ形状２０３ｂは、図７の下段に示すように、例えばＧ画像のぼけ形状２０２ｂと比較して上側に偏った形状となる。

すなわち、ぼけ形状２０３ｂは、上記したぼけ形状２０３ａと同様にＢフィルタ領域２０３の形状に応じた非点対称形状であり、当該ぼけ形状２０３ａをＸ軸方向に平行な位置直線を中心にして反転した形状となる。

上記したようにＲ画像及びＢ画像においては、距離ｄに応じてぼけ形状が変化する。具体的には、Ｒ画像のぼけ形状は、距離ｄ＞０であればＧ画像のぼけ形状の左側が欠けた半円形状のような形状（非点対称形状）に変化し、距離ｄ＜０であればＧ画像のぼけ形状の右側が欠けた半円形状のような形状に変化する。一方、Ｂ画像のぼけ形状は、距離ｄ＞０であればＧ画像のぼけ形状の下側が欠けた半円形状のような形状（非点対称形状）に変化し、距離ｄ＜０であればＧ画像のぼけ形状の上側が欠けた半円形状のような形状（非点対称形状）に変化する。

また、図６及び図７においては示されていないが、Ｒ画像、Ｇ画像及びＢ画像におけるぼけ形状の大きさ（幅）は、距離｜ｄ｜に依存する。なお、図８は、Ｒ画像のぼけ形状の大きさが距離｜ｄ｜に応じて変化することを示している。図９は、Ｇ画像のぼけ形状の大きさが距離｜ｄ｜に応じて変化することを示している。図１０は、Ｂ画像のぼけ形状の大きさが距離｜ｄ｜に応じて変化することを示している。すなわち、ぼけ形状の大きさは、距離｜ｄ｜が大きいほど大きく（幅が広く）なる。

本実施形態においては、上記したようなフィルタ１０を透過した光に基づいて生成される撮像画像（Ｒ画像、Ｇ画像及びＢ画像）の特性を利用して被写体距離が算出される。

再び図５に戻ると、上記したステップＳ１において生成されたＲ画像、ステップＳ２において生成されたＧ画像及びステップＳ３において生成されたＢ画像は、画像処理部１１０に含まれる入力部１１１によって入力される。

距離算出部１１２は、入力部１１１によって入力されたＲ画像、Ｇ画像及びＢ画像に基づいて、被写体距離を算出する（ステップＳ４）。なお、ステップＳ４においては、例えばリファレンス画像に近いＧ画像を基準として、上記したピント位置から被写体までの距離ｄに応じて変化するＲ画像及びＢ画像のぼけ形状と当該Ｇ画像のぼけ形状とを比較することによって撮像画像を構成する画素毎に被写体距離を算出する。

以下、距離算出部１１２による算出処理（つまり、ステップＳ４の処理）について説明する。ここでは、リファレンス画像に近い画像であるＧ画像を基準画像、当該基準画像と比較してぼけ形状が変化しているＲ画像及びＢ画像の各々を対象画像と称する。

ステップＳ４において、距離算出部１１２は、任意の距離に対応するぼけを付加する補正フィルタ（補正カーネル）を適用して対象画像のぼけ形状を補正し、当該補正された対象画像のぼけ形状と基準画像のぼけ形状とを比較することによって被写体距離を算出する。なお、補正フィルタは、対象画像のぼけ形状に適用することによって、当該ぼけ形状にぼけを付加する関数（ぼけ関数）を含む。また、補正フィルタは、異なる距離ｄ毎に予め用意されているものとする。

ここで、図１１を参照して、Ｒ画像のぼけ形状に補正フィルタを適用する場合について説明する。ここでは、図１１に示すように、距離ｄ＞０の場合のＲ画像のぼけ形状２０１ａについて説明する。

図１１に示す補正フィルタ３０１は、上記したＲフィルタ領域２０１（第１のフィルタ領域１１及び第４のフィルタ領域１４）と他のフィルタ領域（第２のフィルタ領域１２及び第３のフィルタ領域１３）とを分割する線（図２に示す線１０ａ）の中心点を通り、かつ、当該線に対して垂直なＸ軸の負方向の直線上（直線付近）にぼけが分布するぼけ関数に相当する。

このような補正フィルタ３０１がＲ画像のぼけ形状２０１ａに適用された場合には、図１１に示すように、Ｒ画像のぼけ形状２０１ａにぼけが付加されたぼけ形状４０１が生成される。

なお、図１１においては１つの補正フィルタのみについて説明したが、本実施形態においては、上記したように異なる距離ｄの各々に対応する複数の補正フィルタが用意されている。このため、ぼけ形状２０１ａに対してぼけが付加された（つまり、当該ぼけ形状２０１ａが補正された）後のぼけ形状は、補正フィルタ（異なる距離ｄ）毎に生成される。上記したようにぼけ形状の幅（大きさ）は距離ｄに依存するため、距離ｄの各々に対応する補正フィルタは、当該補正フィルタによって付加されるぼけの大きさ（量）が異なる。

この場合、距離算出部１１２は、異なる距離ｄ毎に生成されたぼけ形状（以下、補正後のぼけ形状と表記）の各々と基準画像（Ｇ画像）のぼけ形状（以下、基準ぼけ形状と表記）とを比較し、当該補正後のぼけ形状及び当該基準ぼけ形状が一致しているか否かを判定する。これにより、距離算出部１１２は、異なる距離ｄ毎に生成された複数の補正後のぼけ形状のうち、基準ぼけ形状と一致していると判定された補正後のぼけ形状の生成に用いられた補正フィルタに対応する距離ｄを特定する。

ここで、図１２〜図１５を参照して、異なる距離ｄの各々に対応する複数の補正フィルタについて概念的に説明する。

図１２は、Ｒ画像のぼけ形状２０１ａを表すぼけ関数及びＧ画像のぼけ形状２０２ａを表すぼけ関数を表している。

これに対して、図１３は、例えば距離ｄ１に対応する補正フィルタ３０１ａ（によって付加されるぼけを表すぼけ関数）を表す。図１４は、例えば距離ｄ２に対応する補正フィルタ３０１ｂ（によって付加されるぼけを表すぼけ関数）を表す。図１５は、例えば距離ｄ３に対応する補正フィルタ３０１ｃ（によって付加されるぼけを表すぼけ関数）を表す。なお、補正フィルタ３０１ａ〜３０１ｃは、Ｒ画像のぼけ形状２０１ａに適用される補正フィルタとして予め用意されている。なお、距離ｄ１，ｄ２及びｄ３は、ｄ１＜ｄ２＜ｄ３の関係にあるものとする。

この場合、図１２に示すＲ画像のぼけ形状２０１ａ（を表すぼけ関数）に対して各補正フィルタ３０１ａ〜３０１ｃを適用する（畳み込む）ことにより、当該ぼけ形状２０１ａに対してぼけが付加される。このようにぼけ形状２０１ａに対してぼけが付加された後のぼけ形状（つまり、補正後のぼけ形状）と基準画像のぼけ形状（基準ぼけ形状）２０２ａとが一致するか否かが判定される。

例えば、図１２及び図１３を参照すると、Ｒ画像のぼけ形状２０１ａに補正フィルタ３０１ａに対応するぼけ（形状）を付加したとしても、補正後のぼけ形状は、基準ぼけ形状２０２ａとは一致しない。

例えば、図１２及び図１４を参照すると、Ｒ画像のぼけ形状２０１ａに補正フィルタ３０１ｂに対応するぼけを付加した場合、補正後のぼけ形状は、基準ぼけ形状２０２ａと一致する。

例えば、図１２及び図１５を参照すると、Ｒ画像のぼけ形状２０１ａに補正フィルタ３０１ｃに対応するぼけを付加したとしても、補正後のぼけ形状は、基準ぼけ形状２０２ａとは一致しない。

これによれば、距離算出部１１２は、補正フィルタ３０１ｂに対応する距離ｄ２を特定することができる。

なお、本実施形態においては、補正後のぼけ形状と基準ぼけ形状が完全に一致する場合のみではなく、例えば補正後のぼけ形状と基準ぼけ形状との一致度が所定の値（閾値）以上である場合に、当該補正後のぼけ形状の生成に用いられた補正フィルタに対応する距離ｄが特定されてもよい。この一致度は、例えば類似度評価手法等を用いて補正後のぼけ形状及び基準ぼけ形状の相関を計算することによって算出することができる。すなわち、基準ぼけ形状との相関が最も高くなる補正後のぼけ形状を求めることによって距離ｄを特定すればよい。

類似度評価手法としては、ＳＳＤ（Sum of Squared Difference）、ＳＡＤ（Sum of Absolute Difference）、ＮＣＣ（Nomalized Cross-Correlation）、ＺＮＣＣ（Zero-mean Nomalized Cross-Correlation）、Color Alignment Measure等を用いることができる。

上記したような処理が実行されることによって、Ｒ画像及びＧ画像を用いて距離ｄを特定し、当該距離ｄ及び撮像装置１００における焦点距離（ピント位置）等に基づいて被写体距離を算出することができる。

ここでは、距離ｄ＞０の場合のＲ画像のぼけ形状２０１ａについて主に説明したが、例えば距離ｄ＜０の場合のＲ画像のぼけ形状２０１ｂについても同様である。具体的には、ぼけ形状２０１ｂの場合は、補正フィルタ３０１とは反対方向（Ｘ軸の正方向）にぼけが分布する補正フィルタを適用することによって補正後のぼけ形状が生成されればよい。なお、補正後のぼけ形状が生成された後の処理については、距離ｄ＞０の場合と同様である。

次に、図１６を参照して、Ｂ画像のぼけ形状に補正フィルタを適用する場合について説明する。ここでは、図１６に示すように、距離ｄ＞０の場合のＢ画像のぼけ形状２０３ａについて説明する。

図１６に示す補正フィルタ３０２は、上記したＢフィルタ領域２０３（第２のフィルタ領域１２及び第４のフィルタ領域１４）と他のフィルタ領域（第１のフィルタ領域１１及び第３のフィルタ領域１３）とを分割する線（図２に示す線１０ｂ）の中心点を通り、かつ、当該線に対して垂直なＹ軸の負方向の直線上（直線付近）にぼけが分布するぼけ関数に相当する。

このような補正フィルタ３０２がＢ画像のぼけ形状２０３ａに適用された場合には、図１６に示すように、Ｂ画像のぼけ形状２０３ａにぼけが付加されたぼけ形状４０２（補正画像）が生成される。

なお、図１６においては１つの補正フィルタのみについて説明したが、本実施形態においては、上記したように異なる距離ｄの各々に対応する複数の補正フィルタが用意されている。このため、ぼけ形状２０３ａに対してぼけが付加された（つまり、当該ぼけ形状２０３ａが補正された）後のぼけ形状は、補正フィルタ（異なる距離ｄ）毎に生成される。

この場合、距離算出部１１２は、異なる距離ｄ毎に生成されたぼけ形状（補正後のぼけ形状）の各々と基準ぼけ形状とを比較し、当該補正後のぼけ形状及び当該基準ぼけ形状が一致しているか否かを判定する。これにより、距離算出部１１２は、異なる距離ｄ毎に生成された複数の補正後のぼけ形状のうち、基準ぼけ形状と一致していると判定された補正後のぼけ形状の生成に用いられた補正フィルタに対応する距離ｄを特定する。

なお、Ｂ画像に対して予め用意されている異なる距離ｄの各々に対応する複数の補正フィルタについては、上述した図１２〜図１５等において説明した通りであるため、その詳しい説明を省略する。

上記したような処理が実行されることによって、Ｂ画像及びＧ画像を用いて距離ｄを特定し、当該距離ｄ及び撮像装置１００における焦点距離（ピント位置）等に基づいて被写体距離を算出することができる。

ここでは、距離ｄ＞０の場合のＢ画像のぼけ形状２０３ａについて主に説明したが、例えば距離ｄ＜０の場合のＢ画像のぼけ形状２０３ｂについても同様である。具体的には、ぼけ形状２０３ｂの場合は、補正フィルタ３０２とは反対方向（Ｙ軸の正方向）にぼけが分布する補正フィルタを適用することによって補正後のぼけ形状が生成されればよい。なお、補正後のぼけ形状が生成された後の処理については、距離ｄ＞０の場合と同様である。

なお、被写体距離はＲ画像及びＢ画像の一方とＧ画像とを用いて算出することが可能である。例えば図５のステップＳ１とステップＳ３のいずれか一方を省略し、Ｓ４で２種類の画像から距離を算出してもよい。３種類の画像を用いて距離を算出する場合には、例えばＲ画像とＧ画像とを用いて特定された距離ｄ及びＢ画像とＧ画像とを用いて特定された距離ｄの双方を勘案することによって、より精度の高い被写体距離を算出することができる。この場合、Ｒ画像とＧ画像とを用いて特定された距離ｄ及びＢ画像とＧ画像とを用いて特定された距離ｄのうち、例えば、より高い一致度（相関）が算出されることによって特定された距離ｄに基づいて被写体距離が算出されてもよい。また、Ｒ画像とＧ画像とを用いて特定された距離ｄ及びＢ画像とＧ画像とを用いて特定された距離ｄの平均値等に基づいて被写体距離が算出されてもよい。

また、Ｒ画像及びＢ画像毎に、異なる距離ｄの各々に対応する補正後のぼけ形状と基準ぼけ形状との一致度の曲率を算出することができる。この一致度の曲率は、Ｒ画像またはＢ画像を用いて特定された距離ｄの信頼度に相当する。よって、Ｒ画像とＧ画像とを用いて特定された距離ｄ及びＢ画像とＧ画像とを用いて特定された距離ｄのうち、上記した一致度の曲率に基づく信頼度の高い距離ｄに基づいて被写体距離が算出されるようにしてもよい。

ここで、上記したぼけ形状とは特定の画素を含む所定の範囲のぼけの形状である。このため、本実施形態においては、上記した処理を撮像画像を構成する画素毎に実行することによって、当該画素毎に被写体距離を示す距離情報を取得することができる。

再び図５に戻ると、画像生成部１１３は、入力部１１１によって入力されたＲ画像、Ｇ画像及びＢ画像と、ステップＳ４において画素毎に算出された被写体距離を示す距離情報とに基づいて表示画像を生成する（ステップＳ５）。表示画像は、撮像画像に対して空間の奥行き（すなわち、距離情報）が付加された画像（以下、距離画像と表記）を含む。なお、距離画像（距離マップ）においては、例えば、当該距離画像に含まれる被写体までの距離が撮像装置１００に近い場合には当該被写体（に対応する画素）は赤色で表示され、当該被写体までの距離が撮像装置１００から遠い場合には当該被写体（に対応する画素）は青色で表示される。このような距離画像によれば、撮像装置１００から被写体までの距離を直感的に把握することが可能となる。なお、距離画像は、例えば撮像画像における輝度差に応じて検出されたエッジ部分にのみ距離情報が付加された画像等であっても構わない。

なお、本実施形態においては、Ｒ画像、Ｇ画像及びＢ画像に基づいてカラー画像（ＲＧＢ画像）を生成することも可能である。このため、上記した表示画像としてカラー画像が生成されても構わない。この場合、ステップＳ４において算出された被写体距離に応じてＲ画像及びＢ画像のぼけ形状を補正した上でカラー画像が生成されるようにしてもよい。また、このように生成されたカラー画像に対して被写体距離に基づく画像処理（例えば、ぼけを除去する処理等）を実行することによって、全焦点画像（全ての距離で焦点を合わせた画像）またはリフォーカス画像（指定した距離で焦点を合わせた画像）等が生成されてもよい。

上記したように画像生成部１１３によって生成された表示画像は、例えばディスプレイ８０に出力され、当該ディスプレイ８０に表示される。なお、上記した距離画像、カラー画像、全焦点画像及びリフォーカス画像を生成しておき、ユーザによって指定された画像が表示画像としてディスプレイ８０に表示されるようにしてもよい。ここでは表示画像がディスプレイ８０に出力されるものとして説明したが、当該表示画像は、撮像装置１００の外部の各種装置に出力されても構わない。

また、本実施形態においては距離情報を利用して様々な情報（画像）を出力することが可能である。

具体的には、例えばカラー画像中の位置（範囲）と撮像装置１００からの距離との対応関係を表すリスト（表）が出力されてもよいし、所定の距離の範囲内にある被写体（に対応する画素）のみが表示されるような画像が出力されてもよい。また、撮像画像中における撮像装置１００からの距離の最大値、最小値、中央値（中心値）及び平均値が出力されてもよいし、カラー画像の領域を距離に応じて分割した結果が出力されてもよい。また、任意の距離に存在する被写体のみを抽出した結果が出力されてもよい。更に、距離情報を利用した撮像画像中の物体に対する認識処理及び撮像画像中の人物または動物に対する行動認識処理の結果が出力されても構わない。また、撮像装置１００がフォーカス機構を備える場合には、距離情報を当該フォーカス機構に出力することによって、当該距離情報がフォーカス速度の向上のために使用されてもよい。このように本実施形態において算出される被写体距離を示す距離情報は、様々な処理に利用されても構わない。

また、上記したカラー画像及び距離画像は別個に出力されるのではなく、例えばカラー画像（データ）の後に距離画像（データ）をつなげて出力してもよい。また、例えばＹＵＶ（輝度信号、色差信号［Ｃｂ］、色差信号［Ｃｒ］）形式の画像データの後に距離画像をつなげて出力してもよい。更に、カラー画像の後に上記したリストを出力してもよい。

また、距離画像が出力される場合には、当該距離画像上の指定された位置に対応する距離がポップアップで表示されてもよい。また、カラー画像上に距離情報がポップアップで表示されるようにしてもよい。

なお、本実施形態においては、画素毎に被写体距離が算出されるものとして説明したが、当該距離は、画像中の全ての画素に対して算出されなくてもよい。例えば、距離を検出する対象となる被写体が予め特定されていてもよい。被写体の特定は、例えば画像認識、撮像装置１００を使用するユーザの入力による指定により行うことができる。

更に、全ての画素に対して被写体距離が算出されている場合であっても、出力データに当該被写体距離（を示す距離情報）の全てを載せなくても構わない。例えば画像認識等によって重要でないと判別されるような領域に関しては距離情報を載せなくても構わない。

上記したように本実施形態においては、被写体を撮像するために入射した光（入射光）を透過するフィルタ１０が、赤色の波長領域（第１の波長領域）の光を透過し、青色の波長領域（第２の波長領域）の光を透過しない（遮蔽する）第１のフィルタ領域１１と、赤色の波長領域の光を透過せず、青色の波長領域の光を透過する第２のフィルタ領域１２と、赤色の波長領域の光を透過せず、青色の波長領域の光を透過しない第３のフィルタ領域１３と、赤色の波長領域の光を透過し、青色の波長領域の光を透過する第４のフィルタ領域１４とを含む。

なお、このようなフィルタ１０を用いた場合、第１のフィルタ領域１１及び第４のフィルタ領域１４を透過した赤色の波長領域の光に基づいてイメージセンサ３０（に含まれる第１のセンサ３１）によって生成されたＲ画像（第１の画像）のぼけ形状と、第２のフィルタ領域１２及び第４のフィルタ領域１４を透過した青色の波長領域の光に基づいてイメージセンサ３０（に含まれる第３のセンサ３３）によって生成されたＢ画像（第２の画像）のぼけ形状とは異なり、Ｒ画像のぼけ形状及びＢ画像のぼけ形状は非点対称形状となる。

本実施形態においては、このようなフィルタ１０を透過した入射光に基づいて生成される撮像画像（Ｒ画像、Ｂ画像及びＧ画像）から被写体距離を算出することができるため、小型かつ低コストで高精度に距離情報を取得することが可能となる。

ところで、本実施形態においては、上記したようにＲフィルタ領域２０１（第１のフィルタ領域１１及び第４のフィルタ領域１４）を透過した赤色の波長領域の光に基づいて生成されたＲ画像のぼけ形状に対して補正フィルタを畳み込み、ぼけを付加することによって、被写体距離を算出することができる。同様に、本実施形態においては、Ｂフィルタ領域２０３（第２のフィルタ領域１２及び第４のフィルタ領域１４）を透過した青色の波長領域の光に基づいて生成されたＢ画像のぼけ形状に対して補正フィルタを畳み込み、ぼけを付加することによって、被写体距離を算出することができる。以下、Ｒ画像のぼけ形状に対してぼけが付加される方向をＲ画像の畳み込み方向、Ｂ画像のぼけ形状に対してぼけが付加される方向をＢ画像の畳み込み方向と称する。

本実施形態においては、例えば図２に示すように、第１のフィルタ領域１１は第４のフィルタ領域１４の上側に隣接するように配置され、第２のフィルタ領域１２は第４のフィルタ領域１４の右側に隣接するように配置されている。このような構成により、本実施形態におけるＲ画像の畳み込み方向は左方向または右方向であり、Ｂ画像の畳み込み方向は上方向または下方向である。

ここで、例えば図２に示す位置に配置されているフィルタ領域１１〜１４のうち、第１のフィルタ領域１１及び第４のフィルタ領域１４がＲフィルタ領域であり、第２のフィルタ領域１２及び第３のフィルタ領域１３がＢフィルタ領域となるように構成されたフィルタを想定する。なお、このようなフィルタは、例えば当該フィルタの左半分を「イエローフィルタ」とし、当該フィルタの右半分を「シアンフィルタ」とすることで実現される。以下、このフィルタを左右２分割型フィルタと称する。

左右２分割型フィルタが開口部に設けられる場合においても本実施形態に係る撮像装置１００と同様に被写体距離を算出することが可能であるが、この場合におけるＲ画像及びＢ画像の畳み込み方向は双方とも水平方向（左右方向）となる。具体的には、Ｒ画像の畳み込み方向が左方向の場合にはＢ画像の畳み込み方向は右方向となり、Ｒ画像の畳み込み方向が右方向の場合にはＢ画像の畳み込み方向は左方向となる。

ところで、撮像画像中に水平方向のエッジが存在する場合、Ｒ画像及びＢ画像中のエッジ部分で当該エッジに沿うような方向（左右方向）に補正フィルタを畳み込んだとしても、被写体距離を算出することはできない。具体的には、Ｒフィルタ領域及びＢフィルタ領域を分割する線と直交する方向のエッジに関しては、異なる距離ｄに対応する複数の補正フィルタを畳み込んだとしても、当該畳み込み結果（つまり、補正後のぼけ形状）は同一となり、距離ｄを特定することができないため、結果として被写体距離を算出することができない。

したがって、上記した左右２分割型フィルタを用いた場合には、Ｒ画像の畳み込み方向及びＢ画像の畳み込み方向は双方とも左右方向となるため、水平方向のエッジ部分に関してはＲ画像を用いた場合であってもＢ画像を用いた場合であっても被写体距離を算出（検出）することができない。

これに対して、本実施形態においては、Ｒ画像の畳み込み方向及びＢ画像の畳み込み方向が交差する（直交する）ように第１〜第４のフィルタ領域１１〜１４が配置されている。このため、水平方向のエッジの場合には畳み込み方向が垂直方向（上下方向）であるＢ画像を用いる（つまり、Ｂ画像とＧ画像とを比較する）ことによって距離ｄを特定することが可能であるし、垂直方向のエッジの場合には畳み込み方向が水平方向（左右方向）であるＲ画像を用いる（つまり、Ｒ画像とＧ画像とを比較する）ことによって距離ｄを特定することが可能である。

すなわち、本実施形態においては、Ｒフィルタ領域及び他の領域を分割する線とＢフィルタ領域及び他の領域を分割する線とが交差するように第１〜第４のフィルタ領域１１〜１４を配置し、Ｒ画像及びＢ画像の畳み込み方向を一致させないことにより、エッジの方向にかかわらず被写体距離を算出することが可能となる。

なお、図２に示す第１〜第４のフィルタ領域１１〜１４の配置（すなわち、フィルタ１０の構成）は一例であり、フィルタ１０は、上記したようにＲ画像及びＢ画像の畳み込み方向が一致しないように第１〜第４のフィルタ領域１１〜１４が配置されていればよい。例えば、第１のフィルタ領域１１及び第２のフィルタ領域１２の配置が入れ替えられてもよいし、第３フィルタ領域１３及び第４のフィルタ領域１４の配置が入れ替えられてもよい。

また、フィルタ１０は互いに交わる少なくとも２以上の線によって第１〜第４のフィルタ領域１１〜１４に分割されていればよく、例えば図１７に示すようにフィルタ１０の中心で交差する３本の線（直線）１０ｂ、１０ｃ及び１０ｄによって、フィルタ１０（の領域）が第１〜第４のフィルタ領域１１〜１４に分割されていても構わない。

更に、本実施形態においては第１〜第４のフィルタ領域１１〜１４が図２に示すように同一の大きさの扇型形状であるものとして説明したが、例えば図１８に示す２本の線１０ｅ及び１０ｆによってフィルタ１０が分割されるように、第１〜第４のフィルタ領域１１〜１４の全てが同一の形状でなくても構わない。また、例えば図１９に示す線１０ｇ及び１０ｈのように、フィルタ１０を第１〜第４のフィルタ領域１１〜１４に分割する２以上の線は、フィルタ１０の中心で交差するものでなくてもよい。また、図示しないが、フィルタ１０を第１〜第４のフィルタ領域１１〜１４に分割する線は直線でなく曲線であっても構わない。

また、本実施形態においてはフィルタ１０が４つのフィルタ領域に分割されるものとして説明したが、Ｒ画像及びＢ画像の畳み込み方向が異なるようにＲフィルタ領域及びＢフィルタ領域が配置されており、かつ、フィルタ１０に含まれるフィルタ領域の全てが緑色の波長領域の光を透過するように構成されていれば、フィルタ領域の数は５以上であっても構わない。なお、Ｇ画像に相当する基準画像を生成することが可能であれば、フィルタ１０に含まれる少なくとも１つのフィルタ領域が緑色の波長領域の光を透過しない構成であってもよい。

ここで、本実施形態においては、フィルタ１０に含まれる第１〜第４のフィルタ領域１１〜１４の全てを透過する波長領域の光の色（以下、共通色と表記）が緑色である場合について説明したが、これは、緑色の波長領域を受光するセンサ（第２のセンサ３２）が赤色の波長領域を受光するセンサ（第１のセンサ３１）及び青色の波長領域を受光するセンサ（第３のセンサ３３）よりも多く配置されたイメージセンサ３０が採用されている場合が多いためである。このようなイメージセンサ３０の場合には、共通色を緑色とすることにより、イメージセンサ３０が受光する光量を増加させることができる。

なお、共通色は緑色に限られない。例えば第１のフィルタ領域１１を「イエローフィルタ」とし、第２のフィルタ領域１２を「マゼンタ（Ｍ：Magenta）フィルタ」とし、第３のフィルタ領域１３を「レッド（Ｒ：Red）フィルタ」とし、第４のフィルタ領域１４を「透明フィルタ」とした場合には、赤色を共通色とするフィルタ１０を用いることができる。「マゼンタフィルタ」は、赤色の波長領域の光と青色の波長領域の光とを透過する（つまり、緑色の波長領域の光を透過しない）フィルタである。この場合には、Ｇ画像の補正後のぼけ形状とＲ画像のぼけ形状（基準ぼけ形状）とを比較する、またはＢ画像の補正後のぼけ形状とＲ画像のぼけ形状とを比較することによって、被写体距離を算出することができる。

同様に、例えば第１のフィルタ領域１１を「マゼンタフィルタ」とし、第２のフィルタ領域１２を「シアンフィルタ」とし、第３のフィルタ領域１３を「ブルー（Ｂ：Blue）フィルタ」とし、第４のフィルタ領域１４を「透明フィルタ」とした場合には、青色を共通色とするフィルタ１０を用いることができる。この場合には、Ｒ画像の補正後のぼけ形状とＢ画像のぼけ形状（基準ぼけ形状）とを比較する、またはＧ画像の補正後のぼけ形状とＢ画像のぼけ形状とを比較することによって、被写体距離を算出することができる。

なお、本実施形態においては、説明の便宜上、フィルタ１０が円形状であるものとして説明したが、当該フィルタ１０は、撮像装置１００の開口部の形状に応じた形状であっても構わない。具体的には、フィルタ１０の外周が撮像装置１００の絞り羽形状に形成されていてもよいし、例えばフィルタ１０が多角形（例えば、六角形及び八角形等）の形状を有していてもよい。

上記したように本実施形態は、様々な形状または配置の第１〜第４のフィルタ領域１１〜１４を含むフィルタ１０で実現することが可能であるが、当該第１〜第４のフィルタ領域１１〜１４の形状は、例えば撮像装置１００上のハードウェアの制約等に基づいて定められても構わない。具体的には、Ｒ画像またはＢ画像のぼけ形状に補正フィルタを畳み込む（つまり、当該ぼけ形状にぼけを付加する）際にはラインメモリが用いられるが、例えばＲ画像またはＢ画像の畳み込み方向によって必要なラインメモリの容量が異なる。このため、第１〜第４のフィルタ領域１１〜１４の形状（つまり、Ｒ画像またはＢ画像の畳み込み方向）は、ラインメモリの容量に従って設定されても構わない。すなわち、第１〜第４のフィルタ領域１１〜１４の形状は、ラインメモリで畳み込みが可能なように定められてもよい。

また、上記したようにＲ画像及びＢ画像のうちの例えばＲ画像の畳み込み方向がエッジに沿うような方向である場合には、当該Ｒ画像を用いて被写体距離を算出することができない。この場合には、Ｂ画像を用いて被写体距離を算出することは可能であるが、精度を向上させるためにはＲ画像及びＢ画像の双方を用いて被写体距離を算出することが好ましい。このため、例えば撮像装置１００によって撮像される被写体等により、撮像画像中のエッジの向きが想定されるような場合には、Ｒ画像及びＢ画像の畳み込み方向が当該エッジの向きと異なるように第１〜第４のフィルタ領域１１〜１４の形状が定められるようにしてもよい。

また、Ｒ画像またはＢ画像の畳み込み方向を水平方向とした場合には、他の方向である場合に比べて、離散化誤差の影響を低減し、精度を向上させることができる。このため、Ｒ画像及びＢ画像の畳み込み方向のうちの一方が水平方向となるように第１〜第４のフィルタ領域１１〜１４の形状が定められるようにしてもよい。

なお、上述した図２に示すようにＲ画像の畳み込み方向を水平方向とし、Ｂ画像の畳み込み方向が当該Ｒ画像の畳み込み方向と直交する構成によれば、精度を向上させるとともに撮像画像中のエッジに対する高い頑健性（ロバスト性）を実現することが可能である。

上記したように第１〜第４のフィルタ領域１１〜１４の形状（または配置）を定める（変更する）ことによって様々なＲ画像及びＢ画像の畳み込み方向を実現することができるが、異なる距離ｄの各々に対応する複数の補正フィルタは、当該畳み込み方向に従って予め用意されていればよい。すなわち、Ｒ画像及びＢ画像の畳み込み方向にぼけを付加するような補正フィルタが予め用意されていればよい。

また、本実施形態においては、異なる距離ｄに対応する補正フィルタによって補正されたＲ画像またはＢ画像のぼけ形状（第１のぼけ形状）とＧ画像のぼけ形状（第２のぼけ形状）とを比較することによって被写体距離を算出する構成であるから、汎用のイメージセンサを利用して高精度に距離情報を取得することが可能となる。なお、例えばＲ画像及びＢ画像をステレオカメラで撮影した２つの画像と同視し、当該Ｒ画像及びＢ画像間の視差量に基づいて被写体距離を算出するような構成とすることも可能である。

更に、本実施形態においては、算出された被写体距離を示す距離情報に基づいて加工された画像（例えば、距離画像等）を出力することができる。このような距離画像によれば、撮像装置１００から被写体までの距離を容易に把握することが可能となる。

なお、本実施形態においては、赤色、緑色及び青色を検出（受光）するＲＧＢセンサを含むイメージセンサ３０を用いるものとして説明したが、他の色を検出するセンサを含むイメージセンサが用いられても構わない。この場合であっても、センサによって検出される色に応じた本実施形態におけるフィルタを設けることによって、同様に距離情報を取得することができる。

なお、本実施形態においては、被写体距離を示す距離情報を取得することができるため、撮像装置１００によって撮像された空間の３次元情報を得ることが可能となる。なお、本実施形態において得ることができる（つまり、撮像装置１００から出力される）３次元情報は、例えば被写体の位置、当該被写体の移動、当該被写体までの距離及び当該被写体が所定範囲の内／外にいること等に関する情報である。この３次元情報は、本実施形態において説明した以外にも様々な処理等に利用することが可能となる。

具体的には、本実施形態に係る撮像装置１００は、例えば図２０に示すような予め定められた範囲（内に存在する人物等）を監視する監視システムに適用することが可能である。

ここで、図２１は、本実施形態における監視システム１０００の機能構成の一例を示すブロック図である。ここでは、監視システム１０００が、例えば施設内等における人の流れを時間帯毎に把握するためのシステムであることを想定する。

図２１に示すように、監視システム１０００は、撮像装置１００、制御部１００１及びユーザインタフェース部１００２を有する。撮像装置１００及び制御部１００１は、優先または無線のネットワーク経由で接続してもよい。

制御部１００１は、撮像装置１００に連続的に撮像を行わせ、撮像装置１００によって撮像された被写体の画像を、ユーザインタフェース部１００２を介して表示する。ユーザインタフェース部１００２は、例えば、ディスプレイ装置等への表示処理と、キーボードまたはポインティングデバイスからの入力処理とを実行する。ディスプレイ装置とポインティングデバイスとは、例えばタッチスクリーンディスプレイ等の一体型のデバイスであってもよい。

また、制御部１００１は、撮像装置１００から順次出力される人物（被写体）の３次元情報に基づき、例えば人物が通路のどの辺りをどの方向に歩いているか等の人の流れを解析し、当該解析結果を例えばＨＤＤ（Hard Disk Drive）等の記憶装置に記録する。なお、この解析は、必ずしもリアルタイムに実行されるものでなくてもよく、記憶装置に蓄積された被写体の３次元情報を用いるバッチ処理として実行されてもよい。

続いて、図２２を参照して、撮像装置１００によって撮像される被写体の追跡における３次元情報（距離情報）の活用例について説明する。

ここでは、人物Ｘが、撮像装置１００から見て左から右へ移動し、人物Ｙが、逆に、右から左へと移動しようとしている場合を想定する（Ａ）。また、身長の低い人物Ｘが身長の高い人物Ｙよりも撮像装置１００から見て手前に位置しており、人物Ｘ及びＹが互いに重なる位置となった場合に、画像上の人物像のサイズが略一致した状態となるものとする。

人物Ｘ及びＹが上記のように移動すると、ある時点で画像上の人物像（被写体像）が重なり（Ｂ）、その後、左右に離れていく（Ｃ）。このような場合、距離を用いず、例えば画像認識のみで人物像を追跡すると、人物像の交差時、追跡対象を取り違えて、人物Ｘ及びＹがそれぞれＵターンしたように誤追跡してしまう可能性がある。

これに対して、３次元情報（距離）を用いることで、人物像の交差時に追跡対象の取り違えを起こしてしまうという事態を防止することができる。

なお、このような監視システム１０００は、例えば被写体が予め定められた行動以外の行動（例えば、進入禁止エリアへの進入）をした際に警報を出力するような場合に用いられてもよい。被写体が予め定められた行動以外の行動をしたか否かは、上記した被写体の位置、当該被写体の移動、当該被写体までの距離及び当該被写体が所定範囲の内／外にいること等に基づいて判定することができる。

また、本実施形態に係る撮像装置１００は、例えば各種移動体の動作を制御する自動制御システムに利用されても構わない。

ここで、図２３は、本実施形態における自動制御システム１１００の機能構成の一例を示すブロック図である。ここでは、図２４に示すように、自動制御システム１１００によって動作が制御される移動体が、例えば自動車である場合を想定する。

図２３に示すように、自動制御システム１１００は、撮像装置１００、制御部１１０１及び駆動機構１１０２を有する。図２４に示すように、撮像装置１００は、例えば自動車の進行方向の被写体を撮像するように当該自動車（移動体）に設置される。なお、自動車の進行方向の被写体を撮像するように設置される形態としては、前方を撮像するいわゆるフロントカメラとして設置されるほか、バック時に後方を撮像するいわゆるリアカメラとして設置され得る。もちろん、これら両方が設置されてもよい。また、撮像装置１００は、いわゆるドライブレコーダとしての機能を兼ねて設置されるものであってもよい。すなわち、撮像装置１００は、録画機器であってもよい。

制御部１１０１は、撮像装置１００から出力される３次元情報に基づいて、自動車を動作（移動）させる駆動機構１１０２を制御する。この場合、例えば進行方向にある被写体へ所定の距離まで近づいた際に、移動する自動車を停止させたり減速させたり加速させたり、停止している自動車を移動させたりすることができる。あるいは、制御部１１０１は、被写体が所定の距離以上離れたら、自動車を停止、減速、加速、移動させるように駆動機構１１０２を制御してもよい。あるいは、制御部１１０１は、被写体へ所定の距離まで近づいた場合に自動車の動作モードを通常駆動モードから衝突回避モードへ切り替えてもよいし、被写体が所定の距離以上離れた場合に当該動作モードを衝突回避モードから通常駆動モードに切り替えてもよい。なお、制御部１１０１による制御の基準となる所定の距離は、例えばユーザによって任意に設定される閾値である。

このような自動制御システム１１００によれば、例えば自動車の走行中において、先行車の３次元情報（距離情報）に基づいて自動車が先行車に追従するように自動運転する、または当該先行車に追突しないようにブレーキを自動的に制御するといったことが可能となる。また、、自動車の後方に存在する物体（被写体）の３次元情報を利用することによって、自動車がバックする場合において、自動車の後方の予め定められた距離より近い位置に障害物等が存在する場合には、自動的にブレーキをかける、またはバックできないようにするといったことが可能となる。また、先行車の３次元情報（距離情報）に基づいて、自動車と当該先行車との距離が一定になるように制御することも可能である。これによれば、自動制御システムによって動作（移動）が制御される複数の自動車による連隊走行等を容易に実現することができる。

上記した移動体は、自動車を含む車両に限らず、移動用の駆動機構を有するものであるならば、ドローンまたは飛行機等の飛翔体及び船舶等であってもよいし、産業用ロボット、ＡＧＶ（Automatic Guided Vehicle）、お掃除ロボット及びコミュニケーションロボット等の各種ロボットであっても構わない。

図２５は、本実施形態におけるロボットの動作を制御する自動制御システム１２００の機能構成の一例を示すブロック図である。ここでは、ロボットが、例えば複数種の製品を生産し得る生産ライン等に設置される産業用ロボットであることを想定する。

図２５に示すように、自動制御システム１２００は、撮像装置１００、制御部１２０１、駆動機構１２０２及び回転機構１２０３を有する。

制御部１２０１は、撮像装置から出力される作業の対象物である被写体の３次元情報に基づいて、駆動機構１２０２を制御する。駆動機構１２０２は、例えば対象物に部材を取り付けたり、対象物を積み上げて所定の場所へ搬送したりするためのロボットアームを駆動する。なお、撮像装置１００は、回転機構２０３を介して例えばロボットアーム（の手のひらまたは手首等）に搭載されている。

このような自動制御システムにおいては、例えばロボットアームに搭載された撮像装置１００から出力されるロボットの周辺に存在する物体（被写体）の３次元情報を利用することによって、当該ロボットに所定の物体を掴ませるといった制御を行うことが可能となる。

なお、上記したように例えばＲ画像の畳み込み方向が撮像画像中のエッジに沿う方向と一致する場合には、当該Ｒ画像を用いて被写体距離を算出することができない。この場合、制御部１２０１が回転機構１２０３を制御することによって撮像装置１００を回転させることで、Ｒ画像の畳み込み方向が撮像画像中のエッジに沿う方向と一致しないようにすることも可能である。ここではＲ画像について説明したが、Ｂ画像の畳み込み方向が撮像画像中のエッジに沿う方向と一致する場合についても同様である。このような構成によれば、Ｒ画像及びＢ画像の双方を用いて被写体距離を算出することが可能であるため、当該被写体距離の算出精度を向上させることができる。

また、上記した自動制御システム１２００は、ＡＧＶまたはお掃除ロボットの動作を制御する場合に用いられても構わない。この場合には、ＡＧＶまたはお掃除ロボットの前方等に存在する物体（被写体）の３次元情報を利用することによって、障害物を回避するような軌道で当該ＡＧＶまたはお掃除ロボットを移動させるといったことが可能となる。

更に、上記した自動制御システム１２００は、人物とコミュニケーションを行うコミュニケーションロボットの動作を制御する場合に用いられても構わない。この場合には、コミュニケーションロボットの前方等に存在する人物（被写体）の３次元情報を利用することによって、当該コミュニケーションロボットの所定範囲内に人物が近づいた場合に、当該人物とのコミュニケーションを開始させるといったことが可能となる。

なお、上記した移動体が例えばドローンである場合には、当該ドローンの前方等に存在する物体（被写体）の３次元情報を利用することによって、障害物を回避するような軌道で当該ドローンを飛行させるといったことが可能となる。

更に、移動体がドローンである場合、上空からのひび割れや電線破断等の点検時に、撮像装置１００が点検対象を撮像した画像を取得し、当該点検対象（被写体）の３次元情報（距離情報）を取得する。この場合には、点検対象との距離に基づいて、当該点検対象との距離が一定になるようにドローンの推力を制御することによって、当該ドローンを点検対象に平行して飛行させることが可能となる。同様に、ドローンを例えば先行するドローンとの距離が一定になるように飛行させることにより、当該ドローンの連隊飛行等を容易に実現することができる。更に、ドローンを例えば地面（上に存在する被写体）との距離が一定になるように飛行させることにより、当該ドローンを一定の（指定された）高さで飛行させることができる。

上記したように本実施形態においては、撮像装置１００から出力される被写体の３次元情報に基づいて、各種移動体またはその一部分の加速、減速、方向転換、通常運転モードと自動運転モード（例えば、衝突回避モード）との切り替え、及びエアバック等の安全装置の作動のうちの少なくとも１つに関する制御を実行することができる。具体的には、被写体が所定の距離よりも手前に存在する場合には、例えば減速、衝突回避、被写体から遠ざかる方向への方向転換、及び安全装置の作動のうちの少なくとも１つが実行され得る。また、被写体が所定の距離よりも奥に存在する場合には、例えば加速、及び被写体に近寄る方向への方向転換のうちの少なくとも１つが実行され得る。

更に、上記した自動制御システムによって動作が制御される移動体は、例えば自動ドアを含む概念であってもよい。図２６は、自動ドアの動作を制御する自動制御システム（以下、自動ドアシステムと表記）１３００の機能構成の一例を示す。図２６に示すように、自動ドアシステム１３００は、制御部１３０１、駆動機構１３０２及びドア部１３０３を有する。

自動ドアシステム１３００において、撮像装置１００は、自動ドアを通過しようとする人物（被写体）を撮像可能な位置に設置される。

制御部１３０１は、撮像装置１００から出力された被写体（人物）の３次元情報に基づいて、ドア部１３０３を開閉させるように駆動機構１３０２を制御する。具体的には、制御部１３０１は、被写体が所定の距離よりも手前にいる場合には、ドア部１３０３が開いた状態となるように駆動機構１３０２を制御する。また、制御部１３０１は、被写体が所定の距離よりも奥にいる場合には、ドア部１３０３が閉じた状態となるように駆動機構１３０２を制御する。なお、ドア部１３０３が開いた状態にあるときに、被写体が所定の距離よりも手前にいる場合には、制御部１３０１は、ドア部１３０３を開いたままとするように駆動機構１３０２を制御してもよい。ドア部１３０３が閉じた状態にある場合、制御部１３０１は、被写体と所定の距離との関係に応じて、ドア部１３０３を閉じたままとするように駆動機構１３０２を制御してもよい。被写体が所定の距離の奥から手前に移動したときに、制御部１３０１は、ドア部１３０３を開けるように駆動機構１３０２を制御してもよい。更に、被写体が所定の距離の手前から奥に移動したときに、制御部１３０１は、ドア部１３０３を閉じるように駆動機構１３０２を制御してもよい。

駆動機構１３０２は、例えばモーターを有し、当該モーターの駆動をドア部１３０３に伝達することによって、ドア部１３０３を開閉する。駆動機構１３０２は、制御部１２０１による制御に基づいて、ドア部１３０３が開いた状態または閉じた状態になるように当該ドア部１３０３を駆動する。

図２７及び図２８は、自動ドアシステム１３００の動作例を示す。図２７及び図２８に示す例では、ドア部１３０３の正面を移動する歩行者（人物）等を撮影できる位置である例えばドア部１３０３の上方に、撮像装置１００が設置されている。つまり、撮像装置１００は、ドア部１３０３の正面の通路等を俯瞰した画像が取得できるように設置されている。

ここで、自動ドアシステム１３００における制御部１３０１は、撮像装置１００から出力される３次元情報に基づいて、被写体である歩行者１３００ａが基準面１３００ｂよりも手前にいるか否かを判定することができる。この場合、撮像装置１００によって撮像された複数の被写体を含む画像において、指定された特定の被写体のみを自動ドアシステム１３００において対象とする人物（つまり、歩行者１３００ａ）としてもよい。

基準面１３００ｂは、例えばドア部１３０３正面の、当該ドア部１３０３から一定の距離に設定される。基準面１３００ｂは、例えばドア部１３０３と平行な平面である。基準面１３００ｂと撮像装置１００のレンズ２０の光軸とは、直交していてもよいし、直交していなくてもよい。なお、基準面は、平面であるものとして説明するが、曲面であってもよい。

制御部１３０１は、図２７に示すように歩行者１３００ａが基準面１３００ｂよりも手前にいる場合、ドア部１３０３を開いた状態にするように駆動機構１３０２を制御する。駆動機構１３０２は、制御部１３０１による制御に基づいて、ドア部１３０３が開いた状態になるように当該ドア部１３０３を駆動する。

また、制御部１３０１は、図２８に示すように歩行者１３００ａが基準面１３００ｂよりも奥にいる場合、ドア部１３０３を閉じた状態にするように駆動機構１３０２を制御する。駆動機構１３０２は、制御部１３０１による制御に基づいて、ドア部１３０３が閉じた状態になるように当該ドア部１３０３を駆動する。

ここでは、歩行者１３００ａが基準面１３００ｂよりも手前にいるか奥にいるかに応じてドア部１３０３の開閉を制御する場合について説明したが、制御部１３０１は、例えば歩行者１３００ａが基準面１３００ｂの手前から奥に移動したこと、及び歩行者１３００ａが基準面１３００ｂの奥から手前に移動したことに応じてドア部１３０３の開閉を制御してもよい。具体的には、歩行者１３００ａが基準面１３００ｂの手前から奥に移動した場合にドア部１３０３を閉じた状態にし、歩行者１３００ａが基準面１３００ｂの奥から手前に移動した場合にドア部１３０３を開いた状態にしてもよい。

更に、歩行者１３００ａが基準面１３００ｂの手前に所定の時間滞在し続けた場合にドア部１３０３を開いた状態にするようにしてもよいし、歩行者１３００ａが基準面１３００ｂの奥に所定の時間滞在し続けた場合にドア部１３０３を閉じた状態にするようにしてもよい。

また、歩行者１３００ａが基準面１３００ｂの手前に滞在し続けている間はドア部１３０３の開いた状態が維持されるようにしてもよいし、歩行者１３００ａが基準面１３００ｂの奥に滞在し続けている間はドア部１３０３の閉じた状態が維持されるようにしてもよい。

上記したような自動ドアシステム１３００によれば、ドア部１３０３（自動ドア）に設けられているセンサ（人物の存在を検出するためのセンサ）に加えて、撮像装置１００から出力されるドア部１３０３の周辺に存在する人物の３次元情報を利用することによって、自動ドアの利用者の利便性を向上させることが可能となる。例えばドア部１３０３に向かってくる人物の距離の遷移を監視することによって当該人物の速度が予め定められた速度よりも早い（つまり、当該人物が走ってドア部１３０３に接近中である）と判定される場合には、上記したセンサによって人物の存在が検出されるよりも前にドア部１３０３を開いた状態にするといったことが可能となる。これによれば、人物がドア部１３０３に衝突することを回避することが可能となる。なお、この場合における撮像装置１００は、自動ドア（ドア部１３０３）を通過する人物を監視するために用いられても構わない。

（第２の実施形態）
次に、第２の実施形態について説明する。なお、本実施形態に係る撮像装置のハードウェア構成及び機能構成については、前述した第１の実施形態と同様であるため、適宜、図１及び図４等を用いて説明する。また、以下の説明においては、前述した第１の実施形態と同様の部分についてはその詳しい説明を省略し、当該第１の実施形態と異なる部分について主に述べる。

本実施形態は、フィルタ１０に含まれるフィルタ領域１１〜１４の形状及び配置が前述した第１の実施形態とは異なる。

以下、図２９を参照して、本実施形態に係る撮像装置１００の開口部に設けられているフィルタ１０の一例について説明する。

本実施形態におけるフィルタ１０は、前述した第１の実施形態と同様に、カラーフィルタであり、特定の波長帯の光を透過する。本実施形態において、第１〜第４のフィルタ領域１１〜１４は、図２９に示すように配置されている。

具体的には、第１〜第４のフィルタ領域１１〜１４は、フィルタ１０を二分し、当該フィルタ１０の一部である閉じた領域の外縁上の２点を通過する線によって形成される。換言すれば、フィルタ１０（の領域）は、当該フィルタ１０上の一定の範囲の領域を包含するように形成された線（第１の線）１０ｉと、当該第１の線１０ｉ上の２点を通過し、当該フィルタ１０の外周（外縁）と交わる線（第２の線）１０ｊとによって４つの領域（第１〜第４のフィルタ領域１１〜１４）に分割されている。

なお、図２２に示す例では、上記した閉じた領域は円であり、第１の線１０ｉは、フィルタ１０の中央を中心とする円形状の領域を包含するように形成されている。第２の線１０ｊは、第１の線１０ｉによって包含されている円形状の領域の中心を通過する（つまり、円である閉じた領域を二分する）直線を含む。

以下の説明においては、第１の線１０ｉによって包含される円形状の領域を内側領域、フィルタ１０の外周と第１の線１０ｉとの間の領域を外側領域と称とする。

本実施形態において、第１のフィルタ領域１１及び第４のフィルタ領域１４は、内側領域において隣り合う（向かい合う）位置に配置されている。第２のフィルタ領域１２及び第３のフィルタ領域１３は、外側領域において隣り合う（向かい合う）位置に配置されている。また、第１のフィルタ領域１１及び第３のフィルタ領域１３は接するように配置されており、第２のフィルタ領域１２及び第４のフィルタ領域１４は接するように配置されている。すなわち、本実施形態におけるフィルタ１０は、図２９に示すように、第１のフィルタ領域１１が内側領域の右側、第２のフィルタ領域１２が外側領域の左側、第３のフィルタ領域１３が外側領域の右側、第４のフィルタ領域１４が内側領域の左側にそれぞれ配置されるように構成されている。

なお、第１のフィルタ領域１１は、赤色の波長領域の光と緑色の波長領域の光とを透過する「イエローフィルタ」によって構成される。

第２のフィルタ領域１２は、緑色の波長領域の光と青色の波長領域の光とを透過する「シアンフィルタ」によって構成される。

第３のフィルタ領域１３は、緑色の波長領域の光を透過する「グリーンフィルタ」によって構成される。

第４のフィルタ領域１４は、赤色の波長領域の光と緑色の波長領域の光と青色の波長領域の光とを透過する「透明フィルタ」によって構成される。

すなわち、第１〜第４のフィルタ領域１１〜１４の透過率特性は、前述した第１の実施形態と同様にそれぞれ異なる。

本実施形態においては、このような透過率特性により、第１のフィルタ領域１１及び第４のフィルタ領域１４（つまり、内側領域）は、赤色の波長領域の光を透過する。また、第２のフィルタ領域１２及び第４のフィルタ領域１４（つまり、フィルタ１０の左半分の領域）は、青色の波長領域の光を透過する。更に、第１〜第４のフィルタ領域１１〜１４は、緑色の波長領域の光を透過する。

なお、前述した第１の実施形態において説明したように、「透過する」とは、対応する波長領域の光を高い透過率で透過し、当該波長領域の光の減衰８すなわち、光量の低下）が極めて小さきことを意味する。

次に、本実施形態に係る撮像装置１００の処理手順について説明する。ここでは、便宜的に、前述した図５のフローチャートを用いて説明する。

まず、撮像装置１００による被写体の撮像が開始されると、撮像装置１００に設けられているフィルタ１０及びレンズ２０を透過した光がイメージセンサ３０に到達する。

この場合、イメージセンサ３０に含まれる第１のセンサ３１（Ｒセンサ）は、第１のフィルタ領域１１及び第４のフィルタ領域１４を透過した光から赤色の波長領域の光を検出（受光）してＲ画像を生成する（ステップＳ１）。このステップＳ１において生成されるＲ画像は、リファレンス画像等と比較して変化した画像となる。

ここで、図３０を参照して、第１のセンサ３１によって生成されるＲ画像について概念的に説明する。なお、図２３に示すＧ画像のぼけ形状については、図６等において説明したものと同様であるため、その詳しい説明を省略する。

上述したように撮像装置１００の開口部に設けられるフィルタ１０には透過率特性の異なる第１〜第４のフィルタ領域１１〜１４が含まれるが、以下の説明においては、当該第１〜第４のフィルタ領域１１〜１４のうち赤色の波長領域の光を透過する第１のフィルタ領域１１及び第４のフィルタ領域１４を含む領域（つまり、フィルタ１０の内側領域）を便宜的にＲフィルタ領域５０１と称する。なお、図３０の右列と中列はイメージセンサ３０上に形成される画像のぼけ形状を表し、左列は、それぞれ撮像装置１００を上方向（つまり、Ｙ軸の正方向）から見た場合におけるレンズ２０及びフィルタ１０の組み合わせとイメージセンサ３０とを示している。

まず、被写体の位置がピント位置よりも遠い、つまり、距離ｄ＞０の場合を想定する。この場合、被写体にはピントが合っていないため、Ｒ画像においては、ぼけが生じる。

また、上記したようにＲ画像は、Ｒフィルタ領域（フィルタ１０の内側領域）５０１を透過した光に基づいて生成される画像である。このため、距離ｄ＞０の場合のＲ画像のぼけ形状５０１ａは、図３０の上段に示すように、例えばＧ画像のぼけ形状２０２ａと比較して当該ぼけ形状２０２ａが縮小されたような形状となる。

すなわち、Ｒ画像のぼけ形状５０１ａは、Ｒフィルタ領域５０１の形状（大きさ）に応じた点対称形状である。

次に、被写体の位置がピント位置に一致する、つまり、距離ｄ＝０の場合を想定する。図３０の中段に示すように、この場合のＲ画像においては、ぼけは生じない。

更に、被写体の位置がピント位置よりも近い、つまり、距離ｄ＜０の場合を想定する。この場合、被写体にはピントが合っていないため、Ｒ画像においては、ぼけが生じる。

また、上記したようにＲ画像はＲフィルタ領域５０１を透過した光に基づいて生成される画像であるが、距離ｄ＜０の場合のＲ画像のぼけ形状５０１ｂは、例えばＧ画像のぼけ形状２０２ｂと比較して当該ぼけ形状２０２ｂが縮小されたような形状となる。なお、ぼけ形状５０１ｂの形状は、上記したぼけ形状５０１ａと同様となる。

再び図５に戻ると、イメージセンサ３０に含まれる第２のセンサ３２（Ｇセンサ）は、第１〜第４のフィルタ領域１１〜１４を透過した光から緑色の波長領域の光を検出してＧ画像を生成する（ステップＳ２）。

なお、緑色の波長領域の光は全てのフィルタ領域を透過するため、Ｇ画像は、リファレンス画像に近い画像となる。

次に、イメージセンサ３０に含まれる第３のセンサ３３（Ｂセンサ）は、第２のフィルタ領域１２及び第４のフィルタ領域１４を透過した光から青色の波長領域の光を検出（受光）してＢ画像を生成する（ステップＳ３）。このステップＳ３において生成されるＢ画像は、リファレンス画像等と比較して変化した画像となる。

ここで、図３１を参照して、第３のセンサ３３によって生成されるＢ画像について概念的に説明する。なお、図２４に示すＧ画像のぼけ形状については、図２３と同様であるため、その詳しい説明を省略する。

上述したように撮像装置１００の開口部に設けられるフィルタ１０には透過率特性の異なる第１〜第４のフィルタ領域１１〜１４が含まれるが、以下の説明においては、当該第１〜第４のフィルタ領域１１〜１４のうち青色の波長領域の光を透過する第２のフィルタ領域１２及び第４のフィルタ領域１４を含む領域（つまり、撮像装置１００によって撮像される被写体側から見た場合におけるフィルタ１０の左半分の領域）を便宜的にＢフィルタ領域５０２と称する。なお、図２４の右列と中列はイメージセンサ３０上に形成される画像のぼけ形状を表し、左列は、それぞれ撮像装置１００を上方向（つまり、Ｙ軸の正方向）から見た場合におけるレンズ２０及びフィルタ１０の組み合わせとイメージセンサ３０とを示している。

まず、被写体の位置がピント位置よりも遠い、つまり、距離ｄ＞０の場合を想定する。この場合、被写体にはピントが合っていないため、Ｂ画像においては、ぼけが生じる。

また、上記したようにＢ画像は、Ｂフィルタ領域（フィルタ１０の左半分の領域）５０２を透過した光に基づいて生成される画像である。このため、距離ｄ＞０の場合のＢ画像のぼけ形状５０２ａは、例えばＧ画像のぼけ形状２０２ａと比較して右側に偏った形状となる。

すなわち、Ｂ画像のぼけ形状５０２ａは、Ｂフィルタ領域２０３の形状に応じた非点対称形状（右側に偏った形状）である。

次に、被写体の位置がピント位置に一致する、つまり、距離ｄ＝０の場合を想定する。図３１の中段に示すように、この場合のＢ画像においては、ぼけは生じない。

更に、被写体の位置がピント位置よりも近い、つまり、距離ｄ＜０の場合を想定する。この場合、被写体にはピントが合っていないため、Ｂ画像においては、ぼけが生じる。

また、上記したようにＢ画像はＢフィルタ領域５０２を透過した光に基づいて生成される画像であるが、距離ｄ＜０の場合のＢ画像のぼけ形状５０２ｂは、例えばＧ画像のぼけ形状２０２ｂと比較して左側に偏った形状となる。

すなわち、ぼけ形状５０２ｂは、上記したぼけ形状５０２ａと同様にＢフィルタ領域５０２の形状に応じた非点対称形状であり、当該ぼけ形状５０２ａをＹ軸方向に平行な位置直線を中心にして反転した形状となる。

上記したようにＲ画像及びＢ画像においては、距離ｄに応じてぼけ形状が変化する。具体的には、Ｒ画像のぼけ形状は、距離ｄ＞０及び距離ｄ＜０の場合（つまり、距離ｄ＝０以外の場合）で、Ｇ画像のぼけ形状が縮小された形状（点対称形状）に変化する。一方、Ｂ画像のぼけ形状は、距離ｄ＞０であればＧ画像のぼけ形状の左側が欠けた半円形状のような形状（非点対称形状）に変化し、距離ｄ＜０であればＧ画像のぼけ形状の右側が欠けた半円形状のような形状（非点対称形状）に変化する。

なお、図３０及び図３１においては示されていないが、Ｒ画像、Ｇ画像及びＢ画像におけるぼけ形状の大きさ（幅）は、前述した第１の実施形態において説明したように距離｜ｄ｜に依存する。

再び図５に戻ると、上記したステップＳ１において生成されたＲ画像、ステップＳ２において生成されたＧ画像及びステップＳ３において生成されたＢ画像は、画像処理部１１０に含まれる入力部１１１によって入力される。

距離算出部１１２は、入力部１１１によって入力されたＲ画像、Ｇ画像及びＢ画像に基づいて、被写体距離を算出する（ステップＳ４）。

なお、ステップＳ４においては、前述した第１の実施形態と同様に、例えばリファレンス画像に近いＧ画像を基準として、上記したピント位置から被写体までの距離ｄに応じて変化するＲ画像及びＢ画像のぼけ形状と当該Ｇ画像のぼけ形状とを比較することによって撮像画像を構成する画素毎の被写体距離を算出する。

ここで、リファレンス画像に近い画像であるＧ画像を基準画像、当該基準画像と比較してＢのぼけ形状が変化しているＲ画像及びＢ画像の各々を対象画像とすると、距離算出部１１２は、任意の距離に対応する補正フィルタを適用して対象画像のぼけ形状を補正し、当該補正された対象画像のぼけ形状と基準画像のぼけ形状とを比較することによって被写体距離を算出する。

なお、対象画像がＲ画像である場合には、当該Ｒ画像のぼけ形状（Ｇ画像のぼけ形状が縮小されたような形状）の周囲にぼけを付加する補正フィルタが適用される。この場合、Ｒ画像のぼけ形状に対して２次元の補正フィルタの畳み込みが行われることによって、当該Ｒ画像のぼけ形状をＧ画像のぼけ形状に一致する形状に補正することが可能となる。なお、Ｒ画像のぼけ形状に補正フィルタを適用した後の処理は、前述した第１の実施形態と同様であるため、その詳しい説明を省略する。

また、本実施形態におけるＢフィルタ領域５０２と前述した第１の実施形態におけるＲフィルタ領域２０１は、フィルタ１０における同一の領域である。このため、本実施形態において対象画像がＢ画像である場合には、前述した第１の実施形態におけるＲ画像とＧ画像とを用いて距離ｄを特定する（つまり、被写体距離を算出する）場合と同様の処理が実行されればよい。

ステップＳ４において画素毎に被写体距離が算出された場合、ステップＳ５の処理が実行される。なお、ステップＳ５の処理は、前述した第１の実施形態において説明した通りであるため、その詳しい説明を省略する。

上記したように本実施形態において、被写体を撮像するために入射した光を透過するフィルタ１０は、当該フィルタ１０を二分し、当該フィルタ１０の一部である閉じた領域（内側領域）の外縁上の２点を通過する線によって形成された４つのフィルタ領域（第１〜第４のフィルタ領域１１〜１４）に分割されており、当該４つのフィルタ領域の透過率特性がそれぞれ異なるように構成されている。

具体的には、図２９に示すように、第１の線１０ｉはフィルタ１０の中央を中心とする円形状の領域を包含するように形成されており、第２の線１０ｊは当該円形状の領域の中心を通過する直線を含む。この第１の線１０ｉ及び第２の線１０ｊによって第１〜第４のフィルタ領域１１〜１４が形成される。

本実施形態においては、このようなフィルタ１０を透過した入射光に基づいて生成される撮像画像（Ｒ画像、Ｂ画像及びＧ画像）から被写体距離を算出することができるため、小型かつ低コストで高精度に距離情報を取得することが可能となる。

ここで、本実施形態におけるＲ画像のぼけ形状は、Ｇ画像のぼけ形状（基準ぼけ形状）が縮小されたような形状（点対称形状）である。このようなＲ画像のぼけ形状に対する畳み込み方向は、上記した第１の実施形態におけるＲ画像及びＢ画像とは異なり、一方向に限定されるものではない。このため、本実施形態においては、エッジの方向にかかわらず被写体距離を算出することが可能となる。

なお、本実施形態において、Ｂ画像の畳み込み方向は水平方向（左右方向）であるため、水平方向のエッジ部分に関しては当該Ｂ画像を用いて距離ｄを算出することができない。この場合は、Ｒ画像を用いて距離ｄを算出することになるが、当該Ｒ画像のぼけ形状は点対称形状であることから、距離ｄ＞０の場合であっても距離ｄ＜０の場合であっても当該ぼけ形状は同一の形状となる。すなわち、Ｒ画像のみでは距離｜ｄ｜を算出することは可能であるが、当該距離ｄ＞０及び距離ｄ＜０を区別することはできない。これに対しては、周辺の画素に対して特定の画素（に対応する箇所）のみ距離ｄの正負が反転する可能性は低いことから、例えば当該周辺の画素に対して算出された距離ｄ（被写体距離）に基づいて当該特定の画素の距離ｄ＞０または距離ｄ＜０を区別するようにしてもよい。

更に、本実施形態においては、例えばイメージセンサ３０の分光感度等に基づいて第１の線１０ｉによって包含される内側領域の大きさ（内側領域の直径）を調整することが可能であるため、フィルタ１０に含まれる第１〜第４のフィルタ領域１１〜１４の設計の自由度が高く、照明変化等に対する頑健性（ロバスト性）のコントロールが容易となる。

なお、図２９に示す第１〜第４のフィルタ領域１１〜１４の配置（すなわち、フィルタ１０の構成）は一例であり、フィルタ１０は、例えば、上記したようにＲ画像のぼけ形状（Ｒフィルタ領域５０１）が点対称形状であり、Ｂ画像のぼけ形状（Ｂフィルタ領域５０２）が非点対称形状となるように第１〜第４のフィルタ領域１１〜１４が配置されていればよい。例えば、第１のフィルタ領域１１と第４のフィルタ領域１４とが入れ替えられ、かつ、第２のフィルタ領域１２と第３のフィルタ領域１３とが入れ替えられてもよい。

また、本実施形態においては、図２９に示す第１の線１０ｉと第２の線１０ｊとによってフィルタ１０が４つのフィルタ領域に分割されるものとして説明したが、例えば図３２に示すように第１の線１０ｉと２以上の第２の線（例えば、第２の線１０ｋ及び１０ｌ）とによってフィルタ１０が分割されても構わない。

また、例えば図３３に示す第２の線１０ｍのように、第２の線は、フィルタ１０の中心を通るものでなくてもよい。更に、図示しないが、例えば内側領域の形状が矩形形状となるように第１の線は複数の直線であってもよい。また、第２の線は曲線であってもよい。

また、本実施形態においては、フィルタ１０が４つのフィルタ領域に分割されるものとして説明したが、Ｒ画像のぼけ形状がＧ画像のぼけ形状（点対称形状）を縮小したような形状となり、Ｂ画像のぼけ形状が非点対称形状となるようにＲフィルタ領域及びＢフィルタ領域が配置されており、かつ、フィルタ１０に含まれるフィルタ領域の全てが緑色の波長領域の光を透過するように構成されていれば、フィルタ領域の数は５以上であっても構わない。なお、前述した第１の実施形態において説明したように、Ｇ画像に相当する基準画像を生成することが可能であれば、フィルタ１０に含まれる少なくとも１つのフィルタ領域が緑色の波長領域の光を透過しない構成であってもよい。

ここで、本実施形態においては、フィルタ１０に含まれる第１〜第４のフィルタ領域１１〜１４の全てを透過する波長領域の光の色（共通色）が緑色である場合について説明したが、共通色を緑色とする場合には、上述した本実施形態におけるＲフィルタ領域５０１をＢフィルタ領域、Ｂフィルタ領域５０２をＲフィルタ領域とするようにフィルタ１０が構成されていても構わない。すなわち、第１のフィルタ領域１１を「シアンフィルタ」とし、第２のフィルタ領域１２を「イエローフィルタ」とし、第３のフィルタ領域１３を「グリーンフィルタ」とし、第４のフィルタ領域１４を「透明フィルタ」としてもよい。このような構成では、フィルタ１０の内側領域（第１のフィルタ領域１１及び第４のフィルタ領域１４）がＢフィルタ領域となり、フィルタ１０の左半分の領域（第２のフィルタ領域１２及び第４のフィルタ領域１４）がＲフィルタ領域となる。この場合においても、Ｂ画像（対象画像）及びＧ画像（基準画像）、Ｒ画像（対象画像）及びＧ画像（基準画像）をそれぞれ比較することによって被写体距離を算出することができる。

また、共通色は、緑色に限られない。例えば第１のフィルタ領域１１を「マゼンタフィルタ」とし、第２のフィルタ領域１２を「イエローフィルタ」とし、第３のフィルタ領域１３を「レッドフィルタ」とし、第４のフィルタ領域１４を「透明フィルタ」とした場合には、赤色を共通色とするフィルタ１０を用いることができる。このような構成では、フィルタ１０の内側領域がＢフィルタ領域となり、フィルタ１０の左半分の領域がＧフィルタ領域（緑色の波長領域の光を透過する領域）となる。また、共通色が赤色のフィルタ１０の別の例としては、第１のフィルタ領域１１を「イエローフィルタ」とし、第２のフィルタ領域１２を「マゼンタフィルタ」とし、第３のフィルタ領域１３を「レッドフィルタ」とし、第４のフィルタ領域１４を「透明フィルタ」としてもい。このような構成では、フィルタ１０の内側領域がＧフィルタ領域となり、フィルタ１０の左半分の領域がＢフィルタ領域となる。共通色が赤色の場合においては、Ｇ画像（対象画像）及びＲ画像（基準画像）、Ｂ画像（対象画像）及びＲ画像（基準画像）をそれぞれ比較することによって被写体距離を算出することができる。

更に、例えば第１のフィルタ領域１１を「マゼンタフィルタ」とし、第２のフィルタ領域１２を「シアンフィルタ」とし、第３のフィルタ領域１３を「ブルーフィルタ」とし、第４のフィルタ領域１４を「透明フィルタ」とした場合には、青色を共通色とするフィルタ１０を用いることができる。このような構成では、フィルタ１０の内側領域がＲフィルタ領域となり、フィルタ１０の左半分の領域がＧフィルタ領域となる。また、共通色が青色のフィルタ１０の別の例としては、第１のフィルタ領域１１を「シアンフィルタ」とし、第２のフィルタ領域１２を「マゼンタフィルタ」とし、第３のフィルタ領域１３を「ブルーフィルタ」とし、第４のフィルタ領域１４を「透明フィルタ」としてもよい。このような構成では、フィルタ１０の内側領域がＧフィルタ領域となり、フィルタ１０の左半分の領域がＲフィルタ領域となる。共通色が青色の場合においては、Ｒ画像（対象画像）及びＢ画像（基準画像）、Ｇ画像（対象画像）及びＢ画像（基準画像）をそれぞれ比較することによって被写体距離を算出することができる。

なお、前述した第１の実施形態と同様に、本実施形態に係る撮像装置１００においても空間の３次元情報を得ることができる。このため、本実施形態に撮像装置１００は、前述した監視システム及び自動制御システム等に利用（適用）されても構わない。

以上述べた少なくとも１つの実施形態によれば、小型かつ低コストで高精度に距離情報を取得することが可能な撮像装置及び自動制御システムを提供することができる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１０…フィルタ、１１…第１のフィルタ領域、１２…第２のフィルタ領域、１３…第３のフィルタ領域、１４…第４のフィルタ領域、２０…レンズ、３０…イメージセンサ、４０…ＣＰＵ、５０…不揮発性メモリ、６０…主メモリ、７０…通信Ｉ／Ｆ、８０…ディスプレイ、９０…メモリカードスロット、１００…撮像装置、１１０…画像処理部、１１１…入力部、１１２…距離算出部、１１３…画像生成部。

Claims (19)

1. 被写体を撮像するために入射した光を透過するフィルタと、
   前記フィルタを透過した光を受光して画像を生成するイメージセンサと、
   算出手段と
   を具備し、
   前記フィルタは、
   前記入射した光のうちの第１の波長領域の光を透過し、前記第１の波長領域とは波長が異なる第２の波長領域の光を透過しない第１のフィルタ領域と、
   前記第１の波長領域の光を透過せず、前記第２の波長領域の光を透過する第２のフィルタ領域と、
   前記第１の波長領域の光を透過せず、前記第２の波長領域の光を透過しない第３のフィルタ領域と、
   前記第１の波長領域の光を透過し、前記第２の波長領域の光を透過する第４のフィルタ領域と
   を含み、
   前記算出手段は、前記第１の波長領域に基づいて前記イメージセンサによって生成された第１の画像または前記第２の波長領域に基づいて前記イメージセンサによって生成された第２の画像の第１のぼけ形状と、前記第１の波長領域及び前記第２の波長領域とは波長が異なる第３の波長領域に基づいて前記イメージセンサによって生成された第３の画像の第２のぼけ形状とを比較することによって、前記被写体までの距離を算出する
   撮像装置。
2. 前記第１及び第４のフィルタ領域を透過した第１の波長領域の光に基づいて前記イメージセンサによって生成された第１の画像の第１のぼけ形状と前記第２及び第４のフィルタ領域を透過した第２の波長領域の光に基づいて前記イメージセンサによって生成された第２の画像の第１のぼけ形状とは異なっており、
   前記第１の画像の第１のぼけ形状及び前記第２の画像の第１のぼけ形状は、非点対称形状であり、
   前記第１の画像の第１ぼけ形状に対してぼけが付加される方向と前記第２の画像の第１ぼけ形状に対してぼけが付加される方向とは異なる
   請求項１記載の撮像装置。
3. 前記第１〜第４のフィルタ領域は、前記フィルタの外縁と前記外縁の内側にあり互いに交わる少なくとも２以上の線によって形成される請求項１記載の撮像装置。
4. 前記第１のフィルタ領域は、前記第４のフィルタ領域と隣接するように配置され、
   前記第２のフィルタ領域は、前記第４のフィルタ領域と隣接するように配置される
   請求項３記載の撮像装置。
5. 前記フィルタは、当該フィルタの一部である閉じた領域と、前記フィルタを二分し前記閉じた領域の外縁上の２点を通過する線によって形成された前記第１〜第４のフィルタ領域を有する請求項１記載の撮像装置。
6. 前記閉じた領域は円であり、
   前記線は前記円を二分する
   請求項５記載の撮像装置。
7. 前記第１〜第４のフィルタ領域は、前記第１の波長領域及び前記第２の波長領域とは波長が異なる第３の波長領域を透過する請求項１記載の撮像装置。
8. 前記イメージセンサは、赤色、緑色及び青色の波長領域をそれぞれ受光するように構成されており、
   前記第１の波長領域は、赤色の波長領域を含み、
   前記第２の波長領域は、青色の波長領域を含み、
   前記第３の波長領域は、緑色の波長領域を含む
   請求項７記載の撮像装置。
9. 前記第１のぼけ形状は、非点対称形状であり、
   前記第２のぼけ形状は、点対称形状である請求項１記載の撮像装置。
10. 前記算出された距離を示す距離情報に基づいて加工された画像を出力する出力手段を更に具備する請求項９記載の撮像装置。
11. 前記第１〜第４のフィルタ領域の形状または配置は、前記被写体までの距離の算出に用いられる前記撮像装置上のハードウェアの制約に基づいて定められる請求項９記載の撮像装置。
12. 前記第１〜第４フィルタ領域の形状または配置は、前記第１のぼけ形状に対してぼけが付加される方向が前記第１の画像中または第２の画像中のエッジの向きと異なるように定められる請求項９記載の撮像装置。
13. 前記第１〜第４のフィルタ領域の形状または配置は、前記第１の画像の第１のぼけ形状に対してぼけが付加される方向及び前記第２の画像の第１のぼけ形状に対してぼけが付加される方向の一方が水平となるように定められる請求項９記載の撮像装置。
14. 前記第１〜第４のフィルタ領域の形状または配置は、前記第１の画像の第１のぼけ形状に対してぼけが付加される方向及び前記第２の画像の第１のぼけ形状に対してぼけが付加される方向が直交するように定められる請求項９記載の撮像装置。
15. 前記算出手段は、前記第１及び第４のフィルタ領域を透過した第１の波長領域に基づいて前記イメージセンサによって生成された第１の画像及び前記第２及び第４のフィルタ領域を透過した第２の波長領域に基づいて前記イメージセンサによって生成された第２の画像間の視差量に基づいて、前記撮像装置によって撮像された被写体までの距離を算出する請求項１記載の撮像装置。
16. 被写体を撮像するために入射した光を透過するフィルタと、
    前記フィルタを透過した光を受光して画像を生成するイメージセンサと、
    算出手段と
    を具備し、
    前記フィルタは、当該フィルタの一部である閉じた領域と、前記フィルタを二分し前記閉じた領域の外縁上の２点を通過する線によって形成された４つのフィルタ領域に分割されており、
    前記４つのフィルタ領域の透過率特性はそれぞれ異なり、
    前記算出手段は、第１の波長領域に基づいて前記イメージセンサによって生成された第１の画像または前記第１の波長領域とは波長が異なる第２の波長領域に基づいて前記イメージセンサによって生成された第２の画像の第１のぼけ形状と、前記第１の波長領域及び前記第２の波長領域とは波長が異なる第３の波長領域に基づいて前記イメージセンサによって生成された第３の画像の第２のぼけ形状とを比較することによって、前記被写体までの距離を算出する
    撮像装置。
17. 請求項１〜１６のいずれか１項に記載の撮像装置と、
    前記撮像装置において生成される画像に基づいて移動体の動作を制御する制御手段と
    を具備する自動制御システム。
18. 撮像装置及び画像処理装置を備えるシステムにおいて、
    前記撮像装置は、
    被写体を撮像するために入射した光を透過するフィルタと、
    前記フィルタを透過した光を受光して画像を生成するイメージセンサと
    を含み、
    前記フィルタは、
    前記入射した光のうちの第１の波長領域の光を透過し、前記第１の波長領域とは波長が異なる第２の波長領域の光を透過しない第１のフィルタ領域と、
    前記第１の波長領域の光を透過せず、前記第２の波長領域の光を透過する第２のフィルタ領域と、
    前記第１の波長領域の光を透過せず、前記第２の波長領域の光を透過しない第３のフィルタ領域と、
    前記第１の波長領域の光を透過し、前記第２の波長領域の光を透過する第４のフィルタ領域と
    を含み、
    前記画像処理装置は、前記第１の波長領域に基づいて前記イメージセンサによって生成された第１の画像または前記第２の波長領域に基づいて前記イメージセンサによって生成された第２の画像の第１のぼけ形状と、前記第１の波長領域及び前記第２の波長領域とは波長が異なる第３の波長領域に基づいて前記イメージセンサによって生成された第３の画像の第２のぼけ形状とを比較することによって、前記被写体までの距離を算出する算出手段を含む
    システム。
19. 被写体を撮像するために入射した光を透過するフィルタと、
    前記フィルタを透過した光を受光して画像を生成するイメージセンサと
    を具備し、
    前記入射した光のうちの第１の波長領域の光を透過し、前記第１の波長領域とは波長が異なる第２の波長領域の光を透過しない第１のフィルタ領域と、
    前記第１の波長領域の光を透過せず、前記第２の波長領域の光を透過する第２のフィルタ領域と、
    前記第１の波長領域の光を透過せず、前記第２の波長領域の光を透過しない第３のフィルタ領域と、
    前記第１の波長領域の光を透過し、前記第２の波長領域の光を透過する第４のフィルタ領域と
    を含み、
    前記イメージセンサによって生成された画像は、前記第１の波長領域に基づいて生成された第１の画像または前記第２の波長領域に基づいて生成された第２の画像の第１のぼけ形状と、前記第１の波長領域及び前記第２の波長領域とは波長が異なる第３の波長領域に基づいて生成された第３の画像の第２のぼけ形状とを比較することによって前記被写体までの距離を算出する画像処理装置に出力される
    撮像装置。

Images