JP6860433B2 - 処理装置、処理システム、方法及びプログラム - Google Patents

Description

本発明の実施形態は、処理装置、処理システム、方法及びプログラムに関する。

一般的に、撮像装置（カメラ）によって撮像された画像に基づいて、当該撮像装置によって画像が撮像される範囲（以下、撮像範囲と表記）内に存在する被写体までの距離を示す距離情報を取得する技術が知られている。

このような撮像装置によれば、例えばある物体が存在していないときに撮像された画像の距離情報と、その物体が存在して他の物体の位置が変化していない画像の距離情報との差分を利用することによって、撮像範囲内におけるその物体の有無を検出することができる。このため、上記した撮像装置は、例えば監視カメラ等として利用することが可能である。

特開２０１７−０４０６４２号公報 特開２０１６−０４２２７６号公報

しかしながら、上記したように物体の有無を検出する際には、画像から距離情報を計算（取得）する必要がある。そのための計算コストが高い。

そこで、本発明が解決しようとする課題は、物体の有無を検出するための計算コストを低減することが可能な処理装置、処理システム、方法及びプログラムを提供することにある。

実施形態に係る処理装置は記憶部と評価部とを備える。記憶部は、第１画像に含まれる第１色成分の画像のぼけ形状を前記第１画像に含まれる第２色成分の画像のぼけ形状に近づけるように変更する第１ぼけ変更フィルタを第２画像に含まれる前記第１色成分の画像に適用した第３画像と、第４画像と、を記憶する。評価部は、第３画像と第４画像とに基づいて、評価値を算出する。前記第４画像は、前記第１画像に含まれる前記第２色成分の画像、前記第２画像に含まれる前記第２色成分の画像、前記第１画像に含まれる第３色成分の画像のぼけ形状を前記第１画像に含まれる前記第２色成分の画像のぼけ形状に近づけるように変更する第２ぼけ変更フィルタを前記第１画像に含まれる当該第３色成分の画像に適用した画像、または、前記第１ぼけ変更フィルタを前記第１画像に含まれる前記第１色成分の画像に適用した画像のいずれかである。

第１の実施形態に係る撮像装置のハードウェア構成の一例を示すブロック図。 フィルタの一例について説明するための図。 第１フィルタ領域及び第２フィルタ領域の透過率特性の一例を表す図。 撮像装置の機能構成の一例を示す図。 前処理の処理手順の一例を示すフローチャート。 Ｒ画像について概念的に説明するための図。 Ｂ画像について概念的に説明するための図。 Ｒ画像のぼけ形状の大きさが距離に応じて変化することを示す図。 Ｇ画像のぼけ形状の大きさが距離に応じて変化することを示す図。 Ｂ画像のぼけ形状の大きさが距離に応じて変化することを示す図。 画像中のエッジ領域におけるぼけ形状について説明するための図。 Ｒ画像のぼけ形状にぼけ変更フィルタを適用する場合について説明するための図。 Ｒ画像のぼけ形状及びＧ画像のぼけ形状を表すぼけ関数の一例を表す図。 距離ｄ１に対応するぼけ変更フィルタの一例を表す図。 距離ｄ２に対応するぼけ変更フィルタの一例を表す図。 距離ｄ３に対応するぼけ変更フィルタの一例を表す図。 評価処理の処理手順の一例を示すフローチャート。 撮像装置が適用される監視システムの機能構成の一例を示すブロック図。 撮像装置が適用される自動ドアシステムの機能構成の一例を示すブロック図。 撮像装置が適用される自動車制御システムの機能構成の一例を示すブロック図。 撮像装置が自動車に設置された状態の一例を示す図。 監視領域について説明するための図。 監視領域について説明するための図。 ３Ｄ点群に対して監視領域が設定される場合について説明するための図。 ３Ｄ点群に対して監視領域が設定される場合について説明するための図。 第２の実施形態に係る撮像装置の動作について概念的に説明するための図。 評価処理の処理手順の一例を示すフローチャート。

以下、図面を参照して、各実施形態について説明する。
（第１の実施形態）
まず、第１の実施形態について説明する。図１は、本実施形態に係る撮像装置のハードウェア構成の一例を示すブロック図である。本実施形態に係る撮像装置は、例えばカメラ、カメラ機能を有する携帯電話機、スマートフォン及びＰＤＡ（Personal Digital Assistant, Personal Data Assistant）のような携帯情報端末、カメラ機能を有するパーソナルコンピュータ、または各種電子機器に内蔵される組み込みシステムとして実現され得る。

図１に示すように、撮像装置１００は、フィルタ１０、レンズ２０、イメージセンサ３０、画像処理部及び記憶部を備える。フィルタ１０と、レンズ２０と、イメージセンサ３０とは、撮像部を構成する。画像処理部は、例えばＣＰＵ４０等の回路で構成される。記憶部は、例えば不揮発性メモリ５０及び主メモリ６０で構成される。撮像装置１００は、通信Ｉ／Ｆ７０、ディスプレイ８０及びメモリカードスロット９０等を更に備えていてもよい。例えば、イメージセンサ３０、ＣＰＵ４０、不揮発性メモリ５０、主メモリ６０、通信Ｉ／Ｆ７０、ディスプレイ８０及びメモリカードスロット９０は、バスを介して相互に接続され得る。

フィルタ１０は、例えば撮像装置１００の開口部に設けられ、図１において矢印によって表される被写体を撮像するために入射した光（被写体で反射した光）を透過する。

フィルタ１０が撮像装置１００の開口部に設けられている場合、レンズ２０は、当該フィルタ１０を透過した光を集光する。

フィルタ１０及びレンズ２０を透過した光は、イメージセンサ３０に到達し、イメージセンサ３０によって受光される。イメージセンサ３０は、受光した光を電気信号に変換（光電変換）することによって、複数の画素から構成される画像を生成する。以下の説明においては、イメージセンサ３０によって生成される画像を便宜的に撮像画像と称する。

なお、イメージセンサ３０は、例えばＣＣＤ（Charge Coupled Device）イメージセンサ及びＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等により実現される。イメージセンサ３０は、例えば赤色（Ｒ）の波長領域の光を検出するセンサ（Ｒセンサ）、緑色（Ｇ）の波長領域の光を検出するセンサ（Ｇセンサ）及び青色（Ｂ）の波長領域の光を検出するセンサ（Ｂセンサ）を有し、それぞれのセンサにより対応する波長領域の光を受光して、各波長領域（色成分）に対応する画像（Ｒ画像、Ｇ画像及びＢ画像）を生成する。すなわち、上記した撮像画像には、Ｒ画像、Ｇ画像及びＢ画像が含まれる。

ＣＰＵ４０は、撮像装置１００の動作を統括的に制御するハードウェアプロセッサである。具体的には、ＣＰＵ４０は、不揮発性メモリ５０から主メモリ６０にロードされる各種プログラム（ソフトウェア）を実行する。なお、不揮発性メモリ５０としては、例えばＨＤＤ（Hard Disk Drive）及びＮＡＮＤ型フラッシュメモリ等の書き換え可能な記憶デバイスを用いることができる。また、主メモリ６０としては、例えばＲＡＭ（Random Access Memory）等が用いられる。

通信Ｉ／Ｆ７０は、例えば外部機器との通信等を制御するインタフェースである。ディスプレイ８０は、液晶ディスプレイ及びタッチスクリーンディスプレイ等を含む。メモリカードスロット９０は、例えばＳＤメモリカード及びＳＤＨＣメモリカード等の可搬記憶媒体を挿入して利用することができるように構成されている。メモリカードスロット９０に記憶媒体が挿入された場合、当該記憶媒体に対するデータの書き込み及び読み出しが実行され得る。

なお、画像処理部と記憶部と、は処理装置を構成する。通信Ｉ／Ｆ７０、ディスプレイ８０及びメモリカードスロット９０は、処理装置に含まれてもよい。

また、例えばフィルタ１０と、レンズ２０と、イメージセンサ３０と、画像処理部と、記憶部と、が処理システムを構成してもよい。処理システムを構成する一部は、他の部分と無線通信により接続されていてもよい。通信Ｉ／Ｆ７０、ディスプレイ８０及びメモリカードスロット９０は、処理システムに含まれてもよい。

次に、図２を参照して、フィルタ１０の一例について説明する。フィルタ１０は、カラーフィルタであり、特定の波長帯の光を透過する。図２に示す例では、フィルタ１０は、第１フィルタ領域１１及び第２フィルタ領域１２を含む。

フィルタ１０の中心は、撮像装置１００の光学中心１３と一致している。第１フィルタ領域１１及び第２フィルタ領域１２は、それぞれ光学中心１３に対して非点対称である形状を有している。第１フィルタ領域１１及び第２フィルタ領域１２は、重複せず、かつ、フィルタ１０の全領域を構成している。

図２に示す例では、第１フィルタ領域１１及び第２フィルタ領域１２は、それぞれ円形のフィルタ１０が光学中心１３を通る線分で分割された半円の形状を有している。また、第１フィルタ領域１１は、例えばイエロー（Ｙ）のフィルタ領域であり、第２フィルタ領域１２は、例えばシアン（Ｃ）のフィルタ領域である。この場合、第１フィルタ領域１１は、赤色の波長領域の光と緑色の波長領域の光とを透過し、青色の波長領域の光を透過しない。また、第２フィルタ領域１２は、緑色の波長領域の光と青色の波長領域の光とを透過し、赤色の波長領域の光を透過しない。

上記したようにフィルタ１０は、２以上のカラーフィルタ領域を有する。カラーフィルタ領域の各々は、撮像装置１００の光学中心に対して非点対称な形状である。１のカラーフィルタ領域を透過する光の波長領域の一部と、他のカラーフィルタ領域を透過する光の波長領域の一部は、例えば重複する。１のカラーフィルタ領域を透過する光の波長領域は、例えば他のカラーフィルタ領域が透過する光の波長領域を含んでいてもよい。

なお、第１フィルタ領域１１と第２フィルタ領域１２とは、任意の波長領域の透過率を変更するフィルタ、任意方向の偏光光を通過させる偏光フィルタまたは任意の波長領域の集光パワーを変更するマイクロレンズであってもよい。

以下では、上記した図２に示す第１フィルタ領域１１がイエロー（Ｙ）のフィルタ領域であり、第２フィルタ領域１２がシアン（Ｃ）のフィルタ領域である場合について主に説明する。

ここで、図３は、上記した第１フィルタ領域１１及び第２フィルタ領域１２の透過率特性の一例を表す。図３においては、可視光の波長領域のうち７００ｎｍより長い波長の光に対する透過率は、図示されていないが７００ｎｍの場合に近い。図３に示すイエローの第１フィルタ領域１１の透過率特性２１が示すように、第１フィルタ領域１１により、波長領域６２０ｎｍから７５０ｎｍ程度の赤色及び波長領域が４９５ｎｍから５７０ｎｍ程度の緑色に対応する光が高い透過率で透過され、波長領域が４５０ｎｍから４９５ｎｍ程度の青色に対応する光がほとんど透過されない。また、シアンの第２フィルタ領域１２の透過率特性２２が示すように、第２フィルタ領域１２
により、青色及び緑色に対応する波長領域の光が高い透過率で透過され、赤色に対応する波長領域の光がほとんど透過されない。

したがって、赤色の光はイエローの第１フィルタ領域１１のみを透過し、青色の光はシアンの第２フィルタ領域１２のみを透過する。また、緑色の光は第１フィルタ領域１１及び第２フィルタ領域１２の両方を透過する。

なお、本実施形態において、「透過する」とは、対応する波長領域の光を高い透過率で透過し、当該波長領域の光の減衰（すなわち、光量の低下）が極めて小さいことを意味する。すなわち、「透過する」とは、対応する波長領域の光の全てを透過する場合のみではなく、当該波長領域を主として透過するような場合をも含むものとする。

また、「透過しない」とは、対応する波長領域の光を遮蔽することであり、例えば当該波長領域の光を低い透過率で透過し、当該フィルタ領域による当該波長領域の光の減衰が極めて大きいことを意味する。すなわち、「透過しない」とは、対応する波長領域の光の全てを透過しない場合のみではなく、当該波長領域を主として透過しないような場合をも含むものとする。

具体的には、第１フィルタ領域１１は、赤色及び緑色の波長領域の光を透過し、青色の波長領域の光を透過しないように構成されているが、赤色及び緑色の波長領域の光の全てを透過するものでなくてもよいし、青色の波長領域の光の全てを透過しないものでなくてもよい。同様に、第２フィルタ領域１２は、緑色及び青色の波長領域の光を透過し、赤色の波長領域の光を透過しないように構成されているが、緑色及び青色の波長領域の光の全てを透過するものでなくてもよいし、赤色の波長領域の光の全てを透過しないものでなくてもよい。換言すれば、第１フィルタ領域１１及び第２フィルタ領域１２の透過率特性は、例えば、第１の波長領域の光は主に第１フィルタ領域１１を透過し第２フィルタ領域１２を透過せず、第２の波長領域の光は主に第１フィルタ領域１１を透過せず第２フィルタ領域１２を透過し、第３の波長領域の光は第１フィルタ領域１１と第２ふぉるた領域１２の両方を透過する。

本実施形態に係る撮像装置１００は、上記したようなフィルタ１０を介して任意の被写体を撮像することによって得られる画像に基づいて、当該撮像装置１００から被写体までの距離（デプス）を示す情報（以下、距離情報と表記）を取得することができる。

ここで、撮像装置１００が例えば監視カメラ等として利用される場合、撮像装置１００においては、当該撮像装置１００によって画像が撮像される範囲（以下、撮像範囲と表記）内に不審者等が侵入したことを検出するようなことが求められる。この場合、例えば不審者等の物体が存在していないときに撮像された画像（以下、参照画像と表記）から取得された距離情報と、不審者等の検出対象の物体の有無を検出するために撮像された画像（以下、対象画像と表記）から取得された距離情報とを比較することによって、撮像範囲内における不審者等の物体の有無を検出することができる。

しかしながら、この場合には参照画像及び対象画像の各々から距離情報を計算する必要があり、計算コストが高い。監視カメラでは対象画像が時々刻々と撮像され、ある物体（例えば侵入者）の有無を実時間で検出しなければならない場合が多い。そのため、時々刻々と撮像される対象画像から距離情報を計算するコストが高いのは好ましくない。

それに対し、本実施形態に係る撮像装置１００は、撮像範囲内における物体の有無に関する評価値を算出するので、当該物体の有無を検出するための計算コストを低減することができる。

なお、本実施形態において、検出対象の物体は、参照画像にはない物体や参照画像の撮像時から移動した物体であり、人物や動物や車などの乗り物であってもよい。

図４は、本実施形態に係る撮像装置１００の機能構成の一例を示す。図４に示すように、撮像装置１００は、上述したフィルタ１０、レンズ２０及びイメージセンサ３０に加えて、機能構成部としての画像処理部１１０を含む。本実施形態において、画像処理部１１０の一部または全ては、ＣＰＵ４０等のコンピュータにプログラムを実行させること、すなわち、ソフトウェアによって実現されるものとする。コンピュータに実行させるプログラムは、コンピュータ読み取り可能な記憶媒体に格納して頒布されてもよいし、ネットワークを通じて撮像装置１００にダウンロードされてもよい。なお、画像処理部１１０の一部または全ては、ＩＣ（Integrated Circuit）等のハードウェアによって実現されてもよいし、ソフトウェア及びハードウェアの組み合わせ構成として実現されてもよい。

イメージセンサ３０は、フィルタ１０とレンズ２０を透過した光を光電変換し、電気信号を画像処理部１１０に送る。図４においてはフィルタ１０とイメージセンサ３０の間にレンズ２０が設けられる構成が示されているが、レンズ２０とイメージセンサ３０の間にフィルタ１０が設けられてもよいし、レンズ２０が複数ある場合には、２つのレンズの間にフィルタ１０が設けられてもよい。また、フィルタ１０は、レンズ２０の内部に設けられていてもよいし、レンズ２０の面上に設けられてもよい。すなわち、フィルタ１０は、イメージセンサ３０がフィルタ１０を透過した光を受光して画像を生成することが可能な位置に設けられていればよい。

イメージセンサ３０は、第１センサ３１、第２センサ３２及び第３センサ３３を含む。例えば、第１センサ３１は赤色の波長領域（色成分）の光を検出するＲセンサであり、第２センサ３２は緑色の波長領域（色成分）の光を検出するＧセンサであり、第３センサ３３は青色の波長領域（色成分）の光を検出するＢセンサである。

第１センサ３１は、検出された赤色の波長領域の光に基づいてＲ画像を生成する。第２センサ３２は、検出された緑色の波長両機の光に基づいてＧ画像を生成する。第３センサ３３は、検出された青色の波長領域の光に基づいてＢ画像を生成する。

ここで、第２センサ３２は、上記したように第１フィルタ領域１１及び第２フィルタ領域１２の両方を透過した緑色の波長領域の光を検出するため、Ｇ画像は、他の画像（Ｒ画像及びＢ画像）より明るく、ノイズの少ない画像となり得る。また、Ｇ画像は、フィルタ１０が設けられたことにより影響が少ない画像であるといえる。一方、第１センサ３１によって生成されるＲ画像及び第２センサ３３によって生成されるＢ画像は、第１フィルタ領域１１及び第２フィルタ領域１２の一方のフィルタ領域を透過した光から生成される画像であるため、Ｇ画像と異なる。このＲ画像及びＢ画像の詳細については後述する。

上記したように第１センサ３１、第２センサ３２及び第３センサ３３によって生成されたＲ画像、Ｇ画像及びＢ画像を含む撮像画像（撮像装置１００によって撮像された画像）は、イメージセンサ３０から画像処理部１１０に対して出力される。

なお、イメージセンサ３０から画像処理部１１０に対して出力される撮像画像には、上記した物体が存在していないときに撮像された画像（参照画像）及びその物体の有無を検出するために撮像された画像（対象画像）が含まれる。参照画像と対象画像の撮像範囲は、少なくとも一部が重複する。参照画像と対象画像の撮像範囲は、例えば、同じである。

図４に示すように、画像処理部１１０は、取得部１１１、前処理部１１２及び評価部１１３を含む。

取得部１１１は、上記した参照画像及び対象画像を取得する。参照画像中の物体便宜的に背景と称する。参照画像には、背景のみが写っている。背景には、例えば壁面や、床面や、検出対象でない物体が含まれる。対象画像には、背景のみが写っている場合もあれば、背景に加えて検出対象の物体が写っている場合もある。

前処理部１１２は、取得部１１１によって取得された参照画像に含まれるＲ画像、Ｇ画像及びＢ画像に基づいて、撮像装置１００から背景までの距離（以下、背景距離と表記）を算出する。例えば、前処理部１１２は、参照画像の画素毎に背景距離を算出する。なお、前処理部１１２による背景距離の算出処理については後述する。

評価部１１３は、取得部１１１によって取得された対象画像に含まれるＲ画像、Ｇ画像及びＢ画像のうちの少なくとも１つの画像及び前処理部１１２によって算出された背景距離に基づいて、撮像範囲内における物体の有無に関する評価値を算出する。なお、評価部１１３による評価値の算出処理については後述する。

次に、本実施形態に係る撮像装置１００によって実行される処理について説明する。本実施形態に係る撮像装置１００によって実行される処理は、主として前処理部１１２によって実行される前処理と、主として評価部１１３によって実行される評価処理とを含む。

まず、図５のフローチャートを参照して、上記した前処理の処理手順の一例について説明する。前処理は、上記した物体が存在していないときに撮像された参照画像に対して実行される処理である。

前処理において、前処理部１１２は、取得部１１１から参照画像を受け取る（ステップＳ１）。参照画像は、例えば、Ｒ画像、Ｇ画像及びＢ画像を含む。

ここで、図６を参照して、Ｒ画像について概念的に説明する。図６の右列と中列はそれぞれ、点光源を被写体として撮像したときにイメージセンサ３０上に形成されるＧ画像、Ｒ画像のぼけ形状を表し、左列は、それぞれ撮像装置１００を上方向（つまり、フィルタ１０の分割方向に平行なＹ軸の正方向）から見た場合におけるレンズ２０及びフィルタ１０の組み合わせとイメージセンサ３０と被写体の位置関係を示している。

なお、以下の説明においては、撮像装置１００においてピントが合う位置（以下、ピント位置と表記）から被写体（背景）までの距離を距離ｄと称する。なお、距離ｄは、ピント位置を基準（０）として、被写体の位置がピント位置よりも遠い場合には正の値となり、被写体の位置がピント位置よりも近い場合には負の値となるものとする。

まず、被写体の位置がピント位置よりも遠い、つまり、距離ｄ＞０の場合を想定する。この場合、被写体にはピントが合っていないため、図６の上段に示すように、Ｒ画像においてもＧ画像においても、ぼけが生じる。

また、距離ｄ＞０の場合のＲ画像のぼけの形状（以下、単にぼけ形状と表記）２０１ａは、例えば点対称なＧ画像のぼけ形状２０２ａと比較して右側に偏った非対称な形状となる。Ｇ画像のぼけ形状２０２ａが点対称形状なのは、フィルタ１０の第１フィルタ領域１１と第２フィルタ領域１２がほぼ均等に緑（Ｇ）色の光を透過させるためである。Ｒ画像のぼけ形状２０１ａが非点対称形状（右側に偏った形状）なのは、フィルタ１０の第１フィルタ領域１１が赤（Ｒ）色の光を透過させ、第２フィルタ領域１２が赤（Ｒ）色の光を透過させないためである。

本実施形態において説明するぼけ形状とは、特定の画素を含む所定の範囲において生じている。以下の説明においても同様である。

なお、ぼけ形状２０１ａ及び２０２ａのような点光源を被写体として撮像した像のぼけの形状を表す関数は、点拡がり関数（ＰＳＦ：Point Spread Function）と称される。ここでは、点拡がり関数をぼけ関数、あるいは、ぼけ形状と表記する。

次に、被写体の位置がピント位置に一致する、つまり、距離ｄ＝０の場合を想定する。図６の中段に示すように、この場合のＲ画像においてもＧ画像においても、ぼけは生じない。

更に、被写体の位置がピント位置よりも近い、つまり、距離ｄ＜０の場合を想定する。この場合、図６の下段に示すように、被写体にはピントが合っていないため、Ｒ画像においてもＧ画像においても、ぼけが生じる。

また、上記したようにＲ画像は第１フィルタ領域１１を主に透過した光に基づいて生成される画像であるが、距離ｄ＜０の場合のＲ画像のぼけ形状２０１ｂは、図６の下段に示すように、例えばＧ画像のぼけ形状２０２ｂと比較して左側に偏った形状となる。

すなわち、ぼけ形状２０１ｂは、上記したぼけ形状２０１ａと同様に非点対称形状であり、当該ぼけ形状２０１ａをＹ軸方向に平行な直線を軸にして反転した形状となる。

一方、この場合におけるＧ画像のぼけ形状２０２ｂは、上記したＧ画像のぼけ形状２０２ａと同様の点対称形状となる。

次に、図７を参照して、Ｂ画像について概念的に説明する。図７の右列と中列はそれぞれ、点光源を被写体として撮像したときにイメージセンサ３０上に形成されるＧ画像、Ｂ画像のぼけ形状を表し、左列は、それぞれ撮像装置１００の上方向（つまり、Ｙ軸の正方向）から見た場合におけるレンズ２０及びフィルタ１０の組み合わせとイメージセンサ３０と被写体の位置関係を示している。なお、図７に示すＧ画像のぼけ形状については、図６において説明した通りであるため、その詳しい説明を省略する。

まず、被写体の位置がピント位置よりも遠い、つまり、距離ｄ＞０の場合を想定する。この場合、被写体にはピントが合っていないため、図７の上段に示すように、Ｂ画像においてもＧ画像においても、ぼけが生じる。

また、上記したようにＢ画像は、主に第２フィルタ領域１２を透過した光に基づいて生成される画像である。このため、距離ｄ＞０の場合のＢ画像のぼけ形状２０３ａは、例えば点対称なＧ画像のぼけ形状２０２ａと比較して左側に偏った非対称な形状となる。Ｂ画像のぼけ形状２０３ａが非点対称形状（左側に偏った形状）なのは、フィルタ１０の第１フィルタ領域１１のイエロー（Ｙ）が青（Ｂ）をほとんど透過させず、第２フィルタ領域１２のシアン（Ｃ）が青（Ｂ）を透過させるためである。

次に、被写体の位置がピント位置に一致する、つまり、距離ｄ＝０の場合を想定する。図７の中段に示すように、この場合のＢ画像においてもＧ画像においても、ぼけは生じない。

更に、被写体の位置がピント位置よりも近い、つまり、距離ｄ＜０の場合を想定する。この場合、図７の下段に示すように、被写体にはピントが合っていないため、Ｂ画像においてもＧ画像においても、ぼけが生じる。

また、距離ｄ＜０の場合のＢ画像のぼけ形状２０３ｂは、図７の下段に示すように、例えばＧ画像のぼけ形状２０２ｂと比較して右側に偏った形状となる。

すなわち、ぼけ形状２０３ｂは、上記したぼけ形状２０３ａと同様に非点対称形状であり、当該ぼけ形状２０３ａをＹ軸方向に平行な直線を軸にして反転した形状となる。

上記したようにＲ画像及びＢ画像においては、距離ｄに応じてぼけ形状が変化する。具体的には、Ｒ画像のぼけ形状は、距離ｄ＞０であればＧ画像のぼけ形状の左側が欠けた半円形状のような形状（非点対称形状）に変化し、距離ｄ＜０であればＧ画像のぼけ形状の右側が欠けた半円形状のような形状に変化する。一方、Ｂ画像のぼけ形状は、距離ｄ＞０であればＧ画像のぼけ形状の右側が欠けた半円形状のような形状（非点対称形状）に変化し、距離ｄ＜０であればＧ画像のぼけ形状の右側が欠けた半円形状のような形状（非点対称形状）に変化する。すなわち、Ｒ画像のぼけ形状は、Ｂ画像のぼけ形状をＹ軸方向に平行な直線を軸にして反転した形状となる。

また、図６及び図７においては示されていないが、Ｒ画像、Ｇ画像及びＢ画像におけるぼけ形状の大きさ（幅）は、距離｜ｄ｜に依存する。なお、図８は、Ｒ画像のぼけ形状の大きさが距離｜ｄ｜に応じて変化することを示している。図９は、Ｇ画像のぼけ形状の大きさが距離｜ｄ｜に応じて変化することを示している。図１０は、Ｂ画像のぼけ形状の大きさが距離｜ｄ｜に応じて変化することを示している。すなわち、ぼけ形状の大きさは、距離｜ｄ｜が大きいほど大きく（幅が広く）なる。

なお、上記したぼけ形状は主に画像中のエッジ領域（エッジ部分）に表れる。以下、図１１を参照して、画像中のエッジ領域におけるぼけ形状について説明する。

図１１においては、画像中の暗色（例えば、黒）と明色（例えば、白）との境界であるエッジ領域２１０内の画素について説明する。なお、ここでは、撮像装置１００（イメージセンサ３０）から画像中に含まれる被写体（背景）１５までの距離ｄがピント位置よりも遠い場合（つまり、距離ｄ＞０）を想定している。

ここで、エッジ領域２１０は、左側の暗色の領域２１０Ｌと右側の明色の領域２１０Ｒとで構成されているものとする。これら暗色の領域２１０Ｌと明色の領域２１０Ｒとの境界が、エッジ２１０Ｅである。もし、フィルタ１０が配置されておらずかつピントが合っていてぼけがなかった場合には、Ｒ画像、Ｇ画像及びＢ画像中のこれらの領域２１０Ｌ及び２１０Ｒにおける画素の位置と画素値との関係２２０はいずれも先鋭なエッジの形状となる。

しかしながら、実際にはエッジ領域２１０はフィルタ１０の影響を受け、かつ、ピントが合っていないため、ぼけを含む。

例えば、距離ｄにある被写体のＲ画像のぼけ関数は、ぼけ関数２０１ａである。距離ｄにある被写体のＲ画像には、左側に偏った非点対称なぼけが発生する。領域２１０Ｌ及び２１０Ｒにおける画素値にぼけ関数２０１ａを畳み込むとわかる通り、Ｒ画像上のエッジ領域２１０における画素の位置と画素値との関係２２０Ｒは、エッジ２１０Ｅの左側の第１領域２２１で大きなぼけが発生し、右側の第２領域２２２で小さなぼけが発生する。

距離ｄにある被写体のＧ画像のぼけ関数は、ぼけ関数２０２ａである。距離ｄにある被写体のＧ画像には、点対称なぼけが発生する。領域２１０Ｌ及び２１０Ｒにおける画素値にぼけ関数２０２ａを畳み込むとわかる通り、Ｇ画像上のエッジ領域２１０における画素の位置と画素値との関係２２０Ｇは、エッジ２１０Ｅの左側の第１領域２２１と右側の第２領域２２２との両方で大きなぼけが発生する。

距離ｄにある被写体のＢ画像のぼけ関数は、ぼけ関数２０３ａである。距離ｄにある被写体のＢ画像には、右側に偏った非点対称なぼけが発生する。領域２１０Ｌ及び２１０Ｒにおける画素値にぼけ関数２０３ａを畳み込むとわかる通り、Ｂ画像上のエッジ領域２１０における画素の位置と画素値との関係２２０Ｂは、エッジ２１０Ｅの左側の第１領域２２１で小さなぼけが発生し、右側の第２領域２２２で大きなぼけが発生する。

上記したように本実施形態に係る撮像装置１００において撮像された画像においては、当該画像中のエッジ領域において、Ｒ、Ｇ、Ｂ画像に応じたぼけ形状が観察される。換言すれば、撮像装置１００によれば、ぼけ関数が対称な色成分とぼけ関数が非対称な色成分を含む画像が生成可能である。

再び図５に戻ると、前処理部１１２は、上記した参照画像（Ｒ画像及びＧ画像）を構成する画素毎に以下のステップＳ２〜Ｓ４の処理を実行する。以下、ステップＳ２〜Ｓ４の処理において対象とされる画素を対象画素と称する。

前処理部１１２は、上記したステップＳ１において取得された参照画像に含まれるＲ画像中の対象画素を含む所定の範囲の画素値を取得する（ステップＳ２）。

また、前処理部１１２は、ステップＳ１において取得された参照画像に含まれるＧ画像中の対象画素を含む所定の範囲の画素値を取得する（ステップＳ３）。

なお、ステップＳ２とステップＳ３は逆の順番でも良いし、同時でも良い。ステップＳ２においては、Ｒ画像に変えてＢ画像を使用してもよい。

ステップＳ２で取得したＲ画像の所定の範囲に対し、予め用意されている複数の距離ｄに対応する複数のぼけ変更フィルタをそれぞれ適用し、適用結果がステップＳ３で取得したＧ画像の所定の範囲と最も近いぼけ変更フィルタを特定する（ステップＳ４）。

ステップＳ４において、図１２を参照して、点光源を被写体として撮像したＲ画像のぼけ形状、すなわち、ぼけ関数にぼけ変更フィルタを適用する場合について説明する。ここでは、図１２に示すように、距離ｄ＞０の場合のＲ画像のぼけ関数２０１ａについて説明する。

図１２に示すぼけ変更フィルタ３０１は、上記した第１フィルタ領域１１と第２フィルタ領域１２とを分割する線の中心点を通り、かつ、当該線に対して垂直なＸ軸の負方向の直線上（直線付近）にぼけが分布するぼけ関数に相当する。

このようなぼけ変更フィルタ３０１がＲ画像のぼけ形状２０１ａに適用された場合には、図１２に示すように、Ｒ画像のぼけ形状２０１ａがぼけ形状４０１に変更される。

なお、図１２においては１つのぼけ変更フィルタのみについて説明したが、本実施形態においては、上記したように異なる複数の距離ｄの各々に対応する複数のぼけ変更フィルタが用意されている。

なお、ステップＳ４において特定されたぼけ変更フィルタに対応する距離ｄは、撮像装置１００から対象画素を含む領域内に存在する背景（例えば、壁面等）までの距離（背景距離）に相当する。

ここで、図１３〜図１６を参照して、異なる複数の距離ｄの各々に対応する複数のぼけ変更フィルタについて、点光源を被写体として撮像した場合を例にとって概念的に説明する。

図１３のように、Ｒ、Ｇ画像中の対象画素を含む所定の範囲は、ぼけ関数２０１ａ、２０２ａと一致する。そこでこの例では、Ｒ、Ｇ画像中の対象画素を含む所定の範囲を、ぼけ関数２０１ａ、２０２ａ、あるいは、ぼけ形状２０１ａ、２０２ａと表記する。

図１４は、例えば距離ｄ１に対応するぼけ変更フィルタ３０１ａを表す。図１５は、例えば距離ｄ２に対応するぼけ変更フィルタ３０１ｂを表す。図１６は、例えば距離ｄ３に対応するぼけ変更フィルタ３０１ｃを表す。なお、ぼけ変更フィルタ３０１ａ〜３０１ｃは、Ｒ画像のぼけ形状２０１ａに適用されるぼけ変更フィルタとして予め用意されている。なお、距離ｄ１、ｄ２及びｄ３は、ｄ１＜ｄ２＜ｄ３の関係にあるものとする。

この場合、図１３に示すＲ画像のぼけ関数２０１ａに対して、図１３、１４、１５のぼけ変更フィルタ３０１ａ〜３０１ｃをそれぞれ適用する、すなわち、畳み込むことにより、３つの変更されたぼけ関数が得られる。これら３つの変更されたぼけ関数のうち、どれが最もＧ画像のぼけ関数２０２ａに近いかが判定される。近さの評価には、誤差や相関を用いる。誤差の値は、小さいほど近いことを意味する。相関の値は、大きいほど近いことを意味する。誤差の評価手法としては、例えば、ＳＳＤ（Sum of Squared Difference）、ＳＡＤ（Sum of Absolute Difference）、Color Alignment Measure等が利用される。相関の評価手法としては、例えば、ＮＣＣ（Nomalized Cross-Correlation）、ＺＮＣＣ（Zero-mean Nomalized Cross-Correlation）等が利用される。

例えば、図１３のぼけ形状２０１ａに図１４のぼけ変更フィルタ３０１ａを適用したとしても、変更後のぼけ形状は、Ｇ画像のぼけ形状２０２ａとは近くない。

例えば、図１３のぼけ形状２０１ａに図１５のぼけ変更フィルタ３０１ｂを適用した場合、変更後のぼけ形状は、Ｇ画像のぼけ形状２０２ａに近い。

例えば、図１３のぼけ形状２０１ａに図１６のぼけ変更フィルタ３０１ｃを適用したとしても、変更後のぼけ形状は、Ｇ画像のぼけ形状２０２ａとは近くない。

これによれば、図５に示すステップＳ４においてはぼけ変更フィルタ３０１ｂが特定される。換言すれば、撮像装置１００から対象画素を含む領域に存在する被写体までの距離として、ぼけ変更フィルタ３０１ｂに対応する距離ｄ２が特定される。

前処理部１１２は、上記したような処理を実行することにより、撮像装置１００から背景（対象画素を含む領域に存在する背景）までの距離ｄを算出することが可能となる。

上記したような処理が実行されることによって、Ｒ画像の対象画素のぼけ関数を、Ｇ画像の当該対象画素のぼけ関数に近づけるぼけ変更フィルタ（つまり、対象画素に対応するぼけ変更フィルタ）を特定することができる。換言すれば、参照画像のＲ画像（第１色成分画像）にここで特定されたぼけ変更フィルタを適用して得られる画像（第４画像）のぼけ形状は、当該Ｒ画像のぼけ形状よりも参照画像のＧ画像（第３色成分画像）のぼけ形状に近くなる。なお、対象画素に対応するぼけ変更フィルタを示す情報は、例えば画像処理部１１０内において保持される。

再び図５に戻ると、ステップＳ４の処理が実行された場合、全ての画素について上記したステップＳ２〜Ｓ４の処理が実行されたか否かが判定される（ステップＳ５）。

全ての画素について処理が実行されていないと判定された場合（ステップＳ５のＮＯ）、上記したステップＳ２に戻って処理が繰り返される。この場合、ステップＳ２〜Ｓ４の処理が実行されていない（つまり、ぼけ変更フィルタが特定されていない）画素を対象画素として処理が繰り返される。

一方、全ての画素について処理が実行されたと判定された場合（ステップＳ５のＹＥＳ）、図５に示す前処理は終了される。このように前処理が終了されると、画像処理部１１０内には、Ｒ画像を構成する画素の各々について、当該画素に対応するぼけ変更フィルタを示す情報が保持される。

なお、ステップＳ５においては、全ての画素について処理が実行されたかどうか判定する代わりに、画像の一部について処理が実行されたかどうか判定してもよい。画像の一部は、例えば、ステップＳ２およびステップＳ３に用いられた対象画素を含む領域を含む。

なお、図５に示す前処理は、例えば定期的に実行される（つまり、定期的に参照画像が撮像される）ようにしてもよいし、撮像範囲内の環境の変化（例えば、撮像装置１００の設置位置が変更される）等に応じて実行されるようにしてもよい。

次に、図１７のフローチャートを参照して、上記した評価処理の処理手順の一例について説明する。評価処理は、物体の有無を検出するために撮像された対象画像に対して実行される処理である。

評価処理において、取得部１１１は、イメージセンサ３０によって出力された対象画像を取得する（ステップＳ１１）。ステップＳ１１において取得された対象画像は、Ｒ画像、Ｇ画像及びＢ画像を含み、記憶部に記憶される。

次に、評価部１１３は、上記した対象画像（Ｒ画像）を構成する画素毎に以下のステップＳ１２〜Ｓ１５及びＳ１６〜Ｓ１９の処理を実行する。以下、ステップＳ１２〜Ｓ１５、Ｓ１６〜１９の処理において対象とされる画素を対象画素と称する。

上記したように図５に示す処理がＲ画像（及びＧ画像）を対象として実行されているため、ここではＲ画像を対象として処理が実行されるが、この処理の対象となる画像の色成分（第２色成分）の波長範囲は、当該図５に示す処理が実行された画像の色成分（第１色成分）の波長範囲と少なくとも一部が重なっていればよい。

評価部１１３は、上記したステップＳ１１において取得された対象画像に含まれるＲ画像中の対象画素を含む所定の範囲を取得する（ステップＳ１２）。

評価部１１３は、上記した前処理において画像処理部１１０内において保持された情報（各画素に対応するぼけ変更フィルタを示す情報）に基づいて、対象画素に対応するぼけ変更フィルタを取得する（ステップＳ１３）。

評価部１１３は、ステップＳ１２において取得されたＲ画像の所定の範囲に対してステップＳ１３において取得されたぼけ変更フィルタを畳み込む（適用する）（ステップＳ１４）。なお、ぼけ変更フィルタの適用処理については上記した通りであるため、その詳しい説明を省略する。

全ての画素について処理が実行されていないと判定された場合（ステップＳ１５のＮＯ）、上記したステップＳ１２に戻って処理が繰り返される。この場合、ステップＳ１２〜Ｓ１４の処理が実行されていない画素を対象画素として処理が繰り返される。一方、全ての画素について処理が実行されたと判定された場合（ステップＳ１５のＹＥＳ）、ステップＳ１６に進む。この場合、Ｒ画像の全画素にぼけ変更フィルタが適用された結果の画像が生成されている。このぼけ変更フィルタが適用された結果の画像は記憶部に記憶される。なお、ぼけ変更フィルタが適用された結果の画像とは、上記した参照画像（第１画像）に含まれるＲ画像（第１色成分画像）のぼけ形状を変更するぼけ変更フィルタ（すなわち、ステップＳ１３において取得されたぼけ変更フィルタ）を対象画像（第２画像）に含まれるＲ画像（第２色成分画像）に適用した画像（第３画像）である。

評価部１１３は、Ｒ画像の全画素にぼけ変更フィルタが適用された結果の画像中の対象画素を含む所定の範囲を取得する（ステップＳ１６）。所定の範囲は、対象画素のみでも、対象画素を含む複数の画素でも構わない。

評価部１１３は、対象画像のＧ画像中の当該対象画素を含む所定の範囲を取得する（ステップＳ１７）。ここで、所定の範囲は、ステップＳ１６と同じ範囲である。

評価部１１３は、ステップＳ１６で取得した所定の範囲と、ステップＳ１７で取得した所定の範囲とから、評価値を算出する（ステップＳ１８）。ステップＳ１８に示す評価値は、対象画像内に参照画像にはない物体あるいは当該参照画像と異なる位置にある物体があるか否かを示す値である。

全ての画素について処理が実行されていないと判定された場合（ステップＳ１９のＮＯ）、上記したステップＳ１６に戻って処理が繰り返される。この場合、ステップＳ１６〜Ｓ１８の処理が実行されていない画素を対象画素として処理が繰り返される。一方、全ての画素について処理が実行されたと判定された場合（ステップＳ１９のＹＥＳ）、評価処理を終了する。このように評価処理が終了されると、対象画像を構成する画素の各々について評価値が算出された状態となる。

なお、ステップＳ１５及びステップＳ１９においては、全ての画素について処理が実行されたかどうか判定する代わりに、画像の一部の領域について処理が実行されたかどうか判定してもよい。画像の一部は、例えば、ステップＳ１２に用いられた所定の範囲を含む。なお、処理が実行される画像の一部の領域は、例えばユーザ等によって指定されてもよいし、他の手法によって指定されてもよい。

ステップＳ１１において取得された対象画像に検出対象の物体が存在していない場合には、対象画像に含まれるＲ画像及びＧ画像は、参照画像に含まれるＲ画像及びＧ画像と略同一の画像となる。この場合、ステップＳ１６で取得されるぼけ変更フィルタの適用結果である画像の所定の範囲はステップＳ１７において取得されるＧ画像の所定の範囲と近くなる。

一方、ステップＳ１１において取得された対象画像に検出対象の物体が存在している場合には、参照画像中の対象画素に対して算出される距離は、対象画像中の対象画素に対して算出される距離と異なる場合が多い。この場合、ステップＳ１６で取得されるぼけ変更フィルタの適用結果の所定の範囲はステップＳ１７において取得されるＧ画像の所定の範囲に近くない場合が多い。

ステップＳ１８で算出される評価値としては、ステップＳ１６で取得されるぼけ変更フィルタの適用結果の所定の範囲とステップＳ１７において取得されるＧ画像の所定の範囲の近さを評価するものを利用する。具体的には、上述の誤差や相関を利用する。評価値は、デプス変化の評価値であるともいえる。

ここではステップＳ１７において対象画像のＧ画像が取得され、ステップＳ１８での評価値の算出に利用されるものとして説明したが、参照画像のＧ画像が取得されてステップＳ１８での評価値の算出に利用されても構わない。この場合においても同様に評価値を算出することが可能である。

算出した評価値が、ステップＳ１６で取得されるぼけ変更フィルタの適用結果の所定の範囲とステップＳ１７において取得されるＧ画像の所定の範囲とが近くないことを表す画素には、検出対象の物体が存在するとして検出できる。具体的には、評価値が誤差の場合、対象画像を構成する画素の各々について算出された評価値のうち、例えば予め定められた値（以下、閾値と表記）以上の評価値が算出された画素に、検出対象の物体が存在すると判断できる。評価値が相関の場合、閾値以下の評価値が算出された画素に検出対象の物体が存在すると判断できる。なお、検出対象の物体が存在すると判断できた場合には、当該物体が存在する対象画像内の範囲を検出（特定）するようにしてもよい。

このような評価処理は、例えば撮像装置１００内の評価部１１３において実行されてもよいし、撮像装置１００外部の機器等において実行されてもよい。検出結果（検出対象の物体が存在するか否か）は、他の機器を制御するために利用されても構わない。また、評価処理において用いられる閾値は、制御対象となる機器に応じて適宜変更（設定）されるようにしてもよい。

図５及び図１７に示す処理においては、前処理において参照画像に含まれるＲ画像の所定の範囲をＧ画像の所定の範囲に近づけるぼけ変更フィルタを特定し、評価処理において対象画像に含まれるＲ画像の所定の範囲に当該ぼけ変更フィルタを適用した結果とＧ画像の所定の範囲とを比較することによって検出対象の物体の有無に関する評価値を算出する。

本実施形態においては、ぼけ変更フィルタが、Ｒ画像のぼけ関数をＧ画像のぼけ関数に近づけるものである例を説明したが、その逆に、Ｇ画像のぼけ関数をＲ画像のぼけ関数に近づけるものが用意されていても構わない。この場合、ぼけ変更フィルタはＲ画像の所定の範囲にではなく、Ｇ画像の所定の範囲に適用する必要がある。また、評価値は、Ｇ画像に対するぼけ変更フィルタの結果とＲ画像の所定の範囲とから計算する必要がある。ぼけ変更フィルタは、少なくとも２の色成分の画像を基に算出されることができる。２の色成分のうちの少なくとも一方の画像のぼけ関数は、例えば非点対称である。他方は点対称であってもよいし、非点対称であってもよい。

本実施形態においては、Ｒ、Ｇ画像から評価値を算出する例を説明したが、評価値は、Ｇ、Ｂ画像から算出しても構わない。この場合、それに合わせて取得する画像やぼけ変更フィルタも合わせて変更する必要がある。ぼけ変更フィルタは、Ｂ画像のぼけ関数をＧ画像のぼけ関数に近づけるものでも構わないし、Ｇ画像のぼけ関数をＢ画像のぼけ関数に近づけるものでも構わない。また、評価値は、Ｒ、Ｂ画像から算出しても構わない。この場合、それに合わせて取得する画像やぼけ変更フィルタも合わせて変更する必要がある。ぼけ変更フィルタは、Ｒ画像のぼけ関数をＢ画像のぼけ関数に近づけるものでも構わないし、Ｂ画像のぼけ関数をＲ画像のぼけ関数に近づけるものでも構わない。すなわち、少なくとも２の色成分の画像を基に評価値は算出されることができる。評価値を算出するのに用いる画像の色成分と、ぼけ変更フィルタを算出するのに用いる画像の色成分とは、同じでなくてもよい。

本実施形態においては、ぼけ変更フィルタが、Ｒ画像のぼけ関数をＧ画像のぼけ関数に近づけるものである例を説明したが、Ｒ画像のぼけ関数を距離に応じて変化する所定のぼけ関数に近づけるものと、Ｇ画像のぼけ関数を距離に応じて変化するその所定のぼけ関数に近づけるものを利用しても構わない。所定のぼけ関数は、例えば、Ｂ画像のぼけ関数、あるいは、シミュレーションで算出した架空の色成分のぼけ関数、フィルタ１０を別のものに変更した場合の別の色成分のぼけ関数等である。この場合、例えば、Ｒ、Ｇ画像のそれぞれに対応するぼけ変更フィルタを適用し、それぞれの適用結果から評価値を算出すると良い。

本実施形態においては、Ｒ、Ｇ画像の２つの色成分画像を利用する例を説明したが、３つの色成分画像、すなわち、Ｒ、Ｇ、Ｂ画像を利用しても構わない。この場合、Ｒ、Ｇ、Ｂ画像を取得し、例えば、Ｒ画像のぼけ関数をＧ画像のぼけ関数に、Ｇ画像のぼけ関数をＢ画像のぼけ関数に、Ｂ画像のぼけ関数をＲ画像のぼけ関数にそれぞれ近づけるぼけ変更フィルタを用意しておく。評価値としては、Ｒ画像に対するぼけ変更結果とＧ画像から算出した評価値と、Ｇ画像に対するぼけ変更結果とＢ画像から算出した評価値と、Ｂ画像に対するぼけ変更結果とＲ画像から算出した評価値の平均値を利用する。

本実施形態においては、背景距離に対応するぼけ変更フィルタに基づいて評価値を算出することができる。

なお、上記したようにＧ画像のぼけ関数は点対称形状であるため、前処理において参照画像に含まれるＲ画像のぼけ関数をＧ画像のぼけ関数に近づけるぼけ変更フィルタを特定した場合、評価処理においては、対象画像に含まれるＲ画像の所定の範囲に当該ぼけ変更フィルタを適用した結果が対称性（点対称性または線対称性）を有するか否かに基づいて評価値が算出されるようにしてもよい。前処理においてＢ画像のぼけ関数をＧ画像のぼけ関数に近づけるぼけ変更フィルタが特定された場合についても同様である。

ここでは、複数の評価値の算出処理について説明したが、これらの算出処理のうちの少なくとも１つが実行されればよい。また、上記した複数の評価値の算出処理のうちのいくつかの処理を組み合わせて実行しても構わない。

また、本実施形態においては検出対象の物体が存在しない状態で参照画像を予め撮像して前処理を実行するものとして説明したが、当該参照画像は、対象画像よりも前の時刻に撮像した画像、例えば、対象画像の１フレーム前の画像であっても構わない。このような場合であっても、撮像範囲内における検出対象の物体の有無に関する評価値（つまり、デプスの変化の評価値）を算出することができる。

上記したように本実施形態においては、対象画像に含まれる例えばＲ画像（第１色成分の画像）を取得し、撮像装置１００から対象画像中の背景までの距離（背景距離）に対応するぼけ変更フィルタを当該Ｒ画像に対して適用した結果に基づいて、撮像範囲における検出対象の物体の有無に関する評価値を算出する。

本実施形態においては、このような構成により、対象画像から検出対象の物体の有無を検出する際に、当該対象画像に基づいて距離情報を計算する処理を実行する必要がないため、計算コストを低減することが可能となる。

なお、本実施形態に係る撮像装置１００は、上記したように参照画像に含まれるＲ画像とＧ画像またはＢ画像とに基づいて背景距離を算出することが可能な一種の距離センサとして動作するが、当該背景距離は、例えば他の距離センサ（デプスセンサ）または撮像範囲（背景）内に存在する物体の設計データ等から取得される構成であっても構わない。他の距離センサには、例えばＴｏＦ（Time of Flight）方式の距離センサ等が含まれる。また、撮像範囲内に存在する物体の設計データには、例えば撮像装置１００が設置されるビル（建物）等の設計データ等が含まれる。このような設計データによれば、撮像装置１００が設置される位置から撮像範囲内に存在するビルの壁面までの距離等を取得することが可能となる。

また、上記した距離センサまたは撮像範囲内に存在する物体の設計データ等により複数の背景距離を取得することが可能な構成の場合には、当該複数の背景距離の平均値や中央値（メジアン）、最頻値等の代表値に対応するぼけ変更フィルタが取得（特定）される構成とすることも可能である。このような構成によれば、例えば取得された複数の背景距離に含まれるノイズを除去することが可能となる。ノイズとしては、例えば上記した距離センサの測定誤差及び外乱等の影響によるものが想定される。具体的には、例えば図５に示す前処理が１０回実行された場合において、当該１０回実行された前処理のうちの１の前処理が実行される際に予期しない物体が撮像範囲に存在していた場合には、当該前処理においては適切な背景距離を算出することができず、実際の背景距離に対応するぼけ変更フィルタを特定することができない。しかしながら、このような場合であっても、他の９回の前処理において算出される背景距離により、適切なぼけ変更フィルタを特定することが可能となる。

評価値が誤差に基づいている場合は、評価値が予め定められた値（閾値）以上となる領域内に検出対象の物体が存在することを検出できる。評価値が相関に基づいている場合は、評価値が予め定められた値（閾値）以下となる領域内に検出対象の物体が存在することを検出できる。

この評価処理に用いられる閾値は、画像処理部１１０に予め保持されている値であってもよいし、ユーザの操作に応じて入力され設定された値であってもよい。閾値は、例えば画像処理部１１０に接続された表示装置に表示されるスライドバーや入力キーの操作により、画像処理部１１０の評価部１１３に入力されることができる。また、この閾値は、検出される物体の種類（人物または物体）等に応じて変更されるものであってもよい。

なお、本実施形態においては、上記したように対象画像における距離（デプス）の変化に応じた評価値を算出することができるため、例えば背景及び検出対象の物体が同系色であり、当該色彩の変化等から検出対象の物体の有無を検出することが困難な場合であっても、当該色彩に影響されることなく検出対象の物体を検出する（精度の高い評価値を算出する）ことが可能となる。

ここで、本実施形態においては、第１フィルタ領域１１がイエローのフィルタ領域であり、第２フィルタ領域１２がシアンのフィルタ領域であるものとして説明したが、第１フィルタ領域１１と第２フィルタ領域１２は、例えばイエロー、マゼンタ、シアンのうちの異なる２つの色とすることができる。例えば、第１フィルタ領域１１をイエローのフィルタ領域とし、第２フィルタ領域１２をマゼンタ（Ｍ）のフィルタ領域としてもよい。なお、マゼンタのフィルタ領域は、Ｒ画像に対応する赤色の波長領域の光及びＢ画像に対応する青色の波長領域の光を高い透過率で透過する透過率特性を有する。この場合には、例えば第１フィルタ領域１１のみを透過する緑色の波長領域の光から生成されるＧ画像と、第１フィルタ領域１１及び第２フィルタ領域１２の双方を透過する赤色の波長領域の光から生成されるＲ画像とを、上述した図５及び図１７等において説明したＲ画像及びＧ画像として処理を実行することによって、評価値を算出することができる。

同様に、第１フィルタ領域１１をマゼンタのフィルタ領域とし、第２フィルタ領域１２をシアンのフィルタ領域としてもよい。この場合には、例えば第１フィルタ領域１１のみを透過する赤色の波長領域の光から生成されるＲ画像と、第１フィルタ領域１１及び第２フィルタ領域１２の双方を透過する青色の波長領域の光から生成されるＢ画像とを、上述した図５及び図１７等において説明したＲ画像及びＧ画像として処理を実行することによって、評価値を算出することができる。

なお、本実施形態においては第１フィルタ領域１１及び第２フィルタ領域１２の色彩の様々な組み合わせについて説明したが、当該各組み合わせにおいて、第１フィルタ領域１１及び第２フィルタ領域１２の色彩は入れ替えられても構わない。

また、本実施形態においては、説明の便宜上、フィルタ１０が円形状であるものとして説明したが、当該フィルタ１０は、撮像装置１００の開口部の形状に応じた形状であっても構わない。具体的には、フィルタ１０の外周が撮像装置１００の絞り羽形状に形成されていてもよいし、フィルタ１０が多角形（例えば、六角形及び八角形等）の形状を有していてもよい。

本実施形態に係る撮像装置１００は、例えば所定のエリア（監視エリア）を監視する監視システム、自動ドアの開閉を制御する自動ドアシステム、及び自動車の駆動（動作）を制御する自動車制御システム等に適用することができる。

撮像装置１００が適用されたシステムにおいて、撮像範囲内における検出対象の物体の有無に関する評価値、または検出対象の物体が存在するか否かの検出結果に基づいて、機器が制御されることができる。

ここで、図１８は、本実施形態に係る撮像装置１００が適用される監視システム１０００の機能構成の一例を示すブロック図である。ここでは、監視システム１０００が、例えば監視エリアへの人物の侵入を監視するためのシステムであることを想定する。なお、監視エリアは、通常、人物の侵入が禁止されているエリアであるものとする。

図１８に示すように、監視システム１０００は、撮像装置１００、制御部１００１及びユーザインタフェース部１００２を有する。撮像装置１００及び制御部１００１は、例えば有線または無線のネットワーク経由で接続される。

制御部１００１は、撮像装置１００によって連続的に撮像された監視エリア内の画像を、ユーザインタフェース部１００２に表示させる。ユーザインタフェース部１００２は、例えばディスプレイ装置等への表示処理を行う。ユーザインタフェース部１００２はさらに、キーボードやポインティングデバイス等の入力装置からの入力処理を実行する。ディスプレイ装置と入力装置とは、例えばタッチスクリーンディスプレイ等の一体型のデバイスであってもよい。

ここで、画像処理部１１０は、算出した評価値に関する信号または検出対象の物体が存在するか否かの検出結果に関する信号を制御部１００１に送信する。制御部１００１は、信号に基づいてユーザインタフェース部１００２を制御するための制御信号をユーザインタフェース部１００２へ送信する。これによれば、制御部１００１は、例えばユーザインタフェース部１００２等を介して監視エリアに人物が侵入したことを監視者に通知する（例えば、警報を発する）処理等を実行することができる。

また、撮像装置１００は、評価値が閾値以上の場合、あるいは検出対象の物体が存在することが検出された場合、検出対象の物体（監視エリアに侵入した人物）を精度良く表示するために高い画質で画像を撮像するようにしてもよい。高い画質とは、例えば、画像の解像度が高いこと、あるいは、画像のフレームレートが高いこと、画像圧縮の圧縮率が低いこと等である。また、この場合には、監視者等が後に画像を確認することが想定されるため、検出対象の物体が存在することが検出された画像の位置（フレーム番号）等を記録しておくような構成としてもよい。

図１９は、本実施形態に係る撮像装置１００が適用される自動ドアシステム１１００の機能構成の一例を示すブロック図である。図１９に示すように、自動ドアシステム１１００は、撮像装置１００、制御部１１０１、駆動機構１１０２及びドア部１１０３を有する。

自動ドアシステム１１００に適用される撮像装置１００は、例えば自動ドアを通過しようとする人物を撮像可能な位置に設置される。評価値または検出結果に関する信号を制御部１１０１に対して送信する。

制御部１１０１は、撮像装置１００の信号に基づいて、駆動機構１１０２を制御する。駆動機構１１０２は、例えばモータを有し、当該モータの駆動をドア部１１０３に伝達することによって、ドア部１１０３を開閉したり、開いた状態を維持したり、閉じた状態を維持したりする。

このような自動ドアシステム１１００によれば、ドア部１１０３の近傍に物体（例えば、人物）が存在することが検出された場合にはドア部１１０３が閉じた状態から開いた状態となるようにドア部１１０３を駆動することが可能となる。または、ドア部１１０３の近傍に物体が存在することが検出された場合にはドア部１１０３が開いた状態のままとなるようにドア部１１０３を駆動することが可能となる。または、ドア部１１０３の近傍に物体が存在しないことが検出された場合にはドア部１１０３が開いた状態から閉じた状態となるようにドア部１１０３を駆動することが可能となる。または、ドア部１１０３の近傍に物体が存在しないことが検出された場合にはドア部１１０３が閉じた状態のままとなるようにドア部１１０３を駆動することが可能となる。

図２０は、本実施形態に係る撮像装置１００が適用される自動車制御システム１２００の機能構成の一例を示すブロック図である。図２０に示すように、自動車制御システム１２００は、撮像装置１００、制御部１２０１及び駆動機構１２０２を有する。図２１に示すように、撮像装置１００は、例えば自動車の進行方向の物体を撮像するように当該自動車に設置される。なお、自動車の進行方向の物体を撮像するように設置される形態としては、前方を撮像するいわゆるフロントカメラとして設置されるほか、後方を撮像するいわゆるリアカメラとして設置されてもよい。また、撮像装置１００は、フロントカメラ及びリアカメラとして２台設置されても構わない。また、撮像装置１００は、いわゆるドライブレコーダとしての機能を兼ねて設置されるものであってもよい。すなわち、撮像装置１００は、録画機器であってもよい。

この場合、撮像装置１００は、評価値に基づいて自動車の前方または後方に人物が存在することが検出された場合、制御部１２０１に対して評価値または検出結果に関する信号を送信する。

制御部１２０１は、撮像装置１００から出力される信号に基づいて、自動車を動作させる駆動機構１２０２を制御する。例えば自動車の前方（進行方向）に物体（例えば、人物）が存在する場合には、制御部１２０１は、例えば自動車を前進させないように駆動機構１２０２を制御することができる。同様に、例えば自動車の後方に物体（例えば、人物）が存在する場合には、制御部１２０１は、例えば自動車を後退させないように駆動機構１２０２を制御することができる。制御部１２０１は、走行中の自動車の進行方向を変更するように駆動機構１２０２を制御してもよい。

上記したように撮像装置１００が自動車制御システム１２００に適用される場合には、例えば自動車が停止した際に参照画像を撮像して前処理を実行しておき、当該自動車が発進するためにエンジンがかけられた際に評価処理が実行されるような構成とすることで、当該自動車の発進時に人物等の物体に衝突してしまうような事態を回避することが可能となる。

なお、撮像装置１００が録画機器として利用される場合には、上記した監視システム１０００の場合と同様に、撮像装置１００は、評価値に基づいて、撮像装置１００によって撮像される画像の質を高くするような構成としてもよいし、物体が存在することを検出した画像の位置（フレーム番号）等を記録しておくような構成としてもよい。

ここで、上記した監視システム１０００、自動ドアシステム１１００及び自動車制御システム１２００等においては、撮像装置１００において撮像される画像の全ての範囲ではなく、所定の範囲内についてのみ評価値を算出する（物体の有無を判別する）してもよい。この場合には、図２２及び図２３に示すように、例えば撮像装置１００によって撮像された画像１３００を表示して、当該画像１３００に対して評価値を算出する対象となる領域（以下、監視領域と表記）１３０１をユーザが入力装置を使って指定（設定）することができるものとする。なお、この監視領域１３０１の設定は、例えばタブレットコンピュータ等の機器を用いて行うことができるものとする。

この場合、例えば図２２に示すように画像１３００中には人物が存在しているものの当該人物１３０２が監視領域１３０１内に存在しない場合、撮像装置１００においては、物体は検出されない。一方、図２３に示すように監視領域１３０１内に人物１３０２が侵入した場合、撮像装置１００においては、物体が検出される。

このような構成によれば、評価値を算出する範囲が限定されるため、当該評価値を算出するための処理量（計算コスト）をさらに低減することが可能となる。

なお、上記した監視領域の設定は、例えば距離センサから取得されるデータ（距離情報）及びＲＧＢ画像に対して変換処理を実行することによって得られる３次元（３Ｄ）点群（ポイントクラウド）に対して実行されても構わない。この３次元点群は、例えば、撮像装置１００によって撮像された画像を回転させて表示することが可能となる。

これにより、ユーザは、例えば図２４に示す画像１４００上で監視領域１４０１（基準面）を指定するとともに、当該画像１４００とは異なる視点の図２５に示す画像１４０２上で監視領域１４０３（基準面）を指定することができる。これによれば、ユーザによって指定された監視領域１４０１及び１４０３によって特定される三次元領域（範囲）を特定することができる。監視領域１４０１及び１４０３は、例えば三次元領域を撮像装置１００によって撮像される２次元画像面に投影した領域である。３次元点群に対して監視領域の設定は自由度が高いため、上記した図２２及び図２３において説明した監視領域１３０１の設定と比較して、よりユーザの意図する監視領域を設定することが可能となる。なお、監視領域の設定においては、ボクセルが利用されても構わない。

なお、上記したように監視領域を設定することが可能な場合、当該監視領域外に存在する被写体（例えば、人物）に対するプライバシー保護のため、当該監視領域以外の領域（範囲）の少なくとも一部にはプライバシー保護モードが設定される（つまり、監視領域内はプライバシー保護モードが解除される）構成としてもよい。プライバシー保護モードが設定された場合、監視領域以外の領域には、例えば黒色等でマスク処理が施される、または画質を低下させる処理が実行される。

本実施形態に係る撮像装置１００は、上述したように画像を撮像する撮像装置と、撮像装置によって撮像された画像に対して上記した図５及び図１７に示す処理等を実行する処理装置とを備える処理システムとして実現されても構わない。なお、本実施形態における処理システムは、上記した監視システム、自動ドアシステム及び自動車制御システム等の各種システムを含む。この場合、本実施形態に係る処理システムが監視システムである場合、当該処理システムは、上記した撮像装置と、処理装置と、図１８に示す制御部１００１及びユーザインタフェース部１００２を含む制御装置との３つの装置から構成されても構わない。また、処理システムにおいては、処理装置と制御装置とが一体の装置として構成されていてもよい。他の処理システムについても同様である。

なお、本実施形態においては監視システム、自動ドアシステム及び自動車制御システムについて主に説明したが、本実施形態に係る撮像装置１００は、例えばドローン及び各種ロボット等を制御するためのシステムに適用されても構わない。

（第２の実施形態）
次に、第２の実施形態について説明する。本実施形態においては、画像処理部１１０は、取得部１１１と前処理部１１２と評価部１１３に加えて、第１ぼけ変更部２６０３と第２ぼけ変更部２６０４とを備える。なお、本実施形態に係る撮像装置のハードウェア構成、フィルタ及び機能構成は、前述した第１の実施形態と同様であるため、適宜、図１、図２及び図４等を用いて説明する。また、以下の説明においては、前述した第１の実施形態と同様の部分についてはその詳しい説明を省略し、当該第１の実施形態と異なる部分について主に述べる。

本実施形態においては、物体の有無を検出するために撮像された画像に対して実行される評価処理が、前述した第１の実施形態とは異なる。

まず、図２６を参照して、本実施形態に係る撮像装置１００の動作について概念的に説明する。

本実施形態において、撮像装置１００の画像処理部１１０に含まれる取得部１１１によって参照画像（検出対象の物体が存在していないときに撮像された画像）１５０１が取得された場合、前処理部１１２は、前述した第１の実施形態において説明した前処理を実行する。この前処理が実行されることにより、参照画像に含まれる例えばＲ画像のぼけ関数をＧ画像のぼけ関数に近づけるぼけ変更フィルタ２６０２が各画素で特定される。第１ぼけ変更部２６０３には参照画像１５０１とぼけ変更フィルタ２６０２が入力され、参照画像（第１画像）１５０１のＲ画像（第１色成分画像）の各画素にぼけ変更フィルタ２６０２を適用した適用結果（第４画像）２６０５が出力される。なお、この適用結果２６０５は記憶部に記憶される。

一方、取得部１１１によって対象画像（被写体の有無を検出するために撮像された画像）１５０２が取得された場合、第２ぼけ変更部２６０４は、例えば対象画像（第２画像）１５０２のＲ画像（第２色成分画像）の各画素にぼけ変更フィルタ２６０２が適用された適用結果（第３画像）２６０６を出力する。なお、この適用結果２６０６は記憶部に記憶される。評価部１１３には、適用結果２６０５と適用結果２６０６が入力され、評価値２６０８が出力される。評価値２６０８は、適用結果２６０５と適用結果２６０６の誤差や相関に基づく値である。誤差や相関の評価手法としては、上述のものが用いられる。

前述した第１の実施形態においては、例えば対象画像のＲ画像へのぼけ変更フィルタの適用結果と、参照画像のＧ画像とから評価値を算出するのに対し、本実施形態において、評価部１１３は、例えは参照画像のＲ画像へのぼけ変更フィルタの適用結果２６０５と、対象画像のＲ画像へのぼけ変更フィルタの適用結果２６０６とから評価値２６０８を算出する。

次に、図２７のフローチャートを参照して、本実施形態における評価処理の処理手順の一例について説明する。ここでは、図２６を参照した説明と同様にして、適用結果２６０５が算出済みだとする。

まず、前述した図１７に示すステップＳ１１の処理に相当するステップＳ３１の処理が実行される。

次に、第２ぼけ変更部２６０４は、対象画像（例えばＲ画像）を構成する画素毎に以下のステップＳ３２〜Ｓ３４の処理を実行する。なお、ステップＳ３２〜Ｓ３４の処理は、図１７に示すステップＳ１２〜Ｓ１４の処理に相当する処理である。

ステップＳ３４の処理が実行されると、全ての画素について上記したステップＳ３２〜Ｓ３４の処理が実行されたか否かが判定される（ステップＳ３５）。

全ての画素について処理が実行されていないと判定された場合（ステップＳ３５のＮＯ）、上記したステップＳ３２に戻って処理が繰り返される。この場合、ステップＳ３２〜Ｓ３４の処理が実行されていない画素について当該処理が実行される。

一方、全ての画素について処理が実行されたと判定された場合（ステップＳ３５のＹＥＳ）、ぼけ変更部２６０４は、Ｒ画像を構成する画素の各々を含む所定の範囲にぼけ変更フィルタが適用された適用結果２６０６が算出される。

次に、評価部１１３は、適用結果２６０５と適用結果２６０６から、前述の評価値を算出する（ステップＳ３６）。

ここで、参照画像１５０１及び対象画像１５０２は、フィルタ１０を介して撮像された画像であり、上述したように当該画像中のエッジ領域においてぼけが観測される。検出対象の物体が撮像範囲内に存在している状態で対象画像１５０２が撮像されているものとすると、適用結果２６０５と適用結果２６０６とから算出した評価値２６０８には、当該物体と背景との境界部分（つまり、エッジ領域）の距離（デプス）の違いと、色彩（この例ではＲ成分）の差分（背景差分）が反映される。第１の実施形態においては距離（デプス）の変化の評価値を算出しているのに対して、本実施形態においては、ぼけ変更フィルタ適用後の参照画像と、ぼけ変更フィルタ適用後の参照画像と同じ色成分の対象画像との色彩における差分をも反映した評価値を算出することができる。

すなわち、前述した第１の実施形態においては背景及び背景にない物体が同系色であるような場合であっても精度の高い評価値を算出することが可能であるが、本実施形態においては、背景及び背景にない物体の色彩に差異があるような場合に精度の高い評価値を算出することが可能となる。

本実施形態においては参照画像のＲ画像へのぼけ変更フィルタ適用結果と、対象画像のＲ画像へのぼけ変更フィルタ適用結果とから評価値を算出するものとして説明したが、例えば参照画像のＢ画像へのぼけ変更フィルタ適用結果と、対象画像のＢ画像へのぼけ変更フィルタ適用結果とから評価値を算出する構成としてもよい。また、参照画像のＧ画像へのぼけ変更フィルタ適用結果と、対象画像のＧ画像へのぼけ変更フィルタ適用結果とから評価値を算出する構成としてもよい。ここで、ぼけ変更フィルタは、例えば、参照画像の当該色成分のぼけ関数を、参照画像の別の色成分のぼけ関数に近づけるものである。すなわち、本実施形態においては、参照画像及び対象画像に含まれる共通の１つの色成分へのぼけ変更フィルタ適用結果同士を比較する構成であってもよい。

また、例えば参照画像に含まれるＲ画像に対するぼけ変更フィルタの適用結果と、対象画像のＧ画像に対するぼけ変更フィルタの適用結果とから評価値を算出する構成であってもよい。また、参照画像に含まれるＲ画像に対するぼけ変更フィルタの適用結果と、対象画像のＢ画像に対するぼけ変更フィルタの適用結果とから評価値を算出する構成であってもよい。また、参照画像に含まれるＧ画像に対するぼけ変更フィルタの適用結果と、対象画像のＲ画像に対するぼけ変更フィルタの適用結果とから評価値を算出する構成であってもよい。また、参照画像に含まれるＧ画像に対するぼけ変更フィルタの適用結果と、対象画像のＢ画像に対するぼけ変更フィルタの適用結果とから評価値を算出する構成であってもよい。また、参照画像に含まれるＢ画像に対するぼけ変更フィルタの適用結果と、対象画像のＲ画像に対するぼけ変更フィルタの適用結果とから評価値を算出する構成であってもよい。また、参照画像に含まれるＢ画像に対するぼけ変更フィルタの適用結果と、対象画像のＧ画像に対するぼけ変更フィルタの適用結果とから評価値を算出する構成であってもよい。ここで、ぼけ変更フィルタは、例えば、参照画像の当該色成分のぼけ関数を、参照画像の別の色成分のぼけ関数に近づけるものである。

また、図２７に示す処理においては、Ｒ画像に対してのみぼけ変更フィルタが適用されるものとして説明したが、Ｂ画像のぼけ関数をＧ画像のぼけ関数に近づけるぼけ変更フィルタをも特定しておくことで、Ｒ画像及びＢ画像のそれぞれにぼけ変更フィルタを適用して２つの評価値を算出し、その平均値を新たな評価値とする構成とすることも可能である。このような構成によれば、Ｒ画像のぼけ形状に対してのみぼけ変更フィルタを適用する場合と比較して、精度の高い評価値を算出することが可能となる。また、Ｇ画像のぼけ関数を別の色成分のぼけ関数に近づけるぼけ変更フィルタをも特定しておくことで、Ｒ、Ｇ、Ｂ画像のそれぞれにぼけ変更フィルタを適用して３つの評価値を算出し、その平均値を新たな評価値とする構成とすることも可能である。また、Ｇ画像のみはぼけ変更フィルタを適用せずに、Ｒ、Ｇ、Ｂ画像から３つの評価値を算出し、その平均値を新たな評価値とする構成とすることも可能である。

以上述べた少なくとも１つの実施形態によれば、物体の有無を検出するための計算コストを低減することが可能な処理装置、処理システム、方法及びプログラムを提供することができる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１０…フィルタ、２０…レンズ、３０…イメージセンサ、４０…ＣＰＵ、５０…不揮発性メモリ、６０…主メモリ、７０…通信Ｉ／Ｆ、８０…ディスプレイ、９０…メモリカードスロット、１００…撮像装置（処理装置）、１１０…画像処理部、１１１…取得部、１１２…前処理部、１１３…評価部、１０００…監視システム、１００１…制御部、１００２…ユーザインタフェース部、１１００…自動ドアシステム、１１０１…制御部、１１０２…駆動機構、１１０３…ドア部、１２００…自動車制御システム、１２０１…制御部、１２０２…駆動機構。

Claims (12)

1. 第１画像に含まれる第１色成分の画像のぼけ形状を前記第１画像に含まれる第２色成分の画像のぼけ形状に近づけるように変更する第１ぼけ変更フィルタを第２画像に含まれる前記第１色成分の画像に適用した第３画像と、第４画像と、を記憶する記憶部と、
   前記第３画像と前記第４画像とに基づいて、評価値を算出する評価部と、
   を備え、
   前記第４画像は、
   前記第１画像に含まれる前記第２色成分の画像、
   前記第２画像に含まれる前記第２色成分の画像、
   前記第１画像に含まれる第３色成分の画像のぼけ形状を前記第１画像に含まれる前記第２色成分の画像のぼけ形状に近づけるように変更する第２ぼけ変更フィルタを前記第１画像に含まれる当該第３色成分の画像に適用した画像、
   または、前記第１ぼけ変更フィルタを前記第１画像に含まれる前記第１色成分の画像に適用した画像のいずれかである
   処理装置。
2. 前記第１色成分の画像のぼけ形状と前記第３色成分の画像のぼけ形状のすくなくともいずれかは非点対称である、請求項１に記載の処理装置。
3. 前記第１画像と前記第２画像は、ぼけ関数が対称な色成分とぼけ関数が非対称な色成分を含む画像を生成可能な撮像部により撮像された、請求項１または２に記載の処理装置。
4. 前記第１色成分の波長範囲と前記第２色成分の波長範囲は少なくとも一部が重なる、請求項１乃至３のいずれかに記載の処理装置。
5. 前記評価部は、前記評価値に基づいて、前記第２画像内に、前記第１画像にはない物体あるいは前記第１画像と異なる位置にある物体を検出する請求項１乃至４のいずれかに記載の処理装置。
6. 前記評価部は、前記第２画像内の指定された領域において前記第１画像にはない物体あるいは前記第１画像と異なる位置にある物体を検出する請求項１乃至５のいずれかに記載の処理装置。
7. 前記評価部は、前記評価値と閾値とから前記第２画像内の前記第１画像にはない物体あるいは前記第１画像と異なる位置にある物体が存在する範囲を検出する請求項１乃至６のいずれかに記載の処理装置。
8. 撮像装置と、
   前記撮像装置と接続される処理装置と
   を具備し、
   前記処理装置は、
   第１画像に含まれる第１色成分の画像のぼけ形状を前記第１画像に含まれる第２色成分の画像のぼけ形状に近づけるように変更する第１ぼけ変更フィルタを第２画像に含まれる前記第１色成分の画像に適用した第３画像と、第４画像と、を記憶する記憶部と、
   前記第３画像と前記第４画像とに基づいて、評価値を算出する評価部と、
   を含み、
   前記第４画像は、
   前記第１画像に含まれる前記第２色成分の画像、
   前記第２画像に含まれる前記第２色成分の画像、
   前記第１画像に含まれる第３色成分の画像のぼけ形状を前記第１画像に含まれる前記第２色成分の画像のぼけ形状に近づけるように変更する第２ぼけ変更フィルタを前記第１画像に含まれる当該第３色成分の画像に適用した画像、
   または、前記第１ぼけ変更フィルタを前記第１画像に含まれる前記第１色成分の画像に適用した画像のいずれかである
   処理システム。
9. 前記評価値に基づいて駆動機構を制御する制御信号を出力する制御部をさらに備える、請求項８に記載の処理システム。
10. 前記駆動機構は自動車に備えられ、
    前記制御部は、前記自動車を前進させない、後退させないまたは前記自動車の進行方向を変更するように前記駆動機構を制御する、請求項９に記載の処理システム。
11. 第１画像に含まれる第１色成分の画像のぼけ形状を前記第１画像に含まれる第２色成分の画像のぼけ形状に近づけるように変更する第１ぼけ変更フィルタを第２画像に含まれる前記第１色成分の画像に適用した第３画像と、第４画像と、を記憶部に記憶するステップと、
    前記第３画像と前記第４画像とに基づいて、評価値を算出するステップと、
    を備え、
    前記第４画像は、
    前記第１画像に含まれる前記第２色成分の画像、
    前記第２画像に含まれる前記第２色成分の画像、
    前記第１画像に含まれる第３色成分の画像のぼけ形状を前記第１画像に含まれる前記第２色成分の画像のぼけ形状に近づけるように変更する第２ぼけ変更フィルタを前記第１画像に含まれる当該第３色成分の画像に適用した画像、
    または、前記第１ぼけ変更フィルタを前記第１画像に含まれる前記第１色成分の画像に適用した画像のいずれかである
    方法。
12. 記憶部を備える処理装置のコンピュータによって実行されるプログラムであって、
    前記コンピュータに、
    第１画像に含まれる第１色成分の画像のぼけ形状を前記第１画像に含まれる第２色成分の画像のぼけ形状に近づけるように変更する第１ぼけ変更フィルタを第２画像に含まれる前記第１色成分の画像に適用した第３画像と、第４画像と、を前記記憶部に記憶するステップと、
    前記第３画像と前記第４画像とに基づいて、評価値を算出するステップと、
    を実行させ、
    前記第４画像は、
    前記第１画像に含まれる前記第２色成分の画像、
    前記第２画像に含まれる前記第２色成分の画像、
    前記第１画像に含まれる第３色成分の画像のぼけ形状を前記第１画像に含まれる前記第２色成分の画像のぼけ形状に近づけるように変更する第２ぼけ変更フィルタを前記第１画像に含まれる当該第３色成分の画像に適用した画像、
    または、前記第１ぼけ変更フィルタを前記第１画像に含まれる前記第１色成分の画像に適用した画像のいずれかである
    プログラム。

Images