JP7447042B2 - 画像処理装置、方法及びプログラム - Google Patents

Description

本発明の実施形態は、画像処理装置、方法及びプログラムに関する。

一般的に、被写体までの距離を取得するために、２つの撮像装置（カメラ）やステレオカメラ（複眼のカメラ）で撮像された画像を用いることが知られていたが、近年では、１つの撮像装置（単眼のカメラ）で撮像された画像から被写体までの距離を推定する技術が開示されている。

このように推定された被写体までの距離は、撮像装置で撮像された画像に含まれる被写体の立体構造を把握するために有用である。

しかしながら、上記したように１つの撮像装置で撮像された画像から被写体までの距離を推定する場合、当該画像によっては当該距離を正確に推定することができない領域が存在し、被写体の立体構造を適切に把握することができない場合がある。

一方、距離を推定することができない領域に含まれる被写体までの距離については、ＬｉＤＡＲ等の距離測定装置を用いて補間することが考えられるが、当該距離測定装置を用意するためにはコストがかかる。また、距離測定装置は設置体積が大きいため、撮像装置と組み合わせて用いることは容易ではない。

特開２０２０－１２３１１４号公報

M.Kashiwagi et al., "Deep Depth From Aberration Map", Proceedings of the IEEEE International Conference on Computer Vision, 2019

そこで、本発明が解決しようとする課題は、画像中の被写体の立体構造を把握することが可能な画像処理装置、方法及びプログラムを提供することにある。

実施形態に係る画像処理装置は、第１格納手段と、第２格納手段と、第１取得手段と、第２取得手段と、生成手段と、補間手段とを具備する。前記第１格納手段は、第１光学系の収差の影響を受けた第１画像に生じる、当該第１画像中の被写体までの距離に応じて非線形に変化するぼけを学習することによって生成された第１統計モデルを格納する。前記第２格納手段は、予め用意されている疎なぼけマップ及び当該疎なぼけマップに対応する密なぼけマップを学習することによって生成される第２統計モデルを格納する。前記第１取得手段は、第２光学系の収差の影響を受けた第２画像を取得する。前記第２取得手段は、前記取得された第２画像を前記第１統計モデルに入力することによって当該第１統計モデルから出力される当該第２画像に生じるぼけを示すぼけ値及び当該ぼけ値に対する不確実性の度合いを示す不確実度を取得する。前記生成手段は、前記取得されたぼけ値及び不確実度に基づいて第１ぼけマップを生成する。前記補間手段は、前記第１ぼけマップに対してぼけ値を補間した第２ぼけマップを取得する。前記第１統計モデルは、当該第１統計モデルに入力される第２画像を構成する少なくとも１つの画素を含む所定の領域毎にぼけ値及び不確実度を出力するように生成されている。前記第１ぼけマップは、前記不確実度が閾値未満であるぼけ値を当該ぼけ値が出力された画素に割り当てた疎なぼけマップに相当する。前記第２ぼけマップは、前記第１ぼけマップの前記閾値以上である不確実度が出力された画素にぼけ値を補間した密なぼけマップに相当する。前記補間手段は、前記第１ぼけマップを前記第２統計モデルに入力することによって当該第２統計モデルから出力される第２ぼけマップを取得する。前記第２統計モデルによって学習される疎なぼけマップは、当該第２統計モデルによって学習される密なぼけマップの一部の領域をマスクすることによって生成される。前記第２統計モデルによって学習される密なぼけマップは、被写体までの距離を測定可能な距離測定装置によって測定された距離から変換されたぼけ値に基づいて生成される。

第１実施形態に係る画像処理装置を含む画像処理システムの構成の一例を示す図。 画像処理装置のシステム構成の一例を示す図。 第１統計モデルの概要について説明するための図。 単レンズを用いた場合における被写体までの距離と色収差により画像に生じるぼけとの関係性を示す図。 色消しレンズを用いた場合における被写体までの距離と色収差により画像に生じるぼけとの関係性を示す図。 撮像装置の光学系に備えられている絞り機構の開口部の大きさとＰＳＦ形状との関係性を示す図。 各チャンネルの画像に生じるＰＳＦ形状の一例を示す図。 各チャンネルの画像に生じるＰＳＦ形状の別の例を示す図。 画像中の各位置に生じるＰＳＦ形状の一例を示す図。 レンズの種別に応じたＰＳＦ形状の位置依存性について具体的に説明するための図。 ＰＳＦ形状の非線形性と絞り機構の開口部の形状との関係を表す図。 画像からぼけを推定する第１方式を説明するための図。 第１方式において第１統計モデルに入力される情報の一例を示す図。 画像からぼけを推定する第２方式を説明するための図。 第２方式において第１統計モデルに入力される情報の一例を示す図。 画像からぼけを推定する第３方式を説明するための図。 画像に生じるぼけと当該画像中の被写体までの距離との相関について具体的に説明するための図。 画像処理装置の処理手順の一例を示すフローチャート。 第１統計モデルの学習処理の一例を説明するための図。 第１統計モデルの学習処理の処理手順の一例を示すフローチャート。 第２統計モデルの学習処理の一例を説明するための図。 第２統計モデルの学習処理の処理手順の一例を示すフローチャート。 第２実施形態に係る画像処理装置を含む画像処理システムの構成の一例を示す図。 画像処理装置の処理手順の一例を示すフローチャート。 高信頼ぼけ領域及び補間ぼけ領域の一例を示す図。 解析範囲外領域について説明するための図。 第３実施形態に係る画像処理装置を含む画像処理システムの構成の一例を示す図。 画像処理装置の処理手順の一例を示すフローチャート。 第２ぼけマップ、高信頼ぼけ領域及び補間ぼけ領域が表示された画面の一例を示す図。 第２ぼけマップ、高信頼ぼけ領域及び補間ぼけ領域が表示された画面の他の例を示す図。 第４実施形態に係る画像処理装置を含む画像処理システムの構成の一例を示す図。 画像処理装置の処理手順の一例を示すフローチャート。 測距装置を含む移動体の機能構成の一例を示す図。 移動体が自動車である場合について説明するための図。 移動体がドローンである場合について説明するための図。 移動体が自立型の移動ロボットである場合について説明するための図。 移動体がロボットアームである場合について説明するための図。

以下、図面を参照して、各実施形態について説明する。
（第１実施形態）
まず、第１実施形態について説明する。図１は、本実施形態に係る画像処理装置を含む画像処理システムの構成の一例を示す。図１に示す画像処理システム１は、画像を撮像し、当該撮像された画像を用いて当該画像中の被写体の立体構造を把握するような用途に用いられる。

図１に示すように、画像処理システム１は、撮像装置２及び画像処理装置３を備える。本実施形態においては、画像処理システム１が別個の装置である撮像装置２及び画像処理装置３を備えているものとして説明するが、当該画像処理システム１は、撮像装置２が撮像部として機能し、画像処理装置３が画像処理部として機能する１つの装置として実現されていてもよい。画像処理システム１が別個の装置である撮像装置２及び画像処理装置３を備える構成の場合には、例えばデジタルカメラ等を撮像装置２として用い、パーソナルコンピュータ、スマートフォンまたはタブレットコンピュータ等を画像処理装置３として用いることができる。この場合、画像処理装置３は、例えばクラウドコンピューティングサービスを実行するサーバ装置として動作するものであってもよい。一方、画像処理システム１が１つの装置として実現されている場合には、デジタルカメラ、スマートフォン及びタブレットコンピュータ等を当該画像処理システム１として用いることができる。

撮像装置２は、各種画像を撮像するために用いられる。撮像装置２は、レンズ２１とイメージセンサ２２とを備える。レンズ２１及びイメージセンサ２２は、撮像装置２の光学系（単眼カメラ）に相当する。また、本実施形態において、レンズ２１は、当該レンズ２１の位置を調整することによりピント位置（合焦距離）を制御するための機構及びレンズ駆動回路等と、撮像装置２の光学系に取り込まれる光の量（入光量）を調節するための開口部を有する絞り機構及び絞り制御回路等と、当該レンズ２１に関する情報及びその他のパラメータ等を予め保持しているメモリ（図示せず）が搭載される制御回路等とともにレンズユニットを構成する。

また、本実施形態において、撮像装置２は、レンズ２１（レンズユニット）を手動で他のレンズに交換可能に構成されていてもよい。この場合、ユーザは、例えば標準レンズ、望遠レンズ及び広角レンズ等の複数の種別のレンズのうちの１つを撮像装置２に装着して用いることができる。なお、レンズを交換した場合には、焦点距離やＦ値（絞り値）が変わり、撮像装置２において用いられるレンズに応じた画像を撮像することができる。

本実施形態において、焦点距離とは、レンズから、当該レンズに対して平行に光が入射したときに当該光が収束する位置までの距離をいう。また、Ｆ値とは、絞り機構に応じて撮像装置２に取り込まれる光の量を数値化したものである。なお、Ｆ値は、値が小さくなるにつれて、撮像装置２に取り込まれる光の量が多くなる（つまり、開口部の大きさが大きくなる）ことを示す。

レンズ２１には、被写体で反射した光が入射する。レンズ２１に入射した光は、レンズ２１を透過する。レンズ２１を透過した光は、イメージセンサ２２に到達し、当該イメージセンサ２２によって受光（検出）される。イメージセンサ２２は、受光した光を電気信号に変換（光電変換）することによって、複数の画素から構成される画像を生成する。

なお、イメージセンサ２２は、例えばＣＣＤ（Charge Coupled Device）イメージセンサ及びＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等により実現される。イメージセンサ２２は、例えば赤色（Ｒ）の波長帯域の光を検出する第１センサ（Ｒセンサ）２２１、緑色（Ｇ）の波長帯域の光を検出する第２センサ（Ｇセンサ）２２２及び青色（Ｂ）の波長帯域の光を検出するセンサ（Ｂセンサ）２２３を含む。イメージセンサ２２は、第１～第３センサ２２１～２２３により対応する波長帯域の光を受光して、各波長帯域（色成分）に対応するセンサ画像（Ｒ画像、Ｇ画像及びＢ画像）を生成することができる。すなわち、撮像装置２によって撮像される画像はカラー画像（ＲＧＢ画像）であり、当該画像にはＲ画像、Ｇ画像及びＢ画像が含まれる。

なお、本実施形態においてはイメージセンサ２２が第１～第３センサ２２１～２２３を含むものとして説明するが、イメージセンサ２２は、第１～第３センサ２２１～２２３のうちの少なくとも１つを含むように構成されていればよい。また、イメージセンサ２２は、第１～第３センサ２２１～２２３に代えて、例えばモノクロ画像を生成するためのセンサを含むように構成されていてもよい。

本実施形態においてレンズ２１を透過した光に基づいて生成された画像は、光学系（に含まれるレンズ２１）の収差の影響を受けた画像であり、当該収差により生じるぼけを含む。なお、画像に生じるぼけの詳細については後述する。

画像処理装置３は、機能構成として、第１格納部３１、画像取得部３２、マップ生成部３３、補間処理部３４、第２格納部３５及び表示処理部３６を含む。

第１格納部３１には、被写体までの距離を撮像装置２によって撮像された画像から取得するために用いられる統計情報（以下、第１統計モデルと表記）が格納されている。第１統計モデルは、上記した光学系の収差の影響を受けた画像（第１画像）に生じる、当該画像中の被写体までの距離に応じて非線形に変化するぼけを学習することによって生成されている。

なお、第１統計モデルは、例えばニューラルネットワークまたはランダムフォレスト等の既知の様々な機械学習のアルゴリズムを適用して生成することができるものとする。また、本実施形態において適用可能なニューラルネットワークには、例えば畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）、全結合ニューラルネットワーク及び再帰型ニューラルネットワーク等が含まれていてもよい。

画像取得部３２は、上記した撮像装置２によって撮像された画像（第２画像）を、当該撮像装置２（イメージセンサ２２）から取得する。

ここで、詳細については後述するが、上記した第１格納部３１に格納されている第１統計モデルは、入力された画像に含まれる被写体までの距離に応じて当該画像に生じるぼけを示すぼけ値を推定（予測）するとともに、当該ぼけ値の不確実性の度合いを示す不確実度を算出するように構築されているものとする。換言すれば、第１統計モデルに画像が入力された場合には、当該画像に応じたぼけ値及び不確実度が当該第１統計モデルから出力される。

マップ生成部３３は、画像取得部３２によって取得された画像を第１格納部３１に格納されている第１統計モデルに入力することによって当該第１統計モデルから出力される当該画像に生じるぼけを示すぼけ値及び当該ぼけ値に対する不確実度を取得する。マップ生成部３３は、取得されたぼけ値及び不確実度に基づいてぼけマップを生成する。

補間処理部３４は、マップ生成部３３によって生成されたぼけマップに対してぼけ値を補間したぼけマップを取得する。

第２格納部３５には、マップ生成部３３によって生成されたぼけマップに対してぼけ値を補間するために用いられる統計情報（以下、第２統計モデルと表記）が格納されている。なお、第２統計モデルは、上記した第１統計モデルと同様に、例えばニューラルネットワークまたはランダムフォレスト等の既知の様々な機械学習のアルゴリズムを適用して生成することができるものとする。

表示処理部３６は、補間処理部３４によって取得されたぼけマップ（ぼけ値が補間されたぼけマップ）を表示する。

図２は、図１に示す画像処理装置３のシステム構成の一例を示す。図２に示すように、画像処理装置３は、ＣＰＵ３０１、不揮発性メモリ３０２、ＲＡＭ３０３、通信デバイス３０４、入力デバイス３０５及び表示デバイス３０６等を備える。また、画像処理装置３は、ＣＰＵ３０１、不揮発性メモリ３０２、ＲＡＭ３０３、通信デバイス３０４、入力デバイス３０５及び表示デバイス３０６を相互に接続するバス３０７を有する。

ＣＰＵ３０１は、画像処理装置３内の様々なコンポーネントの動作を制御するためのプロセッサである。ＣＰＵ３０１は、単一のプロセッサであってもよいし、複数のプロセッサで構成されていてもよい。ＣＰＵ３０１は、不揮発性メモリ３０２からＲＡＭ３０３にロードされる様々なプログラムを実行する。これらプログラムは、オペレーティングシステム（ＯＳ）や様々なアプリケーションプログラムを含む。アプリケーションプログラムは、画像処理プログラム３０３Ａを含む。

不揮発性メモリ３０２は、補助記憶装置として用いられる記憶媒体である。ＲＡＭ３０３は、主記憶装置として用いられる記憶媒体である。図２においては不揮発性メモリ３０２及びＲＡＭ３０３のみが示されているが、画像処理装置３は、例えばＨＤＤ（Hard Disk Drive）及びＳＳＤ（Solid State Drive）等の他の記憶装置を備えていてもよい。

なお、本実施形態において、図１に示す第１格納部３１及び第２格納部３５は、例えば不揮発性メモリ３０２または他の記憶装置等によって実現される。

また、本実施形態において、図１に示す画像取得部３２、マップ生成部３３、補間処理部３４及び表示処理部３６の一部または全ては、ＣＰＵ３０１（つまり、画像処理装置３のコンピュータ）に画像処理プログラム３０３Ａを実行させること、すなわち、ソフトウェアによって実現されるものとする。この画像処理プログラム３０３Ａは、コンピュータ読み取り可能な記憶媒体に格納して頒布されてもよいし、ネットワークを通じて画像処理装置３にダウンロードされてもよい。なお、これらの各部３２～３４及び３６の一部または全ては、ＩＣ（Integrated Circuit）等のハードウェアによって実現されてもよいし、ソフトウェア及びハードウェアの組み合わせによって実現されてもよい。

通信デバイス３０４は、有線通信または無線通信を実行するように構成されたデバイスである。通信デバイス３０４は、ネットワークを介した外部機器との通信等を実行する。この外部機器には、撮像装置２が含まれる。この場合、画像処理装置３は、通信デバイス３０４を介して、撮像装置２から画像を受信する。

入力デバイス３０５は、例えばマウスまたはキーボード等を含む。表示デバイス３０６は、例えば液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）等を含む。なお、入力デバイス３０５及び表示デバイス３０６は、例えばタッチスクリーンディスプレイのように一体として構成されていてもよい。

次に、図３を参照して、本実施形態における第１統計モデルの概要について説明する。本実施形態においては、上記したように光学系（レンズ２１）の収差の影響を受けた画像が撮像装置２（イメージセンサ２２）によって生成され、当該画像が第１格納部３１に格納されている第１統計モデルに入力される。

本実施形態における第１統計モデルによれば、上記したように入力された画像中の被写体までの距離に応じて当該画像に生じるぼけを示すぼけ値（ぼけ情報）が推定され、当該ぼけ値が出力される。

更に、本実施形態における第１統計モデルによれば、上記したように画像に生じるぼけを示すぼけ値に対する不確実度が算出され、当該不確実度が出力される。第１統計モデルは、例えばベイズ推論を用いることにより予測（ぼけ値）の不確実性を出力するように学習することができる。また、第１統計モデルがランダムフォレストで構成される場合には、バリアンス（予測値のばらつき誤差）を使用してもよい。なお、不確実度の算出手法は、特定の手法に限定されず、既知の様々な手法を適用することができる。

本実施形態においては、上記したように第１統計モデルから出力されるぼけ値及び不確実度に基づいてぼけマップが生成される。

ここで、本実施形態において撮像装置２によって撮像された画像には、上記したように当該撮像装置２の光学系の収差（レンズ収差）に起因するぼけが生じている。以下、撮像装置２によって撮像された画像に生じるぼけについて説明する。まず、撮像装置２の光学系の収差に起因するぼけのうち、色収差について説明する。

図４は、被写体までの距離と色収差により画像に生じるぼけとの関係性について示している。以下の説明では、撮像装置２においてピントが合う位置をピント位置と称する。

収差のあるレンズ２１を透過する際の光の屈折率は波長帯域毎に異なるため、例えば被写体の位置がピント位置からずれているような場合には、各波長帯域の光が１点に集まらず異なった点に到達する。これが画像上で色収差（ぼけ）として現れる。

図４の上段は、撮像装置２（イメージセンサ２２）に対する被写体の位置がピント位置よりも遠い（つまり、被写体の位置がピント位置よりも奥にある）場合を示している。

この場合、赤色の波長帯域の光４０１に関しては、イメージセンサ２２（第１センサ２２１）において比較的小さいぼけｂ_Ｒを含む画像が生成される。一方、青色の波長帯域の光４０２に関しては、イメージセンサ２２（第３センサ２２３）において比較的大きいぼけｂ_Ｂを含む画像が生成される。なお、緑色の波長帯域の光４０３に関しては、ぼけｂ_Ｒとぼけｂ_Ｂとの中間の大きさのぼけを含む画像が生成される。したがって、このような被写体の位置がピント位置よりも遠い状態で撮像された画像においては、当該画像中の被写体の外側に青色のぼけが観察される。

一方、図４の下段は、撮像装置２（イメージセンサ２２）に対する被写体の位置がピント位置よりも近い（つまり、被写体の位置がピント位置よりも手前にある）場合を示している。

この場合、赤色の波長帯域の光４０１に関しては、イメージセンサ２２（第１センサ２２１）において比較的大きいぼけｂ_Ｒを含む画像が生成される。一方、青色の波長帯域の光４０２に関しては、イメージセンサ２２（第３センサ２２３）において比較的小さいぼけｂ_Ｂを含む画像が生成される。なお、緑色の波長帯域の光４０３に関しては、ぼけｂ_Ｒとぼけｂ_Ｂとの中間の大きさのぼけを含む画像が生成される。したがって、このような被写体の位置がピント位置よりも近い状態で撮像された画像においては、当該画像中の被写体の外側に赤色のぼけが観察される。

ここで、図４はレンズ２１が単純な単レンズの例を示しているが、一般的に、撮像装置２においては、例えば色収差補正が施されたレンズ（以下、色消しレンズと表記）が用いられる場合がある。なお、色消しレンズとは、低分散の凸レンズと高分散の凹レンズを組み合わせたレンズであり、色収差を補正するレンズとして最もレンズ枚数が少ないレンズである。

図５は、レンズ２１として上記した色消しレンズを用いた場合における被写体までの距離と色収差により画像に生じるぼけとの関係性を示している。色消しレンズにおいては青色の波長と赤色の波長の焦点位置を揃える設計がされているが、色収差は完全には除去することができない。このため、被写体の位置がピント位置よりも遠い場合には図５の上段に示すように緑色のぼけが発生し、被写体の位置がピント位置よりも近い場合には図５の下段に示すように紫色のぼけが発生する。

なお、図４及び図５の中段は、撮像装置２（イメージセンサ２２）に対する被写体の位置とピント位置とが一致している場合を示している。この場合には、イメージセンサ２２（第１～第３センサ２２１～２２３）においてぼけの少ない画像が生成される。

ここで、撮像装置２の光学系（レンズユニット）には上記したように絞り機構が備えられているが、当該撮像装置２によって撮像された画像に生じるぼけの形状は、当該絞り機構の開口部の大きさによっても異なる。なお、ぼけの形状は、ＰＳＦ（Point Spread Function）形状と称され、点光源が撮像されたときに生じる光の拡散分布を示している。

図６の上段は、焦点距離が５０ｍｍのレンズを用いた撮像装置２（の光学系）においてピント位置を１５００ｍｍ、Ｆ値（絞り）をＦ１．８とした場合に当該撮像装置２によって撮像された画像の中央部に生じるＰＳＦ形状を、被写体の位置が撮像装置２から近い順に左から示している。図６の下段は、焦点距離が５０ｍｍのレンズを用いた撮像装置２（の光学系）においてピント位置を１５００ｍｍ、Ｆ値（絞り）をＦ４とした場合に当該撮像装置２によって撮像された画像の中央部に生じるＰＳＦ形状を、被写体の位置が撮像装置２から近い順に左から示している。なお、図６の上段及び下段の中央は、被写体の位置がピント位置と一致している場合のＰＳＦ形状を示している。

図６の上段及び下段の対応する位置に示されているＰＳＦ形状は撮像装置２に対する被写体の位置が同一である場合のＰＳＦ形状であるが、当該被写体の位置が同一である場合であっても、上段のＰＳＦ形状（Ｆ値をＦ１．８として撮像した画像に生じるＰＳＦ形状）と下段のＰＳＦ形状（Ｆ値をＦ４として撮像した画像に生じるＰＳＦ形状）とでは形状が異なっている。

更に、図６の最も左側のＰＳＦ形状と最も右側のＰＳＦ形状に示すように、例えば被写体の位置からピント位置までの距離が同程度である場合であっても、当該被写体の位置がピント位置よりも近い場合と当該被写体の位置がピント位置よりも遠い場合とで、ＰＳＦ形状が異なっている。

なお、上記したように絞り機構の開口部の大きさや撮像装置２に対する被写体の位置に応じてＰＳＦ形状が異なる現象は、各チャンネル（ＲＧＢ画像、Ｒ画像、Ｇ画像及びＢ画像）においても同様に生じる。図７は、焦点距離が５０ｍｍのレンズを用いた撮像装置２においてピント位置を１５００ｍｍ、Ｆ値をＦ１．８とした場合に当該撮像装置２によって撮像された各チャンネルの画像に生じるＰＳＦ形状を、被写体の位置がピント位置よりも近い（手前にある）場合と被写体の位置がピント位置よりも遠い（奥にある）場合とに分けて示している。図８は、焦点距離が５０ｍｍのレンズを用いた撮像装置２においてピント位置を１５００ｍｍ、Ｆ値をＦ４とした場合に当該撮像装置２によって撮像された各チャンネルの画像に生じるＰＳＦ形状を、被写体の位置がピント位置よりも近い場合と被写体の位置がピント位置よりも遠い場合とに分けて示している。

更に、撮像装置２によって撮像された画像に生じるＰＳＦ形状は、当該画像中の位置によっても異なる。

図９の上段は、焦点距離が５０ｍｍのレンズを用いた撮像装置２においてピント位置を１５００ｍｍ、Ｆ値をＦ１．８とした場合に当該撮像装置２によって撮像された画像中の各位置に生じるＰＳＦ形状を、被写体の位置がピント位置よりも近い場合と被写体の位置がピント位置よりも遠い場合とに分けて示している。

図９の中段は、焦点距離が５０ｍｍのレンズを用いた撮像装置２においてピント位置を１５００ｍｍ、Ｆ値をＦ４とした場合に当該撮像装置２によって撮像された画像中の各位置に生じるＰＳＦ形状を、被写体の位置がピント位置よりも近い場合と被写体の位置がピント位置よりも遠い場合とに分けて示している。

図９の上段及び中段に示すように、撮像装置２によって撮像された画像の端部近傍（特に、左上等の角部近傍）においては、例えば画像中央付近に位置するＰＳＦ形状とは異なるＰＳＦ形状を観察することができる。

また、図９の下段は、焦点距離が１０５ｍｍのレンズを用いた撮像装置２においてピント位置を１５００ｍｍ、Ｆ値をＦ４とした場合に当該撮像装置２によって撮像された画像中の各位置に生じるＰＳＦ形状を、被写体の位置がピント位置よりも近い場合と被写体の位置がピント位置よりも遠い場合とに分けて示している。

上記した図９の上段及び中段は同一のレンズを用いて撮像された画像に生じるＰＳＦ形状を示しているが、図９の下段に示すように、焦点距離が異なるレンズを用いた場合には当該レンズに応じた異なるＰＳＦ形状（図９の上段及び中段とは異なるＰＳＦ形状）が観察される。

次に、図１０を参照して、上記した撮像装置２の光学系に用いるレンズの種別に応じたＰＳＦ形状（レンズの収差）の位置依存性について具体的に説明する。図１０は、焦点距離が異なる複数のレンズの各々を用いて撮像された画像の中央付近（画面中央）及び端部付近（画面端）に生じるＰＳＦ形状を、被写体の位置がピント位置よりも近い場合と被写体の位置がピント位置よりも遠い場合とに分けて示している。

図１０に示すように、画像の中央付近に生じるＰＳＦ形状は、レンズの種別が異なる場合であっても概ね円形で同一であるが、画像の端部付近に生じるＰＳＦ形状は、画像の中央付近に生じるＰＳＦ形状と異なる形状を有し、かつ、レンズの種別に応じてそれぞれ特性（特徴）が異なる。なお、上記した図５において説明した被写体の位置がピント位置よりも近い場合にはＰＳＦのふち付近に紫色のぼけが発生し、被写体の位置がピント位置よりも遠い場合にはＰＳＦのふち付近に緑色のぼけが発生する点については、レンズの種別が異なる場合であっても共通している。

また、図１０においては、焦点距離が５０ｍｍのレンズに関しては２つの例（＃１及び＃２）が示されているが、これは、焦点距離が５０ｍｍで同一であるが、レンズの製造元が異なる（つまり、異なる製品である）ことを示している。焦点距離が８５ｍｍのレンズについても同様である。

上記したように本実施形態における被写体までの距離に応じて非線形に変化するぼけには、上記した図４及び図５において説明した撮像装置２の光学系の色収差により生じるぼけ、図６～図８において説明した撮像装置２の光学系に取り込まれる光の量を調節する絞り機構の開口部の大きさ（つまり、Ｆ値）に応じて生じるぼけ、図９及び図１０において説明した撮像装置２によって撮像された画像中の位置に応じて変化するぼけ等が含まれる。

なお、ＰＳＦ形状は、絞り機構の開口部の形状によっても異なる。ここで、図１１は、ＰＳＦ形状の非線形性（非対称性）と絞り機構の開口部の形状との関係を表している。上記したＰＳＦ形状の非線形性は、絞り機構の開口部の形状替えに外の場合に生じやすい。特に、ＰＳＦ形状の非線形性は、開口部の形状が奇数角形、或いはイメージセンサ２２の水平または垂直軸に対して非対称に配置された偶数角形の場合により生じやすい。

本実施形態に係る画像処理装置３（画像処理システム１）においては、上記した画像に生じるぼけ（色、サイズ及び形状）が被写体までの距離に関する物理的な手掛かりとなる点に着目して生成された第１統計モデルを用いて当該画像に生じるぼけを示すぼけ値が推定（予測）される。なお、本実施形態において第１統計モデルによって推定される（つまり、当該第１統計モデルから出力される）ぼけ値とは、画像に生じるぼけの色、サイズ及び形状を含むぼけ量を表すスカラー量である
以下、本実施形態において第１統計モデルによって画像からぼけ（を示すぼけ値）を推定する方式の一例について説明する。ここでは、第１～第３方式について説明する。

まず、図１２を参照して、第１方式について説明する。第１方式においては、画像５０１から局所領域（画像パッチ）５０１ａが抽出される。

この場合、例えば画像５０１の全領域をマトリクス状に分割し、当該分割後の部分領域を局所領域５０１ａとして順次抽出するようにしてもよいし、画像５０１を認識して、被写体（像）が検出された領域を網羅するように局所領域５０１ａを抽出するようにしてもよい。また、局所領域５０１ａは、他の局所領域５０１ａとの間で一部がオーバーラップしていてもよい。

次に、抽出された局所領域５０１ａ毎に、当該局所領域５０１ａに関する情報（画像５０１の情報）が第１統計モデルに入力されることによって、当該局所領域５０１ａ中の被写体までの距離に応じて生じるぼけを示すぼけ値が推定される。

このように局所領域５０１ａに関する情報が入力された第１統計モデルは、当該局所領域５０１ａを構成する画素毎にぼけ値５０２を推定する。

ここで、例えば特定の画素が第１局所領域５０１ａ及び第２局所領域５０１ａの両方に属する（つまり、第１局所領域５０１ａ及び第２局所領域５０１ａとの間で当該画素を含む領域がオーバーラップしている）場合、当該画素が第１局所領域５０１ａに属するものとして推定されたぼけ値と、当該画素が第２局所領域５０１ａに属するものとして推定されたぼけ値とでは異なる場合がある。

このため、例えば上記したように一部がオーバーラップする複数の局所領域５０１ａが抽出されている場合、当該複数の局所領域５０１ａがオーバーラップしている領域を構成する画素のぼけ値は、例えば当該オーバーラップしている一方の局所領域５０１ａの一部の領域（画素）について推定されたぼけ値と他方の局所領域５０１ａの一部の領域（画素）について推定された距離との平均値としてもよい。また、一部がオーバーラップする３以上の局所領域５０１ａの一部の領域毎に推定された距離による多数決で決定されてもよい。

図１３は、上記した第１方式において第１統計モデルに入力される局所領域５０１ａに関する情報の一例を示す。

図１３に示すように、第１統計モデルには、画像５０１から抽出された局所領域５０１ａの勾配データが入力される。局所領域５０１ａの勾配データは、画像５０１に含まれるＲ画像、Ｇ画像及びＢ画像の各々から生成され、Ｒ画像の勾配データ、Ｇ画像の勾配データ及びＢ画像の勾配データを含む。

なお、勾配データは、各画素と当該画素に隣接する画素との画素値の差分（差分値）を示す。例えば、局所領域５０１ａがｎ画素（Ｘ軸方向）×ｍ画素（Ｙ軸方向）の矩形領域として抽出される場合、当該局所領域５０１ａ内の各画素について算出した例えば右隣の画素との差分値をｎ行×ｍ列のマトリクス状に配置した勾配データが生成される。

第１統計モデルは、Ｒ画像の勾配データと、Ｇ画像の勾配データと、Ｂ画像の勾配データとを用いて、当該各画像に生じているぼけを示すぼけ値を推定する。図１３においてはＲ画像、Ｇ画像及びＢ画像の各々の勾配データが第１統計モデルに入力される場合について示しているが、画像５０１（ＲＧＢ画像）の勾配データが第１統計モデルに入力される構成であってもよい。

次に、図１４を参照して、第２方式について説明する。第２方式においては、第１方式における局所領域５０１ａに関する情報として、当該局所領域（画像パッチ）５０１ａ毎の勾配データ及び画像５０１における当該局所領域５０１ａの位置情報が統計モデルに入力される。

位置情報５０１ｂは、例えば局所領域５０１ａの中心点を示すものであってもよいし、左上辺等の予め定められた一辺を示すものであってもよい。また、位置情報５０１ｂとして、局所領域５０１ａを構成する画素それぞれの画像５０１上での位置情報を用いてもよい。

上記したように位置情報５０１ｂを更に第１統計モデルに入力することで、例えばレンズ２１の中心部を透過する光によって結像された被写体像のぼけと、当該レンズ２１の端部を透過する光によって結像された被写体像のぼけとの間の差異を考慮したぼけ値５０２を推定することができる。

つまり、この第２方式によれば、画像上の位置との相関に基づいて画像５０１からぼけ値を推定することができる。

図１５は、上記した第２方式において第１統計モデルに入力される局所領域５０１ａに関する情報の一例を示す。

例えばｎ画素（Ｘ軸方向）×ｍ画素（Ｙ軸方向）の矩形領域が局所領域５０１ａとして抽出される場合、当該局所領域５０１ａの例えば中心点に対応する画像５０１上のＸ座標値（Ｘ座標データ）と、当該局所領域５０１ａの例えば中心点に対応する画像５０１上のＹ座標値（Ｙ座標データ）とが取得される。

第２方式においては、このように取得されたＸ座標データ及びＹ座標データが、上記したＲ画像、Ｇ画像及びＢ画像の勾配データとともに、第１統計モデルに入力される。

更に、図１６を参照して、第３方式について説明する。第３方式においては、上記した第１方式及び第２方式のような画像５０１からの局所領域５０１ａの抽出は行われない。第３方式においては、例えば画像５０１の全領域に関する情報（Ｒ画像、Ｇ画像及びＢ画像の勾配データ）が第１統計モデルに入力される。

局所領域５０１ａ毎にぼけ値５０２を推定する第１方式及び第２方式と比較して、第３方式は、第１統計モデルによる推定の不確実性が高くなる可能性があるが、当該推定にかかる処理の負荷を軽減することができる。

以下の説明においては、上記した第１～第３方式において第１統計モデルに入力される情報を、便宜的に画像に関する情報と称する。

ここでは画素毎にぼけ値が推定されるものとして説明したが、当該ぼけ値は、少なくとも１つの画素を含む所定の領域毎に推定されても構わない。

また、上記したように第１統計モデルにおいて画素毎にぼけ値が推定される（つまり、画素毎にぼけ値が出力される）場合、当該第１統計モデルは、上記した不確実性についても同様に画素毎に算出（出力）するものとする。

以下、図１７を参照して、本実施形態における画像に生じるぼけと当該画像中の被写体までの距離との相関について具体的に説明する。

図１７においては、被写体がピント位置よりも近い（手前にある）場合に生じるぼけのサイズをＸ軸上においてマイナスの値で示し、被写体がピント位置よりも遠い（奥にある）
場合に生じるぼけのサイズをＸ軸上においてプラスの値で示している。つまり、図１７においては、ぼけの色及びサイズを正負の値で示している。

図１７においては、被写体の位置がピント位置よりも近い場合及び被写体の位置がピント位置よりも遠い場合のいずれの場合においても、被写体がピント位置から離れるほど、ぼけのサイズ（ピクセル）の絶対値が大きくなることが示されている。

図１７に示す例では、画像を撮像した光学系におけるピント位置が約１５００ｍｍである場合を想定している。この場合、例えば約－４．８ピクセルのぼけは光学系から約１０００ｍｍの距離に対応し、０ピクセルのぼけは光学系から１５００ｍｍの距離に対応し、薬４．８ピクセルのぼけは光学系から約７５０ｍｍの距離に対応する。

ここでは、便宜的に、ぼけのサイズ（ピクセル）をＸ軸上に示す場合について説明したが、上記した図６～１０において説明したように、画像に生じるぼけの形状（ＰＳＦ形状）についても、当該被写体がピント位置よりも近い場合と当該被写体がピント位置よりも遠い場合とで異なるし、画像中の位置によっても異なる。このため、図１７においてＸ軸上に示す値（つまり、ぼけ値）は、実際には当該ぼけの形状（ＰＳＦ形状）を反映した値である。

上記した被写体までの距離とぼけの色、サイズ及び形状とは例えば図１７の線分ｄ１によって示されるような相関があるため、距離を推定することと、ぼけの色、サイズ及び形状（を示すぼけ値）を推定することとは同義である。

なお、例えば第１統計モデルに直接的に距離を推定させる構成も考えられるが、第１統計モデルにぼけ値を推定させる構成の方が、光学系におけるピント位置（合焦距離）を変更したような場合であっても同一の第１統計モデルを用いることが可能であり、汎用性が高いといえる。

次に、図１８のフローチャートを参照して、本実施形態に係る画像処理装置３の処理手順の一例について説明する。

まず、撮像装置２（イメージセンサ２２）は、被写体を撮像することによって当該被写体を含む画像（以下、撮像画像と表記）を生成する。この撮像画像は、上記したように撮像装置２の光学系（レンズ２１）の収差の影響を受けた画像である。

画像処理装置３に含まれる画像取得部３２は、上記した撮像画像を撮像装置２から取得する（ステップＳ１）。なお、撮像画像は、ＵＳＢケーブルまたはＬＡＮケーブル等を用いた有線通信を実行することによって撮像装置２から取得（受信）されてもよいし、Ｂｌｕｅｔｏｏｔｈ（登録商標）またはＷｉｆｉ（登録商標）に基づく無線通信を実行することによって撮像装置２から取得（受信）されてもよい。

次に、マップ生成部３３は、ステップＳ１において取得された撮像画像に関する情報を、第１格納部３１に格納されている第１統計モデルに入力する（ステップＳ２）。

撮像画像からぼけ値を推定する方式として上記した第１方式が適用される場合には、撮像画像に関する情報として、当該撮像画像の局所領域毎に、Ｒ画像、Ｇ画像及びＢ画像の勾配データが第１統計モデルに入力される。

撮像画像からぼけ値を推定する方式として上記した第２方式が適用される場合には、撮像画像に関する情報として、撮像画像の局所領域毎に、Ｒ画像、Ｇ画像及びＢ画像の勾配データと当該局所領域の撮像画像上における位置情報とが第１統計モデルに入力される。

撮像画像からぼけ値を推定する方式として上記した第３方式が適用される場合には、撮像画像に関する情報として、当該撮像画像の全領域分のＲ画像、Ｇ画像及びＢ画像の勾配データが統計モデルに入力される。

なお、本実施形態においてはＲ画像、Ｇ画像及びＢ画像の勾配データが第１統計モデルに入力されるものとして説明するが、上記した撮像画像に生じるぼけの形状（ＰＳＦ形状）の観点からぼけ値を推定する場合には、Ｒ画像、Ｇ画像及びＢ画像の勾配データのうちの少なくとも１つの勾配データが第１統計モデルに入力されればよい。一方、色収差により撮像画像に生じるぼけの色及びサイズの観点からぼけ値を推定する場合には、Ｒ画像、Ｇ画像及びＢ画像の勾配データのうちの少なくとも２つの勾配データが第１統計モデルに入力されればよい。

ステップＳ２の処理が実行されると、第１統計モデルにおいて、画素毎のぼけ値が推定されるとともに、当該ぼけ値に対する不確実度が算出される。このように推定されたぼけ値及び算出された不確実度は、第１統計モデルから出力され、マップ生成部３３によって取得される（ステップＳ３）。

次に、マップ生成部３３は、ステップＳ３において取得されたぼけ値及び不確実度に基づいてぼけマップ（以下、第１ぼけマップと表記）を生成する（ステップＳ４）。

なお、本実施形態にけるぼけマップとは、光学系の収差の影響を受けた画像に生じるぼけの分布を表すマップ形式の情報である。ぼけマップは、撮像画像を構成する画素の各々に、当該画素について出力されたぼけ値を割り当てることによって生成される。すなわち、本実施形態におけるぼけマップは、撮像画像と同一の数の画素から構成される画像データに相当する。この場合、ぼけマップを構成する画素の各々に割り当てられたぼけ値を当該画素の画素値として用いることによって、当該ぼけマップを構成する画素の各々は、当該画素に割り当てられたぼけ値を当該ぼけ値に応じた色で表現することができる。

ここで、マップ生成部３３は、ステップＳ３において取得されたぼけ値（撮像画像を構成する画素毎に第１統計モデルによって推定されたぼけ値）に基づいてぼけマップ（以下、初期ぼけマップと表記）を生成することができる。上記したように画像に生じるぼけ（を示すぼけ値）と当該画像中の被写体までの距離とに相関があり、当該ぼけを推定することと当該距離を推定することとが同義であるものとすると、上記したように画素毎に推定されたぼけ値が当該画素の各々に割り当てられた初期ぼけマップは、被写体の立体構造を把握するために有用な情報であるといえる。

しかしながら、上記したように画素毎に推定されたぼけ値の中には不確実度が高い（つまり、信頼性が低い）ぼけ値が含まれており、このようなぼけ値を用いて生成されたぼけマップでは、被写体の立体構造を誤って把握させる可能性がある。なお、本実施形態において被写体までの距離の物理的な手掛かりとなる非線形なぼけは画像中のエッジ部分で強く表れるが、例えば淡色のテーブルのようなテクスチャレスな領域においては当該ぼけを推定（検出）することが困難であり、不確実性が高く算出される。

このため、マップ生成部３３は、ステップＳ３において取得された撮像画像を構成する画素毎のぼけ値のうち不確実度が閾値未満であるぼけ値を用いて（つまり、不確実度が閾値以上であるぼけ値を破棄して）第１ぼけマップを生成するものとする。

この場合、マップ生成部３３は、上記した初期ぼけマップを生成するとともに、当該ステップＳ３において取得された撮像画像を構成する画素毎の不確実度を用いて不確実性マップを生成する。なお、不確実性マップは、撮像画像を構成する画素毎に推定されたぼけ値に対する不確実度の分布を表すマップ形式の情報（画像）であり、当該不確実度を当該不確実度が算出された画素に割り当てることによって生成される。

マップ生成部３３は、生成された不確実性マップ上の不確実性が閾値以上である画素から構成される領域を特定し、当該特定された領域に対応する初期ぼけマップの領域をマスクすることによって、第１ぼけマップを生成することができる。換言すれば、第１ぼけマップは、不確実性マップを一定の閾値で２値化してマスクを生成し、当該マスクを初期ぼけマップに適用することで生成される。

上記した第１ぼけマップは、高信頼度（つまり、不確実度が閾値未満）のぼけ値を用いて生成されたぼけマップ（高信頼ぼけマップ）であるため、上記した初期ぼけマップのように被写体の立体構造を誤って把握させる可能性を低減させることができる。

しかしながら、第１ぼけマップにおいては例えばテクスチャレスな被写体に対応する領域を構成する画素について推定されたぼけ値を破棄している（つまり、不確実度が閾値以上であるぼけ値を外れ値や異常値として扱っている）ため、当該第１ぼけマップは、不確実度が閾値未満であるぼけ値のみを画素に割り当てた疎なぼけマップであるといえる。このような第１ぼけマップ（疎なぼけマップ）では、被写体の立体構造（３次元構造）を部分的にしか表現することができず、当該立体構造を適切に把握することができない場合がある。本実施形態に係る画像処理システム１は例えば工場や工事現場等で配管点検または設備劣化点検を行う場合やロボット等が把持対象を把握するような場合に利用することが考えられるが、このような被写体（対象）の立体構造を正確に把握する必要がある用途で上記した第１ぼけマップを用いることは困難である。

そこで、補間処理部３４は、上記したステップＳ４において生成された第１ぼけマップに対してぼけ値（不確実度が閾値以上であり、破棄されたぼけ値）を補間する処理（補間処理）を実行する（ステップＳ５）。なお、ステップＳ５における補間処理には、第２格納部３５に格納されている第２統計モデルが用いられる。

第２統計モデルは、例えば第１ぼけマップのような疎なぼけマップが入力された場合に、当該疎なぼけマップに対してぼけ値を補間した密なぼけマップを出力するように、疎なぼけマップ及び密なぼけマップ（を含む学習用のデータセット）を学習することによって生成されているものとする。なお、疎なぼけマップと密なぼけマップとの対応関係は、例えばエンコーダ・デコーダ構造を有するニューラルネットワークや畳み込みネットワーク等によって表現可能である。

この場合、補間処理部３４は、ステップＳ４において生成された第１ぼけマップを第２統計モデルに入力することによって当該第２統計モデルから出力されるぼけマップ（以下、第２ぼけマップと表記）を取得する。なお、第２ぼけマップは、上記した第１ぼけマップを構成する複数の画素のうち、閾値以上である不確実度が出力（算出）された画素にぼけ値を補間した密なぼけマップに相当する。

ステップＳ５の処理が実行されると、表示処理部３６は、当該ステップＳ５の処理が実行されることによって取得された第２ぼけマップ（つまり、密なぼけマップ）を例えば表示デバイス３０６に表示する（ステップＳ６）。ここでは第２ぼけマップが表示デバイス３０６に表示されるものとして説明したが、当該第２ぼけマップは、例えば画像処理装置３（または画像処理システム１）の外部に出力（送信）されても構わない。

なお、本実施形態においては、上記したように第１及び第２統計モデルを用いる構成であるが、当該第１及び第２統計モデルは、学習処理を実行することによって生成される。

以下、第１及び第２統計モデルを生成するための学習処理（以下、単に統計モデルの学習処理と表記）について簡単に説明する。

まず、図１９を参照して、第１統計モデルの学習処理の一例について説明する。ここでは、撮像装置２によって撮像された画像を用いた第１統計モデルの学習処理について説明するが、当該第１統計モデルの学習処理は、例えば例えば撮像装置２の光学系と同様の光学系を有する他のデバイス（カメラ等）によって撮像された画像を用いて行われてもよい。

以下の説明では、第１統計モデルの学習処理に用いる画像を、便宜的に、学習用画像と称する。

上記した図１２を参照して説明した第１方式、図１４を参照して説明した第２方式、図１６を参照して説明した第３方式のいずれの方式を用いる場合においても、第１統計モデルの学習処理は、基本的に、学習用画像に関する情報を第１統計モデルに入力し、当該第１統計モデルによって推定されたぼけ値と正解値との誤差を当該第１統計モデルにフィードバックすることによって行われる。なお、フィードバックとは、誤差が減少するように統計モデル（ここでは、第１統計モデル）のパラメータ（例えば、重み係数）を更新することをいう。

上記した画像からぼけ値を推定する方式として第１方式が適用される場合には、第１統計モデルの学習処理時においても、学習用画像から抽出された局所領域（画像パッチ）毎に、当該局所領域に関する情報（勾配データ）が第１統計モデルに入力され、当該第１統計モデルによって各局所領域内の各画素のぼけ値が推定される。このように推定されたぼけ値と正解値とが比較されることによって得られる誤差が、第１統計モデルにフィードバックされる。

同様に、画像からぼけ値を推定する方式として第２方式が適用される場合には、第１統計モデルの学習処理時においても、学習用画像から抽出された局所領域（画像パッチ）毎に、当該局所領域に関する情報として勾配データ及び位置情報が第１統計モデルに入力され、当該第１統計モデルによって各局所領域内の各画素のぼけ値が推定される。このように推定されたぼけ値と正解値とが比較されることによって得られる誤差が、第１統計モデルにフィードバックされる。

また、画像から距離を推定する方式として第３方式が適用される場合には、第１統計モデルの学習処理時においても、学習用画像の全領域に関する情報（勾配データ）が一括して第１統計モデルに入力され、当該第１統計モデルによって当該学習用画像内の各画素のぼけ値が推定される。このように推定されたぼけ値と正解値とが比較されることによって得られる誤差が、第１統計モデルにフィードバックされる。

なお、上記したように学習用画像に関する情報が第１統計モデルに入力された場合には、上記した図３において説明した場合と同様に、ぼけ値に対する不確実度が算出されるものとする。この場合の第１統計モデルの学習処理においては、ぼけ値と正解値との誤差を不確実度の二乗で除算した誤差をフィードバックするものとする。この場合、不確実度を無限大とした際には誤差がゼロとなるため、不確実度の二乗をペナルティとして誤差に加算するものとする。

上記した第１統計モデルの学習処理によれば、ぼけ値と正解値との誤差を不確実度で補正した値が減少するように第１統計モデルのパラメータ（例えば、重み係数）が更新される。

ここで、例えば第１統計モデルにより推定されたぼけ値と正解値との誤差がない一方で、不確実度が高い場合、当該ぼけ値は偶然に推定された可能性があると推測することができる。この場合には、ぼけ値（正解値）の学習が不足していることを認識することができる。

このように第１統計モデルにより算出される不確実度を用いた場合には、学習の偏りを減少させることも可能である。

なお、本実施形態における第１統計モデルは、例えばピント位置を固定した状態で撮像装置２から被写体までの距離を変化させながら撮像された学習用画像（つまり、被写体までの距離が既知な学習用画像）を用いた学習処理が繰り返し実行されることによって生成される。また、１つのピント位置についての学習処理が完了した場合には、他のピント位置についても同様に学習処理を実行することによって、より精度の高い第１統計モデルを生成することができる。

なお、本実施形態における第１統計モデルの学習時に用いられる正解値は、上記したように学習用画像が撮像された際の被写体までの実際の距離から変換されたぼけ値（つまり、当該実際の距離に対応するぼけの色、サイズ及び形状を示すぼけ値）であるものとする。

次に、図２０のフローチャートを参照して、第１統計モデルの学習処理の処理手順の一例について説明する。なお、図２０に示す処理は、例えば画像処理装置３において実行されてもよいし、他の装置等において実行されてもよい。

まず、予め用意された学習用画像に関する情報が第１統計モデルに入力される（ステップＳ１１）。この学習用画像は、例えば撮像装置２に備えられるレンズ２１を透過した光に基づいてイメージセンサ２２によって生成された画像であって、撮像装置２の光学系（レンズ２１）の収差の影響を受けた画像である。具体的には、学習用画像には、図４～図１０において説明した被写体までの距離に応じて非線形に変化するぼけが生じている。

なお、第１統計モデルの学習処理においては、画像処理装置３において取得（推定）可能な距離の下限値（手前）から上限値（奥）まで極力細かい粒度で被写体を各距離で撮像した学習用画像が予め用意されているものとする。また、学習用画像としては、被写体が異なる様々な画像を用意しておくことが好ましい。

ステップＳ１１の処理については図１８に示すステップＳ２の処理と同様であるため、ここではその詳しい説明を省略する。

第１統計モデルに対して学習用画像に関する情報が入力されると、当該第１統計モデルによって、ぼけ値が推定される（ステップＳ１２）。

また、ステップＳ１２の処理が実行されると、第１統計モデルは、当該ステップＳ１２において推定されたぼけ値に対する不確実度を算出する（ステップＳ１３）。

ステップＳ１２において推定されたぼけ値は、学習用画像の撮像時に得られている正解値と比較される（ステップＳ１４）。

ステップＳ１４における比較結果（誤差）は、ステップＳ１３において算出された不確実度を用いて補正され、第１統計モデルにフィードバックされる（ステップＳ１５）。これにより、第１統計モデルにおいては、誤差が減少するようにパラメータが更新される（つまり、被写体までの距離に応じて学習用画像に生じているぼけが学習される）。

上記した図２０に示す処理が学習用画像毎に繰り返し実行されることによって、推定精度の高い第１統計モデルが生成される。このように生成された第１統計モデルは、画像処理装置３に含まれる第１格納部３１に格納される。

次に、図２１を参照して、第２統計モデルの学習処理の一例について説明する。上記した第１統計モデルの学習処理は被写体までの距離が既知な学習用画像及び当該学習用画像に生じるぼけを示すぼけ値（正解値）を用いて実行されるが、第２統計モデルの学習処理は、疎なぼけマップ及び当該疎なぼけマップに対応する密なぼけマップ（正解値）を用いて実行される。

具体的には、第２統計モデルの学習処理は、疎なぼけマップを第２統計モデルに入力し、当該第２統計モデルによって推定された密なぼけマップ（疎なぼけマップに対してぼけ値が補間されたぼけマップ）と正解値との誤差を当該第２統計モデルにフィードバックすることによって行われる。なお、フィードバックとは、上記したように誤差が減少するように統計モデル（ここでは、第２統計モデル）のパラメータ（例えば、重み係数）を更新することをいう。

なお、第２統計モデルの学習処理に用いられる疎なぼけマップは、例えば予め用意されている密なぼけマップの一部の領域をマスクすることで生成することができる。

また、密なぼけマップは、例えば上記した第１統計モデルによって推定された信頼度の高いぼけ値（例えばテクスチャレスな被写体を含まない画像を第１統計モデルに入力することによって当該第１統計モデルから出力された不確実性が閾値未満のぼけ値から生成されたぼけマップ）を利用することができるが、例えば被写体までの実際の距離から変換されたぼけ値から生成されたぼけマップであってもよい。被写体までの実際の距離は、例えば２つの撮像装置２（の光学系）から構成されるステレオカメラを用いたステレオ測距により測定することができる。また、被写体までの実際の距離は、例えばＬｉＤＡＲ等の他の距離測定装置を用いて測定されてもよい。

なお、上記した距離からぼけ値への変換は、例えば撮像装置２の光学系の各種パラメータ（例えば、焦点距離、絞り値、ピント位置等）を用いて行うことができる。

また、疎なぼけマップは、上記したように生成される密なぼけマップの一部の領域をマスクすることによって生成することが可能であるが、例えばステレオカメラやＬｉＤＡＲ等を用いて測定された疎な距離から変換されたぼけ値に基づいて生成されてもよい。

次に、図２２のフローチャートを参照して、第２統計モデルの学習処理の処理手順の一例について説明する。なお、図２２に示す処理は、例えば画像処理装置３において実行されてもよいし、他の装置等において実行されてもよい。

まず、予め用意された疎なぼけマップが第２統計モデルに入力される（ステップＳ２１）。

第２統計モデルに対して疎なぼけマップが入力されると、当該第２統計モデルによって、密なぼけマップが推定される（ステップＳ２２）。

ステップＳ２２において推定された密なぼけマップは、ステップＳ１において第２統計モデルに入力された疎なぼけマップに対応する密なぼけマップ（つまり、正解値）と比較される（ステップＳ２３）。この場合、ステップＳ２２において推定された密なぼけマップを構成する画素に割り当てられているぼけ値（つまり、第２統計モデルによって補間されたぼけ値）の各々が、正解値である密なぼけマップの対応する画素に割り当てられるぼけ値と比較される。

ステップＳ２３における比較結果（誤差）は、第２統計モデルにフィードバックされる（ステップＳ２４）。これにより、第２統計モデルにおいては、誤差が減少するようにパラメータが更新される（つまり、疎なぼけマップ及び当該疎なぼけマップに対応する密なぼけマップが学習される）。

上記した図２２に示す処理が疎なぼけマップ及び密なぼけマップの組（つまり、学習用のデータセット）毎に繰り返し実行されることによって、推定精度の高い第２統計モデルが生成される。このように生成された第２統計モデルは、画像処理装置３に含まれる第２格納部３５に格納される。

上記したように本実施形態においては、光学系の収差の影響を受けた学習用画像（第１画像）に生じる、当該画像中の被写体までの距離に応じて非線形に変化するぼけを学習することによって生成された第１統計モデルを第１格納部３１に予め格納しておき、当該光学系の収差を受けた撮像画像（第２画像）が取得された場合に、当該撮像画像を第１統計モデルに入力することによって当該第１統計モデルから出力されるぼけ値及び当該ぼけ値に対する不確実性の度合いを示す不確実度が取得される。また、本実施形態においては、取得されたぼけ値及び不確実度に基づいて生成された第１ぼけマップに対してぼけ値を補間した第２ぼけマップが取得される。

ここで、第１統計モデルは撮像画像を構成する画素（または少なくとも１つの画素を含む所定の領域）毎にぼけ値及び不確実度を出力するように生成されており、上記した第１ぼけマップは、不確実度が閾値未満であるぼけ値を当該ぼけ値が出力された画素に割り当てた疎なぼけマップに相当する。一方、第２ぼけマップは、第１ぼけマップの閾値以上である不確実度が出力された画素にぼけ値を補間した密なぼけマップに相当する。

本実施形態においては、上記した構成により、第１ぼけマップ（疎なぼけマップ）では適切に把握することができない被写体の立体構造（３次元構造）を、第２ぼけマップ（密なぼけマップ）において適切に把握することが可能となる。

なお、本実施形態において、第２ぼけマップは、疎なぼけマップ及び当該疎なぼけマップに対応する密なぼけマップを学習することによって生成される第２統計モデルを用いて取得することができる。

この第２統計モデルの学習処理において用いられる疎なぼけマップは、当該第２統計モデルの学習処理において用いられる密なぼけマップの一部の領域をマスクすることによって生成可能であるため、比較的容易に用意することが可能である。

また、第２統計モデルの学習処理において用いられる密なぼけマップは被写体までの距離を測定可能な距離測定装置によって測定された距離から変換されたぼけ値に基づいて生成可能であるが、例えば第１統計モデルから出力されるぼけ値を利用する等、他の手法によって用意されても構わない。

なお、本実施形態における第１及び第２統計モデルが例えばニューラルネットワークで構成される場合には、各種深層学習技術を使用して推定精度の高い当該第１及び第２統計モデルを構築することができる。

また、第１及び第２統計モデルがランダムフォレストで構成される場合には、ニューラルネットワークに対してパラメータ数が増加するものの、出力結果（推定結果）の説明性を向上させることができる。

本実施形態における第１及び第２統計モデルは、例えばニューラルネットワークまたはランダムフォレストであるものとして説明したが、他のアルゴリズムが適用されたものであってもよい。

また、本実施形態においては、第２統計モデルを用いて第１ぼけマップに対してぼけ値を補間するものとして説明したが、例えば閾値未満である不確実度が出力（算出）された画素について出力（推定）されたぼけ値を当該閾値以上である不確実度が出力された近傍の画素に割り当てるような手法によって第１ぼけマップに対してぼけ値が補間されてもよい。すなわち、本実施形態は、第１統計モデルから出力された不確実度が閾値以上であるぼけ値が第１ぼけマップに対して補間される構成であればよい。

更に、本実施形態においては、撮像装置２によって撮像された１つの撮像画像から第２ぼけマップを取得（表示）する構成を想定しているが、例えば同一の被写体を複数の姿勢から撮像した時系列画像の各々から得られる信頼度の高い領域（不確実度が閾値未満であるぼけ値）を組み合わせることによって、より正確な立体構造（３次元構造）を把握することが可能な第２ぼけマップを得ることができる可能性がある。また、時系列画像に対する平滑化（時系列方向への平滑化）等を適用した場合には、例えば長距離の被写体を対象とした際に生じ得る陽炎等の大気の影響を排除することが可能である。

また、本実施形態においては、画素毎に取得されたぼけ値のうち不確実度が閾値以上であるぼけ値に基づいて第１マップを生成するものとして主に説明したが、例えば画像処理装置３における処理を高速化するために、複数の画素（つまり、所定の領域）毎にぼけ値を取得する（つまり、所定のぼけ値を間引いて処理する）ことによって第１ぼけマップを生成するようにしてもよい。本実施形態は、このような間引いた結果として得られる疎なぼけマップ（第１ぼけマップ）に対してぼけ値を補間する場合に適用されても構わない。

（第２実施形態）
次に、第２実施形態について説明する。なお、本実施形態においては、前述した第１実施形態と同様の部分についての説明を省略し、当該第１実施形態と異なる部分について主に説明する。

図２３は、本実施形態に係る画像処理装置を含む画像処理システムの構成の一例を示す。図２３においては、前述した図１と同一の部分には同一参照符号を付してその詳しい説明を省略し、当該図１とは異なる部分について説明する。

図２３に示すように、本実施形態に係る画像処理装置３は、図１に示す各部３１～３６に加えて領域抽出部３７を更に含む点で、前述した第１実施形態とは異なる。

なお、本実施形態に係る画像処理装置３は前述した図２に示すハードウェア構成を有し、領域抽出部３７の一部または全ては、ＣＰＵ３０１（つまり、画像処理装置３のコンピュータ）に画像処理プログラム３０３Ａを実行させること、すなわち、ソフトウェアによって実現されるものとする。また、領域抽出部３７の一部または全ては、ＩＣ等のハードウェアによって実現されてもよいし、ソフトウェア及びハードウェアの組み合わせによって実現されてもよい。

領域抽出部３７は、前述した不確実性マップを参照し、マップ生成部３３によって取得された不確実度が閾値未満である領域（以下、高信頼ぼけ領域と表記）及び当該不確実が閾値以上である領域（以下、補間ぼけ領域と表記）を抽出する。

領域抽出部３７によって抽出された高信頼ぼけ領域及び補間ぼけ領域は、表示処理部３６によって第２ぼけマップ上に表示される。

次に、図２４のフローチャートを参照して、本実施形態に係る画像処理装置３の処理手順の一例について説明する。

まず、前述した図１８に示すステップＳ１～Ｓ５の処理に相当するステップＳ３１～Ｓ３５の処理が実行される。

次に、領域抽出部３７は、上記した高信頼ぼけ領域及び補間ぼけ領域を抽出する（ステップＳ３６）。なお、ステップＳ３２の処理が実行された場合、撮像画像を構成する画素毎の不確実度が第１統計モデルから出力されるが、高信頼ぼけ領域は、当該不確実度が閾値未満であるぼけ値が出力された画素を含む領域に相当する。一方、補間ぼけ領域は、不確実度が閾値以上であるぼけ値が出力された画素（つまり、外れ値または異常値としてぼけ値が破棄された画素）を含む領域に相当する。換言すれば、補間ぼけ領域は、ステップＳ３５の処理が実行されることによってぼけ値が補間された領域である。

高信頼ぼけ領域及び補間ぼけ領域は、例えば不確実性マップを閾値で２値化することによって抽出可能である。なお、ステップＳ３６においては、例えば不確実性マップ中のカーネル領域内の平均値や中央値を使用し、ノイズを除去しながら高信頼ぼけ領域を抽出するような手法（例えば、ガウシアンフィルタやメディアンフィルタ等の画像フィルタ）が適用されてもよい。

ステップＳ３６の処理が実行されると、表示処理部３６は、ステップＳ３５の処理が実行されることによって取得された第２ぼけマップとともに、ステップＳ３６において抽出された高信頼ぼけ領域及び補間ぼけ領域を表示する（ステップＳ３７）。

図２５は、ステップＳ３７において表示された高信頼ぼけ領域及び補間ぼけ領域の一例を示している。

図２５において、領域６０１は高信頼ぼけ領域を示し、領域６０２は補間ぼけ領域を示している。高信頼ぼけ領域６０１は、当該高信頼ぼけ領域に割り当てられた色（つまり、高信頼ぼけ領域を可視化する表示色）で表示される。一方、補間ぼけ領域６０２は、当該補間ぼけ領域に割り当てられた色（つまり、補間ぼけ領域を可視化する表示色）で表示される。なお、高信頼ぼけ領域を可視化する表示色は、補間ぼけ領域を可視化する表示色とは異なる色である。

なお、本実施形態においては、上記した高信頼ぼけ領域６０１及び補間ぼけ領域６０２は、それぞれ例えば透過性を有する色（透過色）で描画され、第２ぼけマップ（密なぼけマップ）と重畳させて表示されるものとする。

このような構成によれば、第２ぼけマップ上の高信頼ぼけ領域６０１及び補間ぼけ領域６０２（つまり、第１統計モデルから出力されたぼけ値が割り当てられた領域及び第２統計モデルによってぼけ値が補完された領域）を容易に把握することができる。

ここでは高信頼ぼけ領域６０１及び補間ぼけ領域６０２が透過色で表示されるものとして説明したが、当該高信頼ぼけ領域６０１及び補間ぼけ領域６０２は、透過性を有しない色（例えば、単色）で塗りつぶしたような態様で表示されてもよい。この場合は、高信頼ぼけ領域６０１及び補間ぼけ領域６０２は、第２ぼけマップと並べて表示するようにしてもよい。

すなわち、本実施形態においては、高信頼ぼけ領域６０１及び補間ぼけ領域６０２を第２ぼけマップと対比可能な態様で表示すればよい。

また、高信頼ぼけ領域６０１及び補間ぼけ領域６０２は、第２ぼけマップだけではなく、例えば撮像画像等と組み合わせて表示されてもよい。

更に、ここでは高信頼ぼけ領域６０１及び補間ぼけ領域６０２が異なる色で描画（表現）されるものとして説明したが、当該高信頼ぼけ領域６０１及び補間ぼけ領域６０２は、互いに区別可能な態様で表示されればよい。具体的には、高信頼ぼけ領域６０１及び補間ぼけ領域６０２は、例えば濃淡の異なる同一の色で表現されてもよいし、異なる間隔のドットを施すことによって表現されてもよい。更に、高信頼ぼけ領域６０１及び補間ぼけ領域６０２の境界部分に加工を施す（境界線を所定の色で描く）ことにより、当該各領域６０１及び６０２を区別可能に表現してもよい。

上記したように本実施形態においては、不確実度が閾値未満である高信頼ぼけ領域（第１領域）及び不確実度が閾値以上である補間ぼけ領域（第２領域）を抽出し、当該抽出された高信頼ぼけ領域及び補間ぼけ領域は第２ぼけマップ（密なぼけマップ）上で表示される。

本実施形態においては、このような構成により、ユーザは信頼度が高い領域とぼけ値が補間された領域とを視認することができ、被写体の立体構造（３次元構造）の把握が容易となる。

なお、前述したように被写体までの距離に関する物理的な手掛かりとなる非線形なぼけはピント位置（合焦距離）から当該被写体までの距離に応じて変化するが、第１統計モデルの学習処理においては、当該ぼけのサイズ（半径）に上限が設定される場合が多い。具体的には、例えば１０ピクセル四方の矩形領域（一辺を１０ピクセルとする矩形領域）をぼけとみなして第１統計モデルを学習させるような場合が考えられる。このような第１統計モデルの場合、ぼけの半径が５ピクセルを超えるような位置（つまり、ピント位置を基準とした一定の距離範囲から外れた位置）に存在する被写体については、ぼけ値を推定することができない。

この場合、図２６に示すように、上記した高信頼ぼけ領域６０１及び補間ぼけ領域６０２に加えて、ぼけ値を推定することができない領域（解析範囲外領域）を更に表示するようにしてもよい。図２６に示す例では、ピント位置を基準とした一定の距離範囲以上に近い位置に被写体が存在する近距離領域６０３ａ及びピント位置を基準とした一定の距離範囲以上に遠い位置に被写体が存在する遠距離領域６０３ｂが解析範囲外領域として表示されている。

なお、解析範囲外領域（近距離領域６０３ａ及び遠距離領域６０３ｂ）は、高信頼ぼけ領域６０１及び補間ぼけ領域６０２と区別可能な態様（例えば、異なる色等）で表示されていればよい。

また、上記し解析範囲外領域においては不確実度が閾値未満である領域（つまり、高信頼度ぼけ領域）が存在しないため、当該解析範囲外領域にぼけ値を補間しようとすると、誤ったぼけ値が補間される可能性が高い。このため、解析範囲外領域が存在する場合、当該解析範囲外領域は上記した補間処理の対象からは除外されるものとする。この場合、補間ぼけ領域６０２にのみぼけ値が補間され、解析範囲外領域にはぼけ値が補間されていない第２ぼけマップがステップＳ３５において取得されることになる。なお、解析範囲外領域は、ぼけ値を推定することができない領域であるため、例えば第１統計モデルによって判別可能である。

上記したように高信頼ぼけ領域及び補間ぼけ領域に加えて解析範囲外領域を表示する構成によれば、ユーザは、解析範囲外領域が存在することを把握し、立体構造を把握しやすい（つまり、解析範囲外領域が縮小されるような）撮像画像が撮像されるように、例えばピント位置、絞り（開口部の大きさ）または被写体の位置（撮像装置２からの距離）等を調整することが可能となる。

（第３実施形態）
次に、第３実施形態について説明する。なお、本実施形態においては、前述した第１及び第２実施形態と同様の部分についての説明を省略し、当該第１及び第２実施形態と異なる部分について主に説明する。

図２７は、本実施形態に係る画像処理装置を含む画像処理システムの構成の一例を示す。図２７においては、前述した図１及び図２３と同一の部分には同一参照符号を付してその詳しい説明を省略し、当該図１及び図２３とは異なる部分について説明する。

図２７に示すように、本実施形態に係る画像処理装置３は、図２３に示す各部３１～３７に加えて閾値変更部３８を更に含む点で、前述した第２実施形態とは異なる。

なお、本実施形態に係る画像処理装置３は前述した図２に示すハードウェア構成を有し、閾値変更部３８の一部または全ては、ＣＰＵ３０１（つまり、画像処理装置３のコンピュータ）に画像処理プログラム３０３Ａを実行させること、すなわち、ソフトウェアによって実現されるものとする。また、閾値変更部３８の一部または全ては、ＩＣ等のハードウェアによって実現されてもよいし、ソフトウェア及びハードウェアの組み合わせによって実現されてもよい。

閾値変更部３８は、前述した第２実施形態において説明したように第２ぼけマップ、高信頼ぼけ領域及び補間ぼけ領域を参照したユーザの操作に応じて、不確実度に対する閾値（以下、不確実性閾値と表記）を変更する。

閾値変更部３８によって不確実性閾値が変更された場合、マップ生成部３３及び領域抽出部３７は、当該不確実性閾値に従って再度処理を実行する。

次に、図２８のフローチャートを参照して、本実施形態に係る画像処理装置３の処理手順の一例について説明する。

まず、前述した図２４に示すステップＳ３１～Ｓ３７の処理に相当するステップＳ４１～Ｓ４７の処理が実行される。

ここで、前述した第２実施形態においては単に第２ぼけマップ上に高信頼ぼけ領域及び補間ぼけ領域を表示するものとして説明したが、本実施形態においては、当該第２ぼけマップ、高信頼度ぼけ領域及び補間ぼけ領域が表示された画面上で、ユーザは例えば入力デバイス３０５を用いて不確実性閾値を変更する操作を行うことができるものとする。

図２９は、第２ぼけマップ、高信頼ぼけ領域及び補間ぼけ領域が表示された画面（以下、単に表示画面と表記）の一例を示す。図２９に示す表示画面７００においては、前述した第２実施形態と同様に、第２ぼけマップ上に高信頼ぼけ領域６０１及び補間ぼけ領域６０２が表示されている。

本実施形態における表示画面７００（高信頼ぼけ領域６０１及び補間ぼけ領域６０２が表示されている領域の近傍）には、更にスライドバー７０１が設けられている。また、スライドバー７０１上には、当該スライドバー７０１に沿うようにスライド（移動）させることが可能なスライダー７０２が配置されている。ユーザは、スライドバー７０１上でスライダー７０２をスライドさせることにより、表示画面７００上で不確実性閾値を変更する操作（以下、閾値変更操作と表記）を行うことができる。

なお、図２９に示す例では、スライドバー７０１の右端は不確実性閾値の上限値に対応し、当該スライドバー７０１の左端は不確実性閾値の下限値に対応している。表示画面７００が表示された時点では、スライダー７０２は、現在の不確実性閾値（つまり、ステップＳ４４及びＳ４６の処理において用いられた閾値）に対応する位置に配置されている。ユーザは、スライダー７０２を右方向にスライドさせた場合には閾値を上げることを指示することができ、当該スライダー７０２を左方向にスライドさせた場合には閾値を下げることを指示することができる。

再び図２８に戻ると、閾値変更部３８は、上記した表示画面７００（スライダー７０２）に対してユーザによる閾値変更操作が行われたか否かを判定する（ステップＳ４８）。

閾値変更操作が行われたと判定された場合（ステップＳ４８のＹＥＳ）、閾値変更部３８は、当該閾値変更操作に応じて不確実性閾値を変更する（ステップＳ４９）。上記したように閾値変更操作としてスライダー７０２をスライドさせる操作が行われた場合、閾値変更部３８は、当該スライドされたスライダー７０２の位置に応じた値に不確実性閾値を変更する。

ステップＳ４９の処理が実行されると、ステップＳ４４に戻って処理が繰り返される。具体的には、ステップＳ４４においては、不確実性マップをステップＳ４９において変更された不確実性閾値で２値化してマスクを生成し、当該マスクを初期ぼけマップに適用することによって、第１ぼけマップが再度生成される。この場合、ステップＳ４４において再度生成された第１ぼけマップを用いてステップＳ４５の処理が実行される。また、ステップＳ４６においては、ステップＳ４９において変更された不確実性閾値に基づいて高信頼ぼけ領域及び補間ぼけ領域が抽出される。このようにステップＳ４４～Ｓ４６の処理が再度実行された後に、ステップＳ４７の処理が更に実行される。

なお、図２９に示す表示画面７００においてスライダー７０２を左にスライドさせる閾値変更操作が行われ、上記したステップＳ４４～Ｓ４７の処理が再度実行された場合、当該表示画面７００は、図３０に示す表示画面７１０に遷移する。

スライダー７０２を左にスライドさせる閾値変更操作が行われた場合、不確実性閾値は下がるように変更されるため、表示画面７１０においては、図２９に示す表示画面７００に表示される高信頼ぼけ領域６０１及び補間ぼけ領域６０２と比較して、高信頼ぼけ領域６０１の範囲（つまり、不確実度が閾値未満となる領域の面積）が小さくなり、補間ぼけ領域６０２の範囲（つまり、不確実度が閾値以上となる領域の面積）が大きくなっている。

なお、閾値変更操作が行われていないと判定された場合（ステップＳ４８のＮＯ）、図２８に示す処理は終了される。

上記したように本実施形態においては、ユーザによる操作（閾値変更操作）に応じて不確実性閾値（不確実度に対する閾値）が変更された場合、不確実度が当該変更された不確実性閾値未満であるぼけ値に基づいて第１ぼけマップが再度生成され、当該不確実度が当該変更された不確実性閾値未満である高信頼ぼけ領域及び当該不確実度が当該変更された不確実性閾値以上である補間ぼけ領域が再度抽出される。

画像処理システム１（画像処理装置３）を使用するユーザは直感的に不確実性閾値が有する意味を理解することは困難であるが、本実施形態に係る構成により不確実性閾値の変化（つまり、高信頼ぼけ領域及び補間ぼけ領域の変化）を可視化することで、ユーザは、所望の第２ぼけマップを得ることができるように当該不確実性閾値を調整することができる。

具体的には、例えばテーブルや壁面のようなテクスチャレスな被写体に対応する領域が高信頼ぼけ領域に含まれている場合には、ユーザは、不確実性閾値が高すぎると判断し、当該不確実性閾値を下げる閾値変更操作を行うことができる。一方、補間ぼけ領域の範囲が大きすぎる場合には、ユーザは、不確実性閾値を上げる閾値変更操作を行い、補完ぼけ領域の範囲を縮小することができる。これによれば、高信頼ぼけ領域及び補間ぼけ領域が適切な範囲となるようにユーザが調整することが可能であるため、より適切な第２ぼけマップを取得することが期待できる。

なお、本実施形態においては、図２９等において説明したようにスライダー７０２を用いた閾値変更操作が行われるものとして説明したが、当該閾値変更操作を行うためのユーザインタフェース（ＵＩ）は、本実施形態において説明したものに限られない。具体的には、例えばドロップダウンリストにおいて変更後の不確実性閾値を選択するような閾値変更操作が行われてもよいし、数値入力ボックスに変更後の不確実性閾値（数値）を直接入力するような閾値変更操作が行われても構わない。

（第４実施形態）
次に、第４実施形態について説明する。なお、本実施形態においては、前述した第１実施形態と同様の部分についての説明を省略し、当該第１実施形態と異なる部分について主に説明する。

図３１は、本実施形態に係る画像処理装置を含む画像処理システムの構成の一例を示す。図３１においては、前述した図１と同一の部分には同一参照符号を付してその詳しい説明を省略し、当該図１とは異なる部分について説明する。

図３１に示すように、本実施形態に係る画像処理装置３は、図１に示す各部３１～３６に加えてぼけ－距離変換部３９を含む点で、前述した第１実施形態とは異なる。

なお、本実施形態に係る画像処理装置３は前述した図２に示すハードウェア構成を有し、ぼけ－距離変換部３９の一部または全ては、ＣＰＵ３０１（つまり、画像処理装置３のコンピュータ）に画像処理プログラム３０３Ａを実行させること、すなわち、ソフトウェアによって実現されるものとする。また、ぼけ－距離変換部３９の一部または全ては、ＩＣ等のハードウェアによって実現されてもよいし、ソフトウェア及びハードウェアの組み合わせによって実現されてもよい。

ぼけ－距離変換部３９は、第２ぼけマップ（密なぼけマップ）を構成する画素の各々に割り当てられているぼけ値を距離（当該ぼけ値によって示されるぼけが生じている画像中の被写体までの距離）に変換する。

ぼけ－距離変換部３９によってぼけ値から変換された距離は、例えば距離マップ（密な距離マップ）として表示処理部３６によって表示される。

次に、図３２のフローチャートを参照して、本実施形態に係る画像処理装置３の処理手順の一例について説明する。

まず、前述した図１８に示すステップＳ１～Ｓ５の処理に相当するステップＳ５１～Ｓ５５の処理が実行される。

ここで、ステップＳ５５の処理が実行されることによって取得される第２ぼけマップは、前述したように被写体の立体構造を把握するための有用な情報であるが、当該被写体までの距離を把握することはできない。

そこで、ぼけ－距離変換部３９は、ステップＳ５５の処理が実行されることによって取得された第２ぼけマップを構成する各画素に割り当てられているぼけ値を被写体（撮像画像に含まれる被写体）までの距離に変換する（ステップＳ５６）。

なお、ぼけ値ｂと距離ｚとの対応関係は、以下の式（１）によって示される。

式（１）におけるｆは、撮像装置２（つまり、撮像画像を撮像した光学系）の焦点距離を表している。ｖは、撮像画像が撮像された際のレンズ２１とイメージセンサ２２との距離を表している。ｐは、撮像画像における画素ピッチを表している。Ｆは、絞り値（Ｆ値）を表している。

上記した式（１）によれば、上記した焦点距離ｆ、レンズ２１とイメージセンサ２２との距離ｖ、及び絞り値Ｆ（つまり、カメラパラメータ）と、画素ピッチｐとが事前に把握されていれば、第２ぼけマップを構成する各画素に割り当てられているぼけ値ｂを距離ｚに変換する（つまり、ぼけ値ｂから距離ｚを算出する）ことができる。

上記したステップＳ５６の処理が実行された場合、ぼけ－距離変換部３９は、画素毎の距離を取得することができる。

なお、上記したように距離は幾何情報（カメラパラメータ）を用いて算出可能であるが、例えば撮像装置２の光学系が複数のレンズで構成されるような場合であっても、光学系全体としての幾何情報を用いることにより、距離を算出することができる。

また、例えば市販のレンズを使用した撮像装置２においては、詳細な幾何情報を得る（幾何構造を計測する）ことが困難な場合がある。このような場合には、式（１）には示されていないぼけスケール補正係数を調整することで、ぼけと距離との対応関係を正しく反映（調整）することができる。このぼけスケール補正係数は、距離が既知な被写体または距離測定装置（レーザー測距装置等）によって距離が測定された被写体を含む画像（撮像装置２によって撮像された画像）に生じるぼけを示すぼけ値と当該距離との組み合わせ（対応関係）を複数利用することによって算出することができる。ぼけスケール補正係数は、誤差最小化等の最適化手法を用いて算出されてもよい。なお、上記したレンズ２１とイメージセンサ２２との距離ｖ（つまり、ピント位置）は基本的に固定されているが、上記したぼけスケール補正係数と同様に当該距離ｖを調整してもよい。

更に、幾何情報、ぼけ値及び距離の対応関係をニューラルネットワーク等に学習させることで、ぼけ値を距離に変換可能な統計モデルを構築しておいても構わない。

表示処理部３６は、ステップＳ５６においてぼけ値から変換された距離を表示する（ステップＳ５７）。ステップＳ５６においては画素毎にぼけ値が距離に変換されるため、ステップＳ５７においては、例えば第２ぼけマップ（密なぼけマップ）を構成する画素の各々に対してぼけ値から変換された距離を割り当てることによって生成される距離マップ（密な距離マップ）表示することができる。距離マップにおいては、例えば距離に応じた色が各画素において表現されるため、ユーザは直感的に被写体までの距離を把握することができる。

なお、ステップＳ５７においては、距離マップの形式ではなく、特定の被写体に対応する画素（つまり、当該被写体を包含する領域を構成する画素）に割り当てられているぼけ値から変換された距離が当該被写体までの距離として表示されてもよい。また、ステップＳ５６においてぼけ値から変換された距離は、例えば画像処理装置３（画像処理システム１）の外部に出力（送信）され、他の処理に利用されても構わない。

上記したように本実施形態においては、第２ぼけマップを構成する各画素に割り当てられているぼけ値を距離に変換する構成により、ユーザは、被写体の立体構造だけでなく、当該被写体までの距離を把握することが可能となる。

なお、本実施形態においては前述した第１実施形態で説明した画像処理装置３にぼけ－距離変換部３９が更に追加されるものとして説明したが、本実施形態は、前述した第２及び第３実施形態と組み合わせて実現されてもよい。すなわち、前述した第２及び第３実施形態で説明した画像処理装置３にぼけ－距離変換部３９が追加される構成とすることも可能である。

（応用例）
以下、例えば前述した第４実施形態のように被写体までの距離を取得（測定）することができる画像処理システム１が適用される応用例について説明する。

ここでは、便宜的に、画像処理システム１が図３１に示す撮像装置２に相当する撮像部、画像処理装置３に相当する画像処理部を備える１つの装置（以下、測距装置と表記）として実現されている場合について説明する。以下の図面においては、測距装置１が撮像部２及び画像処理部３を備えるものとして説明する。

なお、画像処理システム１が適用される環境によっては、前述した第１～第３実施形態において説明した画像処理システム（測距装置）１が適用されても構わない。

図３３は、測距装置１が組み込まれている移動体８００の機能構成の一例を示す。移動体８００は、例えば自動運転機能を有する自動車、無人航空機、自立型の移動ロボット等として実現され得る。無人航空機は、人が乗ることができない飛行機、回転翼航空機、滑空機、飛行船であって、遠隔操作または自動操縦により飛行させることができるものであり、例えばドローン（マルチコプター）、ラジコン機、農薬散布用ヘリコプター等を含む。自立型の移動ロボットは、無人搬送車（ＡＧＶ：Automated Guided Vehicle）のような移動ロボット、床を掃除するための掃除ロボット、来場者に各種案内を行うコミュニケーションロボット等を含む。移動体８００には、ロボット本体が移動するものだけでなく、ロボットアームのような、ロボットの一部分を移動または回転させるような駆動機構を有する産業用ロボット等も含まれる。

図３３に示すように、移動体８００は、例えば測距装置１と制御信号生成部８０１と駆動機構８０２とを有する。測距装置１は、例えば撮像部２が移動体８００またはその一部分の進行方向の被写体を撮像することができるように設置される。

図３４に示すように、移動体８００が自動車８００Ａである場合、測距装置１は、前方を撮像するいわゆるフロントカメラとして設置される。なお、測距装置１は、バック時に後方を撮像するいわゆるリアカメラとして設置されてもよい。また、フロントカメラ及びリアカメラとして複数の測距装置１が設置されてもよい。更に、測距装置１は、いわゆるドライブレコーダーとしての機能を兼ねて設置されるものであってもよい。すなわち、測距装置１は録画機器であってもよい。

図３５は、移動体８００がドローン８００Ｂである場合の例を示す。ドローン８００Ｂは、駆動機構８０２に相当するドローン本体８１１と４つのプロペラ部８１２～８１５とを備える。各プロペラ部８１２～８１５は、プロペラとモータとを有する。モータの駆動がプロペラに伝達されることによって、当該プロペラが回転し、その回転による揚力によってドローン８００Ｂが浮上する。ドローン本体８１１の例えば下部には、測距装置１が搭載されている。

また、図３６は、移動体８００が自立型の移動ロボット８００Ｃである場合の例を示す。移動ロボット８００Ｃの下部には、駆動機構８０２に相当する、モータや車輪等を含む動力部８２１が設けられている。動力部８２１は、モータの回転数や車輪の向きを制御する。移動ロボット８００Ｃは、モータの駆動が伝達されることによって、路面または床面に設置する車輪が回転し、当該車輪の向きが制御されることにより任意の方向に移動することができる。図３６に示す例では、測距装置１は、例えば撮像部２が人型の移動ロボット８００Ｃの前方を撮像するように、当該移動ロボット８００Ｃの頭部に設置されている。なお、測距装置１は、移動ロボット８００Ｃの後方や左右を撮像するように設置されてもよいし、複数の方位を撮像するように複数設置されてもよい。また、センサ等を搭載するためのスペースが少ない小型ロボットに測距装置１を設けて、自己位置、姿勢及び被写体の位置を推定することにより、デッドレコニングを行うこともできる。

なお、図３７に示すように移動体８００がロボットアーム８００Ｄであり、当該ロボットアーム８００Ｄの一部分の移動及び回転を制御する場合には、測距装置１は、当該ロボットアーム８００Ｄの先端等に設置されてもよい。この場合、測距装置１に備えられる撮像部２によってロボットアーム８００Ｄで把持される物体が撮像され、画像処理部３は、ロボットアーム８００Ｄが把持しようとする物体までの距離を推定することができる。これにより、ロボットアーム８００Ｄにおいて、物体の正確な把持動作を行うことができる。

制御信号生成部８０１は、測距装置１（画像処理部３）から出力される被写体までの距離を示す距離情報に基づいて駆動機構８０２を制御するための制御信号を出力する。駆動機構８０２は、制御信号生成部８０１から出力される制御信号により、移動体８００または当該移動体８００の一部分を駆動する。駆動機構８０２は、例えば移動体８００または当該移動体８００の一部分の移動、回転、加速、減速、推力（揚力）の加減、進行方向の転換、通常運転モードと自動運転モード（衝突回避モード）との切り替え及びエアバッグ等の安全装置の作動のうちの少なくとも１つを行う。駆動機構８０２は、例えば被写体までの距離が閾値未満である場合に、移動、回転、加速、推力（揚力）の加減、物体に近寄る方向への方向転換及び自動運転モード（衝突回避モード）から通常運転モードへの切り替えのうちの少なくとも１つを行ってもよい。

なお、図３４に示す自動車８００Ａの駆動機構８０２は、例えばタイヤである。図３５に示すドローン８００Ｂの駆動機構８０２は、例えばプロペラである。図３６に示す移動ロボット８００Ｃの駆動機構８０２は、例えば脚部である。図３７に示すロボットアーム８００Ｄの駆動機構８０２は、例えば測距装置１が設けられた先端を支持する支持部である。

移動体８００は、測距装置１から出力された被写体までの距離に関する情報（距離情報）が入力されるスピーカやディスプレイを更に備えていてもよい。このスピーカやディスプレイは、測距装置１と有線または無線で接続されており、被写体までの距離に関する音声または画像を出力するように構成されている。更に、移動体８００は、測距装置１から出力された被写体までの距離に関する情報が入力され、例えば被写体までの距離に応じて点灯及び消灯することができる発光部を有していてもよい。

また、例えば移動体８００がドローン８００Ｂである場合においては、上空から、地図（物体の３次元形状）の作成、ビルや地形の構造調査、ひび割れや電線破断等の点検等が行われる際に、撮像部２が対象を撮像した画像を取得し、被写体までの距離が閾値以上であるか否かを判定する。制御信号生成部８０１は、この判定結果に基づいて、点検対象との距離が一定になるようにドローン８００Ｂの推力を制御するための制御信号を生成する。ここで、推力には揚力も含まれるものとする。駆動機構８０２がこの制御信号に基づいてドローン８００Ｂを動作させることにより、当該ドローン８００Ｂを点検対象に対して平行して飛行させることができる。移動体８００が監視用のドローンである場合、監視対象の物体との距離を一定に保つようにドローンの推力を制御するための制御信号を生成してもよい。

なお、移動体８００（例えば、ドローン８００Ｂ）が各種インフラストラクチャー（以下、単にインフラと表記）の保守点検等に用いられる場合には、当該インフラにおけるひび割れ箇所または錆が発生している箇所等を含む補修が必要な箇所（以下、補修箇所と表記）の画像を撮像部２で撮像することによって、当該補修箇所までの距離を得ることができる。この場合、補修箇所までの距離を利用することによって画像から当該補修箇所のサイズを算出することが可能である。これによれば、例えばインフラ全体を表すマップ上に補修箇所を表示することによって、当該インフラの保守点検者に補修箇所を認識させることができる。また、補修箇所のサイズを事前に保守点検者に伝えておくことは、円滑な補修作業を実施するためにも有用である。

また、ドローン８００Ｂの飛行時に、撮像部２が地面方向を撮像した画像を取得し、地面との距離が閾値以上であるか否かを判定する。制御信号生成部８０１は、この判定結果に基づいて地面からの高さが指定された高さになるようにドローン８００Ｂの推力を制御するための制御信号を生成する。駆動機構８０２がこの制御信号に基づいてドローン８００Ｂを動作させることにより、当該ドローン８００Ｂを指定された高さで飛行させることができる。ドローン８００Ｂが農薬散布用ドローンであれば、このようにドローン８００Ｂの地面からの高さを一定に保つことで、農薬を均等に散布しやすくなる。

また、移動体８００が自動車８００Ａまたはドローン８００Ｂである場合、自動車８００Ａの連隊走行やドローン８００Ｂの連携飛行時に、撮像部２が前方の自動車や周囲のドローンを撮像し、当該自動車やドローンまでの距離が閾値以上であるか否かを判定する。制御信号生成部８０１は、この判定結果に基づいて、前方の自動車や周囲のドローンとの距離が一定になるように、自動車８００Ａの速度やドローン８００Ｂの推力を制御するための制御信号を生成する。駆動機構８０２がこの制御信号に基づいて自動車８００Ａやドローン８００Ｂを動作させることにより、自動車８００Ａの連隊走行やドローン８００Ｂの連携飛行を容易に行うことができる。

更に、移動体８００が自動車８００Ａである場合、自動車８００Ａのドライバーが閾値を設定（変更）することができるように、ユーザインタフェースを介してドライバーの指示を受理可能な構成としてもよい。これにより、ドライバーが好む車間距離で自動車８００Ａを走行させるようなことができる。また、前方の自動車との安全な車間距離を保つために、自動車８００Ａの速度に応じて閾値を変化させてもよい。安全な車間距離は、自動車８００Ａの速度によって異なる。そこで、自動車８００Ａの速度が速いほど閾値を大きく（長く）設定することができる。

また、移動体８００が自動車８００Ａである場合には、進行方向の所定の距離を閾値に設定しておき、当該閾値の手前に物体が表れた際にブレーキを作動させるまたはエアバッグ等の安全装置を作動させる制御信号を生成するようにしてもよい。この場合、自動ブレーキやエアバッグ等の安全装置が駆動機構８０２に設けられる。

以上述べた少なくとも１つの実施形態によれば、被写体の立体構造を把握することが可能な画像処理装置、方法及びプログラムを提供することができる。

また、各実施形態に記載された様々な機能の各々は、回路（処理回路）によって実現されてもよい。処理回路の例には、中央処理装置（ＣＰＵ）のような、プログラムされたプロセッサが含まれる。このプロセッサは、メモリに格納されたコンピュータプログラム（命令群）を実行することによって、記載された機能それぞれを実行する。このプロセッサは、電気回路を含むマイクロプロセッサであってもよい。処理回路の例には、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、マイクロコントローラ、コントローラ、他の電気回路部品も含まれる。本実施形態に記載されたＣＰＵ以外の他のコンポーネントの各々もまた処理回路によって実現されてもよい。

また、各実施形態の各種処理はコンピュータプログラムによって実現することができるため、このコンピュータプログラムを格納したコンピュータ読み取り可能な記憶媒体を通じてこのコンピュータプログラムをコンピュータにインストールして実行するだけで、各実施形態と同様の効果を容易に実現することができる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１…画像処理システム、２…撮像装置（撮像部）、３…画像処理装置（画像処理部）、２１…レンズ、２２…イメージセンサ、３１…第１格納部、３２…画像取得部、３３…マップ生成部、３４…補間処理部、３５…第２格納部、３６…表示処理部、３７…領域抽出部、３８…閾値変更部、３９…ぼけ－距離変換部、２２１…第１センサ、２２２…第２センサ、２２３…第３センサ、３０１…ＣＰＵ、３０２…不揮発性メモリ、３０３…ＲＡＭ、３０３Ａ…画像処理プログラム、３０４…通信デバイス、３０５…入力デバイス、３０６…表示デバイス、３０７…バス。

Claims (8)

1. 第１光学系の収差の影響を受けた第１画像に生じる、当該第１画像中の被写体までの距離に応じて非線形に変化するぼけを学習することによって生成された第１統計モデルを格納する第１格納手段と、
   予め用意されている疎なぼけマップ及び当該疎なぼけマップに対応する密なぼけマップを学習することによって生成される第２統計モデルを格納する第２格納手段と、
   第２光学系の収差の影響を受けた第２画像を取得する第１取得手段と、
   前記取得された第２画像を前記第１統計モデルに入力することによって当該第１統計モデルから出力される当該第２画像に生じるぼけを示すぼけ値及び当該ぼけ値に対する不確実性の度合いを示す不確実度を取得する第２取得手段と、
   前記取得されたぼけ値及び不確実度に基づいて第１ぼけマップを生成する生成手段と、
   前記第１ぼけマップに対してぼけ値を補間した第２ぼけマップを取得する補間手段と
   を具備し、
   前記第１統計モデルは、当該第１統計モデルに入力される第２画像を構成する少なくとも１つの画素を含む所定の領域毎にぼけ値及び不確実度を出力するように生成されており、
   前記第１ぼけマップは、前記不確実度が閾値未満であるぼけ値を当該ぼけ値が出力された画素に割り当てた疎なぼけマップに相当し、
   前記第２ぼけマップは、前記第１ぼけマップの前記閾値以上である不確実度が出力された画素にぼけ値を補間した密なぼけマップに相当し、
   前記補間手段は、前記第１ぼけマップを前記第２統計モデルに入力することによって当該第２統計モデルから出力される第２ぼけマップを取得し、
   前記第２統計モデルによって学習される疎なぼけマップは、当該第２統計モデルによって学習される密なぼけマップの一部の領域をマスクすることによって生成され、
   前記第２統計モデルによって学習される密なぼけマップは、被写体までの距離を測定可能な距離測定装置によって測定された距離から変換されたぼけ値に基づいて生成される
   画像処理装置。
2. 前記第２ぼけマップにおいて各画素に割り当てられているぼけ値を前記第２画像に含まれる被写体までの距離に変換する変換手段を更に具備する請求項１記載の画像処理装置。
3. 前記第２ぼけマップを表示する表示処理手段を更に具備する請求項１記載の画像処理装置。
4. 第１光学系の収差の影響を受けた第１画像に生じる、当該第１画像中の被写体までの距離に応じて非線形に変化するぼけを学習することによって生成された第１統計モデルを格納する第１格納手段と、
   第２光学系の収差の影響を受けた第２画像を取得する第１取得手段と、
   前記取得された第２画像を前記第１統計モデルに入力することによって当該第１統計モデルから出力される当該第２画像に生じるぼけを示すぼけ値及び当該ぼけ値に対する不確実性の度合いを示す不確実度を取得する第２取得手段と、
   前記取得されたぼけ値及び不確実度に基づいて第１ぼけマップを生成する生成手段と、
   前記第１ぼけマップに対してぼけ値を補間した第２ぼけマップを取得する補間手段と、
   前記第２ぼけマップを表示する表示処理手段と
   を具備し、
   前記取得された不確実度が閾値未満である第１領域及び前記不確実度が前記閾値以上である第２領域を抽出する抽出手段を更に具備し、
   前記表示処理手段は、前記第２ぼけマップ上で前記第１及び第２領域を表示する
   画像処理装置。
5. ユーザによる操作に応じて前記閾値を変更する変更手段を更に具備し、
   前記生成手段は、前記不確実度が前記変更された閾値未満であるぼけ値に基づいて第１ぼけマップを再度生成し、
   前記抽出手段は、前記取得された不確実度が前記変更された閾値未満である第１領域及び前記不確実度が当該閾値以上である第２領域を再度抽出する
   請求項４記載の画像処理装置。
6. 前記第１統計モデルは、ニューラルネットワークまたはランダムフォレストである請求項１～５のいずれか一項に記載の画像処理装置。
7. 第１光学系の収差の影響を受けた第１画像に生じる、当該第１画像中の被写体までの距離に応じて非線形に変化するぼけを学習することによって生成された第１統計モデルを格納する第１格納手段と、予め用意されている疎なぼけマップ及び当該疎なぼけマップに対応する密なぼけマップを学習することによって生成される第２統計モデルを格納する第２格納手段とを有する画像処理装置が実行する方法であって、
   第２光学系の収差の影響を受けた第２画像を取得するステップと、
   前記取得された第２画像を前記第１統計モデルに入力することによって当該第１統計モデルから出力される当該第２画像に生じるぼけを示すぼけ値及び当該ぼけ値に対する不確実性の度合いを示す不確実度を取得するステップと、
   前記取得されたぼけ値及び不確実度に基づいて第１ぼけマップを生成するステップと、
   前記第１ぼけマップに対してぼけ値を補間した第２ぼけマップを取得するステップと
   を具備し、
   前記第１統計モデルは、当該第１統計モデルに入力される第２画像を構成する少なくとも１つの画素を含む所定の領域毎にぼけ値及び不確実度を出力するように生成されており、
   前記第１ぼけマップは、前記不確実度が閾値未満であるぼけ値を当該ぼけ値が出力された画素に割り当てた疎なぼけマップに相当し、
   前記第２ぼけマップは、前記第１ぼけマップの前記閾値以上である不確実度が出力された画素にぼけ値を補間した密なぼけマップに相当し、
   前記第２ぼけマップを取得するステップは、前記第１ぼけマップを前記第２統計モデルに入力することによって当該第２統計モデルから出力される第２ぼけマップを取得するステップを含み、
   前記第２統計モデルによって学習される疎なぼけマップは、当該第２統計モデルによって学習される密なぼけマップの一部の領域をマスクすることによって生成され、
   前記第２統計モデルによって学習される密なぼけマップは、被写体までの距離を測定可能な距離測定装置によって測定された距離から変換されたぼけ値に基づいて生成される
   方法。
8. 第１光学系の収差の影響を受けた第１画像に生じる、当該第１画像中の被写体までの距離に応じて非線形に変化するぼけを学習することによって生成された第１統計モデルを格納する第１格納手段と、予め用意されている疎なぼけマップ及び当該疎なぼけマップに対応する密なぼけマップを学習することによって生成される第２統計モデルを格納する第２格納手段とを有する画像処理装置のコンピュータによって実行されるプログラムであって、
   前記コンピュータに、
   第２光学系の収差の影響を受けた第２画像を取得するステップと、
   前記取得された第２画像を前記第１統計モデルに入力することによって当該第１統計モデルから出力される当該第２画像に生じるぼけを示すぼけ値及び当該ぼけ値に対する不確実性の度合いを示す不確実度を取得するステップと、
   前記取得されたぼけ値及び不確実度に基づいて第１ぼけマップを生成するステップと、
   前記第１ぼけマップに対してぼけ値を補間した第２ぼけマップを取得するステップと
   を実行させ、
   前記第１統計モデルは、当該第１統計モデルに入力される第２画像を構成する少なくとも１つの画素を含む所定の領域毎にぼけ値及び不確実度を出力するように生成されており、
   前記第１ぼけマップは、前記不確実度が閾値未満であるぼけ値を当該ぼけ値が出力された画素に割り当てた疎なぼけマップに相当し、
   前記第２ぼけマップは、前記第１ぼけマップの前記閾値以上である不確実度が出力された画素にぼけ値を補間した密なぼけマップに相当し、
   前記第２ぼけマップを取得するステップは、前記第１ぼけマップを前記第２統計モデルに入力することによって当該第２統計モデルから出力される第２ぼけマップを取得するステップを含み、
   前記第２統計モデルによって学習される疎なぼけマップは、当該第２統計モデルによって学習される密なぼけマップの一部の領域をマスクすることによって生成され、
   前記第２統計モデルによって学習される密なぼけマップは、被写体までの距離を測定可能な距離測定装置によって測定された距離から変換されたぼけ値に基づいて生成される
   プログラム。

Images