JP7467368B2 - 画像処理装置、測距装置、方法及びプログラム - Google Patents

Description

本発明の実施形態は、画像処理装置、測距装置、方法及びプログラムに関する。

一般的に、被写体までの距離を取得するために、２つの撮像装置（カメラ）やステレオカメラ（複眼のカメラ）で撮像された画像を用いることが知られていたが、近年では、１つの撮像装置（単眼のカメラ）で撮像された画像を用いて被写体までの距離を取得する技術が開発されている。

しかしながら、１つの撮像装置で撮像された画像から取得される距離の精度及び当該画像から距離を取得する際の環境ロバスト性を向上させる必要がある。

特開２０２０－１４８４８３号公報

そこで、本発明が解決しようとする課題は、画像から取得される距離の精度及び当該画像から距離を取得する際の環境ロバスト性を向上させることが可能な画像処理装置、測距装置、方法及びプログラムを提供することにある。

実施形態に係る画像処理装置は、格納手段と、画像取得手段と、補正手段と、距離取得手段とを具備する。前記格納手段は、光学系の収差の影響を受けた第１画像に生じる、当該第１画像中の被写体までの距離に応じて非線形に変化するぼけを学習することによって生成された統計モデルを格納する。前記画像取得手段は、前記光学系の収差の影響を受けた第２画像を取得する。前記補正手段は、前記第２画像において表現されている色の数を低減する色補正を当該第２画像に対して行う。前記距離取得手段は、前記第２画像に対して色補正が行われた後の第３画像を前記統計モデルに入力し、当該第３画像中の被写体までの距離を示す距離情報を取得する。前記第２画像において表現されている色は、周囲の環境の影響または前記第２画像を撮像した撮像装置が備えるイメージセンサの特性に応じて変化する色を含む。前記補正手段は、前記色補正として、前記第２画像に含まれる予め定められたサイズの第１領域単位で前記第２画像に対してホワイトバランス補正を行う。前記ホワイトバランス補正の単位である第１領域は、前記収差と前記被写体までの距離との関係性に影響を与えない領域である。

第１実施形態に係る画像処理装置を含む測距システムの構成の一例を示す図。 画像処理装置のシステム構成の一例を示す図。 測距システムの動作の概要を説明するための図。 単レンズを用いた場合における被写体までの距離と色収差により画像に生じるぼけとの関係性を示す図。 色消しレンズを用いた場合における被写体までの距離と色収差により画像に生じるぼけとの関係性を示す図。 撮像装置の光学系に備えられている絞り機構の開口部の大きさとＰＳＦ形状との関係性を示す図。 各チャンネルの画像に生じるＰＳＦ形状の一例を示す図。 各チャンネルの画像に生じるＰＳＦ形状の別の例を示す図。 画像中の各位置に生じるＰＳＦ形状の一例を示す図。 レンズの種別に応じたＰＳＦ形状の位置依存性について具体的に説明するための図。 ＰＳＦ形状の非線形性と絞り機構の開口部の形状との関係を表す図。 距離情報を取得する動作の概要を示す図。 撮像画像から距離を推定する第１方式を説明するための図。 第１方式において統計モデルに入力される情報の一例を示す図。 撮像画像から距離を推定する第２方式を説明するための図。 第２方式において統計モデルに入力される情報の一例を示す図。 撮像画像から距離を推定する第３方式を説明するための図。 撮像画像から推定される被写体までの距離について具体的に説明するための図。 撮像画像から距離情報を取得する際の画像処理措置の処理手順の一例を示すフローチャート。 プレビュー画面の一例を示す図。 測距領域選定ボタンが押下された場合のプレビュー画面の一例を示す図。 環境に依存したＰＳＦについて説明するための図。 ホワイトバランス補正の概要について説明するための図。 撮像画像に含まれる画素に対して算出される補正係数について説明するための図。 統計モデルによって算出される不確実度について説明するための図。 信頼度確認モードが設定された場合のプレビュー画面の一例を示す図。 統計モデルの学習処理の一例を示す図。 統計モデルを生成する処理の処理手順の一例を示すフローチャート。 第２実施形態に係る画像処理装置を含む測距システムの構成の一例を示す図。 撮像画像から距離情報を取得する際の画像処理装置の処理手順の一例について説明するための図。 測距装置を含む移動体の機能構成の一例を示す図。 移動体が自動車である場合について説明するための図。 移動体がドローンである場合について説明するための図。 移動体が自立型の移動ロボットである場合について説明するための図。 移動体がロボットアームである場合について説明するための図。

以下、図面を参照して、各実施形態について説明する。
（第１実施形態）
まず、第１実施形態について説明する。図１は、本実施形態に係る画像処理装置を含む測距システムの構成の一例を示す。図１に示す測距システム１は、画像を撮像し、当該撮像された画像を用いて撮像地点から被写体までの距離を取得（測定）するために使用される。

図１に示すように、測距システム１は、撮像装置２及び画像処理装置３を備える。本実施形態においては、測距システム１が別個の装置である撮像装置２及び画像処理装置３を備えているものとして説明するが、当該測距システム１は、撮像装置２が撮像部として機能し、画像処理装置３が画像処理部として機能する１つの装置（以下、測距装置と表記）として実現されていてもよい。測距システム１の場合には、例えばデジタルカメラ等を撮像装置２として用い、パーソナルコンピュータ、スマートフォンまたはタブレットコンピュータ等を画像処理装置３として用いることができる。この場合、画像処理装置３は、例えばクラウドコンピューティングサービスを実行するサーバ装置として動作するものであってもよい。一方、測距装置１の場合には、デジタルカメラ、スマートフォン及びタブレットコンピュータ等を当該測距装置１として用いることができる。

撮像装置２は、各種画像を撮像するために用いられる。撮像装置２は、レンズ２１とイメージセンサ２２とを備える。レンズ２１及びイメージセンサ２２は、撮像装置２の光学系（単眼カメラ）に相当する。また、本実施形態において、レンズ２１は、当該レンズ２１の位置を調整することによりピント位置を制御するための機構及びレンズ駆動回路等と、撮像装置２の光学系に取り込まれる光の量（入光量）を調節するための開口部を有する絞り機構及び絞り制御回路等と、当該レンズ２１に関する情報（以下、レンズ情報と表記）を予め保持しているメモリ等（図示せず）が搭載される制御回路等とともにレンズユニットを構成する。

また、本実施形態において、撮像装置２は、レンズ２１（レンズユニット）を手動で他のレンズに交換可能に構成されていてもよい。この場合、ユーザは、例えば標準レンズ、望遠レンズ及び広角レンズ等の複数の種別のレンズのうちの１つを撮像装置２に装着して用いることができる。なお、レンズを交換した場合には、焦点距離やＦ値（絞り値）が変わり、撮像装置２において用いられるレンズに応じた画像を撮像することができる。

本実施形態において、焦点距離とは、レンズから、当該レンズに対して平行に光が入射したときに当該光が収束する位置までの距離をいう。また、Ｆ値とは、絞り機構に応じて撮像装置２に取り込まれる光の量を数値化したものである。なお、Ｆ値は、値が小さくなるにつれて、撮像装置２に取り込まれる光の量が多くなる（つまり、開口部の大きさが大きくなる）ことを示す。

レンズ２１には、被写体で反射した光が入射する。レンズ２１に入射した光は、レンズ２１を透過する。レンズ２１を透過した光は、イメージセンサ２２に到達し、当該イメージセンサ２２によって受光（検出）される。イメージセンサ２２は、受光した光を電気信号に変換（光電変換）することによって、複数の画素から構成される画像を生成する。

なお、イメージセンサ２２は、例えばＣＣＤ（Charge Coupled Device）イメージセンサ及びＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等により実現される。イメージセンサ２２は、例えば赤色（Ｒ）の波長帯域の光を検出する第１センサ（Ｒセンサ）２２１、緑色（Ｇ）の波長帯域の光を検出する第２センサ（Ｇセンサ）２２２及び青色（Ｂ）の波長帯域の光を検出するセンサ（Ｂセンサ）２２３を含む。イメージセンサ２２は、第１～第３センサ２２１～２２３により対応する波長帯域の光を受光して、各波長帯域（色成分）に対応するセンサ画像（Ｒ画像、Ｇ画像及びＢ画像）を生成することができる。すなわち、撮像装置２によって撮像される画像はカラー画像（ＲＧＢ画像）であり、当該画像にはＲ画像、Ｇ画像及びＢ画像が含まれる。

なお、本実施形態においてはイメージセンサ２２が第１～第３センサ２２１～２２３を含むものとして説明するが、イメージセンサ２２は、第１～第３センサ２２１～２２３のうちの少なくとも１つを含むように構成されていればよい。また、イメージセンサ２２は、第１～第３センサ２２１～２２３に代えて、例えばモノクロ画像を生成するためのセンサを含むように構成されていてもよい。

本実施形態においてレンズ２１を透過した光に基づいて生成された画像は、光学系（に含まれるレンズ２１）の収差の影響を受けた画像であり、当該収差により生じるぼけを含む。なお、画像に生じるぼけの詳細については後述する。

画像処理装置３は、機能構成として、統計モデル格納部３１、表示処理部３２、測距領域選定部３３、画像取得部３４、画像補正部３５、距離取得部３６、信頼度確認モード設定部３７及び出力部３８を含む。

統計モデル格納部３１には、被写体までの距離を撮像装置２によって撮像された画像から取得するために用いられる統計モデルが格納されている。統計モデル格納部３１に格納されている統計モデルは、上記した光学系の収差の影響を受けた画像に生じる、当該画像中の被写体までの距離に応じて非線形に変化するぼけを学習することによって生成されている。統計モデル格納部３１には、複数の統計モデルが格納されていてもよい。

なお、統計モデルは、例えばニューラルネットワークまたはランダムフォレスト等の既知の様々な機械学習のアルゴリズムを適用して生成することができるものとする。また、本実施形態において適用可能なニューラルネットワークには、例えば畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）、全結合ニューラルネットワーク及び再帰型ニューラルネットワーク等が含まれていてもよい。

表示処理部３２は、プレビュー表示として、上記した撮像装置２によって連続的に撮像された複数の画像を順次表示する。

測距領域選定部３３は、表示処理部３２によって表示されている画像（つまり、撮像装置２によって撮像された画像）中の領域を選定する。なお、本実施形態においては、測距領域選定部３３によって選定された領域に含まれる被写体までの距離（情報）が取得される。また、測距領域選定部３３によって選定される領域は、例えばユーザの操作等に基づいて決定される。

すなわち、本実施形態において上記したプレビュー表示とは、距離を取得する対象となる被写体等をユーザが確認するために事前に画像を表示することをいう。

画像取得部３４は、表示処理部３２によって表示されている画像中の領域が測距領域選定部３３によって選定された場合に、当該画像を取得する。

画像補正部３５は、画像取得部３４によって取得された画像に対して色補正を行う。この場合、画像補正部３５は、画像取得部３４によって取得された画像に対して、当該画像において表現されている色の数を低減する（カラーバリエーションを減らすことができる）補正を行うものとする。

距離取得部３６は、画像補正部３５によって色補正が行われた画像（測距領域選定部３３によって選定された領域）中の被写体までの距離を示す距離情報を取得する。この場合、距離取得部３６は、後述するように画像補正部３５によって色補正が行われた後の画像を統計モデル格納部３１に格納されている統計モデルに入力することによって距離情報を取得する。

信頼度確認モード設定部３７は、ユーザの操作に基づいて、信頼度確認モードを設定する。信頼度確認モードとは、被写体までの距離に対する信頼度（不確実性の度合い）をユーザが確認するためのモードである。信頼度確認モード設定部３７によって信頼度確認モードが設定された場合、ユーザは、例えば上記したプレビュー画面において、距離取得部３６によって取得された距離情報によって示される距離に対する信頼度を確認することができる。

出力部３８は、距離取得部３６によって取得された距離情報を取得する。なお、距離情報は、例えば表示処理部３２を介して表示されてもよいし、画像処理装置３の外部に出力されても構わない。

図２は、図１に示す画像処理装置３のシステム構成の一例を示す。図２に示すように、画像処理装置３は、ＣＰＵ３０１、不揮発性メモリ３０２、ＲＡＭ３０３、通信デバイス３０４、入力デバイス３０５及び表示デバイス３０６等を備える。また、画像処理装置３は、ＣＰＵ３０１、不揮発性メモリ３０２、ＲＡＭ３０３、通信デバイス３０４、入力デバイス３０５及び表示デバイス３０６を相互に接続するバス３０７を有する。

ＣＰＵ３０１は、画像処理装置３内の様々なコンポーネントの動作を制御するためのプロセッサである。ＣＰＵ３０１は、単一のプロセッサであってもよいし、複数のプロセッサで構成されていてもよい。ＣＰＵ３０１は、不揮発性メモリ３０２からＲＡＭ３０３にロードされる様々なプログラムを実行する。これらプログラムは、オペレーティングシステム（ＯＳ）や様々なアプリケーションプログラムを含む。アプリケーションプログラムは、撮像装置２によって撮像された画像を用いて当該撮像装置２から当該画像中の被写体までの距離を取得するための画像処理プログラム３０３Ａを含む。

不揮発性メモリ３０２は、補助記憶装置として用いられる記憶媒体である。ＲＡＭ３０３は、主記憶装置として用いられる記憶媒体である。図２においては不揮発性メモリ３０２及びＲＡＭ３０３のみが示されているが、画像処理装置３は、例えばＨＤＤ（Hard Disk Drive）及びＳＳＤ（Solid State Drive）等の他の記憶装置を備えていてもよい。

なお、本実施形態において、図１に示す統計モデル格納部３１は、例えば不揮発性メモリ３０２または他の記憶装置等によって実現される。

また、本実施形態において、図１に示す表示処理部３２、測距領域選定部３３、画像取得部３４、画像補正部３５、距離取得部３６、信頼度確認モード設定部３７及び出力部３８の一部または全ては、ＣＰＵ３０１（つまり、画像処理装置３のコンピュータ）に画像処理プログラム３０３Ａを実行させること、すなわち、ソフトウェアによって実現されるものとする。この画像処理プログラム３０３Ａは、コンピュータ読み取り可能な記憶媒体に格納して頒布されてもよいし、ネットワークを通じて画像処理装置３にダウンロードされてもよい。なお、これらの各部３２～３８の一部または全ては、ＩＣ（Integrated Circuit）等のハードウェアによって実現されてもよいし、ソフトウェア及びハードウェアの組み合わせによって実現されてもよい。

通信デバイス３０４は、有線通信または無線通信を実行するように構成されたデバイスである。通信デバイス３０４は、ネットワークを介した外部機器との通信等を実行する。この外部機器には、撮像装置２が含まれる。この場合、画像処理装置３は、通信デバイス３０４を介して、撮像装置２から画像を受信する。

入力デバイス３０５は、例えばマウスまたはキーボード等を含む。表示デバイス３０６は、例えば液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）等を含む。なお、入力デバイス３０５及び表示デバイス３０６は、例えばタッチスクリーンディスプレイのように一体として構成されていてもよい。

次に、図３を参照して、本実施形態における測距システム１の動作の概要について説明する。

測距システム１において、撮像装置２（イメージセンサ２２）は、上記したように光学系（レンズ２１）の収差の影響を受けた画像を生成する。

画像処理装置３は、撮像装置２によって生成された画像を取得し、当該画像を統計モデル格納部３１に格納されている統計モデルに入力する。なお、図３においては示されていないが、本実施形態において統計モデルに入力される画像は、色補正が行われた後の画像である。画像に対して行われる色補正の詳細については後述する。

画像処理装置３（距離取得部３６）は、画像が入力された統計モデルから出力される当該画像中の被写体までの距離を示す距離情報を取得する。

このように本実施形態においては、統計モデルを用いて、撮像装置２によって撮像された画像から距離情報を取得することができる。

ここで、本実施形態において、撮像装置２によって撮像された画像には、上記したように当該撮像装置２の光学系の収差（レンズ収差）に起因するぼけが生じている。

以下、撮像装置２によって撮像された画像に生じるぼけについて説明する。まず、撮像装置２の光学系の収差に起因するぼけのうち、色収差について説明する。

図４は、被写体までの距離と色収差により画像に生じるぼけとの関係性について示している。以下の説明では、撮像装置２においてピントが合う位置をピント位置と称する。

収差のあるレンズ２１を透過する際の光の屈折率は波長帯域毎に異なるため、例えば被写体の位置がピント位置からずれているような場合には、各波長帯域の光が１点に集まらず異なった点に到達する。これが画像上で色収差（ぼけ）として現れる。

図４の上段は、撮像装置２（イメージセンサ２２）に対する被写体の位置がピント位置よりも遠い（つまり、被写体の位置がピント位置よりも奥にある）場合を示している。

この場合、赤色の波長帯域の光４０１に関しては、イメージセンサ２２（第１センサ２２１）において比較的小さいぼけｂ_Ｒを含む画像が生成される。一方、青色の波長帯域の光４０２に関しては、イメージセンサ２２（第３センサ２２３）において比較的大きいぼけｂ_Ｂを含む画像が生成される。なお、緑色の波長帯域の光４０３に関しては、ぼけｂ_Ｒとぼけｂ_Ｂとの中間の大きさのぼけを含む画像が生成される。したがって、このような被写体の位置がピント位置よりも遠い状態で撮像された画像においては、当該画像中の被写体の外側に青色のぼけが観察される。

一方、図４の下段は、撮像装置２（イメージセンサ２２）に対する被写体の位置がピント位置よりも近い（つまり、被写体の位置がピント位置よりも手前にある）場合を示している。

この場合、赤色の波長帯域の光４０１に関しては、イメージセンサ２２（第１センサ２２１）において比較的大きいぼけｂ_Ｒを含む画像が生成される。一方、青色の波長帯域の光４０２に関しては、イメージセンサ２２（第３センサ２２３）において比較的小さいぼけｂ_Ｂを含む画像が生成される。なお、緑色の波長帯域の光４０３に関しては、ぼけｂ_Ｒとぼけｂ_Ｂとの中間の大きさのぼけを含む画像が生成される。したがって、このような被写体の位置がピント位置よりも近い状態で撮像された画像においては、当該画像中の被写体の外側に赤色のぼけが観察される。

ここで、図４はレンズ２１が単純な単レンズの例を示しているが、一般的に、撮像装置２においては、例えば色収差補正が施されたレンズ（以下、色消しレンズと表記）が用いられる場合がある。なお、色消しレンズとは、低分散の凸レンズと高分散の凹レンズを組み合わせたレンズであり、色収差を補正するレンズとして最もレンズ枚数が少ないレンズである。

図５は、レンズ２１として上記した色消しレンズを用いた場合における被写体までの距離と色収差により画像に生じるぼけとの関係性を示している。色消しレンズにおいては青色の波長と赤色の波長の焦点位置を揃える設計がされているが、色収差は完全には除去することができない。このため、被写体の位置がピント位置よりも遠い場合には図５の上段に示すように緑色のぼけが発生し、被写体の位置がピント位置よりも近い場合には図５の下段に示すように紫色のぼけが発生する。

なお、図４及び図５の中段は、撮像装置２（イメージセンサ２２）に対する被写体の位置とピント位置とが一致している場合を示している。この場合には、イメージセンサ２２（第１～第３センサ２２１～２２３）においてぼけの少ない画像が生成される。

ここで、撮像装置２の光学系（レンズユニット）には上記したように絞り機構が備えられているが、当該撮像装置２によって撮像された画像に生じるぼけの形状は、当該絞り機構の開口部の大きさによっても異なる。なお、ぼけの形状は、ＰＳＦ（Point Spread Function）形状と称され、点光源が撮像されたときに生じる光の拡散分布を示している。

図６の上段は、焦点距離が５０ｍｍのレンズを用いた撮像装置２（の光学系）においてピント位置を１５００ｍｍ、Ｆ値（絞り）をＦ１．８とした場合に当該撮像装置２によって撮像された画像の中央部に生じるＰＳＦ形状を、被写体の位置が撮像装置２から近い順に左から示している。図６の下段は、焦点距離が５０ｍｍのレンズを用いた撮像装置２（の光学系）においてピント位置を１５００ｍｍ、Ｆ値（絞り）をＦ４とした場合に当該撮像装置２によって撮像された画像の中央部に生じるＰＳＦ形状を、被写体の位置が撮像装置２から近い順に左から示している。なお、図６の上段及び下段の中央は、被写体の位置がピント位置と一致している場合のＰＳＦ形状を示している。

図６の上段及び下段の対応する位置に示されているＰＳＦ形状は撮像装置２に対する被写体の位置が同一である場合のＰＳＦ形状であるが、当該被写体の位置が同一である場合であっても、上段のＰＳＦ形状（Ｆ値をＦ１．８として撮像した画像に生じるＰＳＦ形状）と下段のＰＳＦ形状（Ｆ値をＦ４として撮像した画像に生じるＰＳＦ形状）とでは形状が異なっている。

更に、図６の最も左側のＰＳＦ形状と最も右側のＰＳＦ形状に示すように、例えば被写体の位置からピント位置までの距離が同程度である場合であっても、当該被写体の位置がピント位置よりも近い場合と当該被写体の位置がピント位置よりも遠い場合とで、ＰＳＦ形状が異なっている。

なお、上記したように絞り機構の開口部の大きさや撮像装置２に対する被写体の位置に応じてＰＳＦ形状が異なる現象は、各チャンネル（ＲＧＢ画像、Ｒ画像、Ｇ画像及びＢ画像）においても同様に生じる。図７は、焦点距離が５０ｍｍのレンズを用いた撮像装置２においてピント位置を１５００ｍｍ、Ｆ値をＦ１．８とした場合に当該撮像装置２によって撮像された各チャンネルの画像に生じるＰＳＦ形状を、被写体の位置がピント位置よりも近い（手前にある）場合と被写体の位置がピント位置よりも遠い（奥にある）場合とに分けて示している。図８は、焦点距離が５０ｍｍのレンズを用いた撮像装置２においてピント位置を１５００ｍｍ、Ｆ値をＦ４とした場合に当該撮像装置２によって撮像された各チャンネルの画像に生じるＰＳＦ形状を、被写体の位置がピント位置よりも近い場合と被写体の位置がピント位置よりも遠い場合とに分けて示している。

更に、撮像装置２によって撮像された画像に生じるＰＳＦ形状は、当該画像中の位置によっても異なる。

図９の上段は、焦点距離が５０ｍｍのレンズを用いた撮像装置２においてピント位置を１５００ｍｍ、Ｆ値をＦ１．８とした場合に当該撮像装置２によって撮像された画像中の各位置に生じるＰＳＦ形状を、被写体の位置がピント位置よりも近い場合と被写体の位置がピント位置よりも遠い場合とに分けて示している。

図９の中段は、焦点距離が５０ｍｍのレンズを用いた撮像装置２においてピント位置を１５００ｍｍ、Ｆ値をＦ４とした場合に当該撮像装置２によって撮像された画像中の各位置に生じるＰＳＦ形状を、被写体の位置がピント位置よりも近い場合と被写体の位置がピント位置よりも遠い場合とに分けて示している。

図９の上段及び中段に示すように、撮像装置２によって撮像された画像の端部近傍（特に、左上等の角部近傍）においては、例えば画像中央付近に位置するＰＳＦ形状とは異なるＰＳＦ形状を観察することができる。

また、図９の下段は、焦点距離が１０５ｍｍのレンズを用いた撮像装置２においてピント位置を１５００ｍｍ、Ｆ値をＦ４とした場合に当該撮像装置２によって撮像された画像中の各位置に生じるＰＳＦ形状を、被写体の位置がピント位置よりも近い場合と被写体の位置がピント位置よりも遠い場合とに分けて示している。

上記した図９の上段及び中段は同一のレンズを用いて撮像された画像に生じるＰＳＦ形状を示しているが、図９の下段に示すように、焦点距離が異なるレンズを用いた場合には当該レンズに応じた異なるＰＳＦ形状（図９の上段及び中段とは異なるＰＳＦ形状）が観察される。

次に、図１０を参照して、上記した撮像装置２の光学系に用いるレンズの種別に応じたＰＳＦ形状（レンズの収差）の位置依存性について具体的に説明する。図１０は、焦点距離が異なる複数のレンズの各々を用いて撮像された画像の中央付近（画面中央）及び端部付近（画面端）に生じるＰＳＦ形状を、被写体の位置がピント位置よりも近い場合と被写体の位置がピント位置よりも遠い場合とに分けて示している。

図１０に示すように、画像の中央付近に生じるＰＳＦ形状は、レンズの種別が異なる場合であっても概ね円形で同一であるが、画像の端部付近に生じるＰＳＦ形状は、画像の中央付近に生じるＰＳＦ形状と異なる形状を有し、かつ、レンズの種別に応じてそれぞれ特性（特徴）が異なる。なお、上記した図５において説明した被写体の位置がピント位置よりも近い場合にはＰＳＦのふち付近に紫色のぼけが発生し、被写体の位置がピント位置よりも遠い場合にはＰＳＦのふち付近に緑色のぼけが発生する点については、レンズの種別が異なる場合であっても共通している。

また、図１０においては、焦点距離が５０ｍｍのレンズに関しては２つの例（＃１及び＃２）が示されているが、これは、焦点距離が５０ｍｍで同一であるが、レンズの製造元が異なる（つまり、異なる製品である）ことを示している。焦点距離が８５ｍｍのレンズについても同様である。

本実施形態に係る画像処理装置３（測距システム１）においては、上記したような画像中の被写体までの距離（つまり、撮像装置２に対する被写体の位置）に応じて非線形に変化するぼけ（色、サイズ及び形状）に着目して生成された統計モデルを用いて、被写体までの距離を画像から取得するものとする。

なお、本実施形態における被写体までの距離に応じて非線形に変化するぼけには、上記した図４及び図５において説明した撮像装置２の光学系の色収差により生じるぼけ、図６～図８において説明した撮像装置２の光学系に取り込まれる光の量を調節する絞り機構の開口部の大きさ（つまり、Ｆ値）に応じて生じるぼけ、図９及び図１０において説明した撮像装置２によって撮像された画像中の位置に応じて変化するぼけ等が含まれる。

なお、ＰＳＦ形状は、絞り機構の開口部の形状によっても異なる。ここで、図１１は、ＰＳＦ形状の非線形性（非対称性）と絞り機構の開口部の形状との関係を表している。上記したＰＳＦ形状の非線形性は、絞り機構の開口部の形状が円以外の場合に生じやすい。特に、ＰＳＦ形状の非線形性は、開口部の形状が奇数角形、或いはイメージセンサ２２の水平または垂直軸に対して非対称に配置された偶数角形の場合により生じやすい。

また、上記した図９においては、画像中の被写体までの距離及び当該画像中の位置に依存するＰＳＦ形状（つまり、距離依存性及び位置依存性を有するぼけ）を画像上に表しているが、当該画像の各々は、収差マップと称される。収差マップとは、光学系の収差の影響を受けた画像に生じるぼけであって、当該画像中の被写体までの距離及び当該画像中の位置に依存するぼけの分布を表すマップ形式の情報である。換言すれば、収差マップとは、収差によって生じる画像中のぼけ（つまり、光学系の収差）の距離依存性と位置依存性とを示す情報である。このような収差マップは、画像中の被写体までの距離を推定する（つまり、当該距離を示す距離情報を取得する）際に利用されてもよい。

図１２は、本実施形態において距離情報を取得する動作の概要を示す。以下の説明においては、距離情報（被写体までの距離）を取得するために撮像装置２によって撮像された画像を撮像画像と称する。

図１２に示す撮像画像５０１に生じるぼけ（ぼけ情報）５０２は、被写体５０３までの距離に関する物理的な手掛かりとなる。具体的には、ぼけの色、ＰＳＦのサイズ及び形状が、被写体５０３までの距離に関する手掛かりとなる。

本実施形態に係る画像処理装置３（距離取得部３６）においては、このような物理的な手掛かりである撮像画像５０１に生じるぼけ５０２を統計モデルで分析（解析）することによって被写体５０３までの距離５０４を推定する。

以下、本実施形態において統計モデルによって撮像画像から距離を推定する方式の一例について説明する。ここでは、第１～第３方式について説明する。

まず、図１３を参照して、第１方式について説明する。第１方式において、距離取得部３６は、撮像画像５０１から局所領域（画像パッチ）５０１ａを抽出する。

この場合、例えば撮像画像５０１の全領域（または所定の領域）をマトリクス状に分割し、当該分割後の部分領域を局所領域５０１ａとして順次抽出するようにしてもよいし、撮像画像５０１を認識して、被写体（像）が検出された領域を網羅するように局所領域５０１ａを抽出するようにしてもよい。また、局所領域５０１ａは、他の局所領域５０１ａとの間で一部がオーバーラップしていてもよい。

距離取得部３６は、抽出された局所領域５０１ａ毎に、当該局所領域５０１ａに関する情報（撮像画像５０１の情報）を統計モデルへ入力することによって、当該局所領域５０１ａ中の被写体までの距離５０４を推定する。

このように局所領域５０１ａに関する情報が入力された統計モデルは、当該局所領域５０１ａを構成する画素毎に距離を推定する。

ここで、例えば特定の画素が第１局所領域５０１ａ及び第２局所領域５０１ａの両方に属する（つまり、第１局所領域５０１ａ及び第２局所領域５０１ａとの間で当該画素を含む領域がオーバーラップしている）場合、当該画素が第１局所領域５０１ａに属するものとして推定された距離と、当該画素が第２局所領域５０１ａに属するものとして推定された距離とでは異なる場合がある。

このため、例えば上記したように一部がオーバーラップする複数の局所領域５０１ａが抽出されている場合、当該複数の局所領域５０１ａがオーバーラップしている領域を構成する画素の距離は、例えば当該オーバーラップしている一方の局所領域５０１ａの一部の領域（画素）について推定された距離と他方の局所領域５０１ａの一部の領域（画素）について推定された距離との平均値としてもよい。また、一部がオーバーラップする３以上の局所領域５０１ａが抽出されている場合、当該３以上の局所領域５０１ａがオーバーラップしている領域を構成する画素の距離は、当該オーバーラップしている３以上の局所領域５０１ａの一部の領域毎に推定された距離による多数決で決定されてもよい。

図１４は、上記した第１方式において統計モデルに入力される局所領域５０１ａに関する情報の一例を示す。

距離取得部３６は、撮像画像５０１に含まれるＲ画像、Ｇ画像及びＢ画像のそれぞれについて、当該撮像画像５０１から抽出された局所領域５０１ａの勾配データ（Ｒ画像の勾配データ、Ｇ画像の勾配データ及びＢ画像の勾配データ）を生成する。このように距離取得部３６によって生成された勾配データが統計モデルに入力される。

なお、勾配データは、各画素と当該画素に隣接する画素との画素値の差分（差分値）を示す。例えば、局所領域５０１ａがｎ画素（Ｘ軸方向）×ｍ画素（Ｙ軸方向）の矩形領域として抽出される場合、当該局所領域５０１ａ内の各画素について算出した例えば右隣の画素との差分値をｎ行×ｍ列のマトリクス状に配置した勾配データが生成される。

統計モデルは、Ｒ画像の勾配データと、Ｇ画像の勾配データと、Ｂ画像の勾配データとを用いて、当該各画像に生じているぼけから距離を推定する。図１４においてはＲ画像、Ｇ画像及びＢ画像の各々の勾配データが統計モデルに入力される場合について示しているが、撮像画像５０１（ＲＧＢ画像）の勾配データが統計モデルに入力される構成であってもよい。

次に、図１５を参照して、第２方式について説明する。第２方式においては、第１方式における局所領域５０１ａに関する情報として、当該局所領域（画像パッチ）５０１ａ毎の勾配データ及び撮像画像５０１における当該局所領域５０１ａの位置情報が統計モデルに入力される。

位置情報５０１ｂは、例えば局所領域５０１ａの中心点を示すものであってもよいし、左上辺等の予め定められた一辺を示すものであってもよい。また、位置情報５０１ｂとして、局所領域（画像パッチ）５０１ａを構成する画素それぞれの撮像画像５０１上での位置情報を用いてもよい。

上記したように位置情報５０１ｂを更に統計モデルに入力することで、例えばレンズ２１の中心部を透過する光によって結像された被写体像のぼけと、当該レンズ２１の端部を透過する光によって結像された被写体像のぼけとの間の差異を考慮して距離５０４を推定することができる。

つまり、この第２方式によれば、ぼけ、距離及び画像上の位置の相関に基づいて撮像画像５０１から距離をより確実に推定することができる。

図１６は、上記した第２方式において統計モデルに入力される局所領域５０１ａに関する情報の一例を示す。

例えばｎ画素（Ｘ軸方向）×ｍ画素（Ｙ軸方向）の矩形領域が局所領域５０１ａとして抽出される場合、距離取得部３６は、当該局所領域５０１ａの例えば中心点に対応する撮像画像５０１上のＸ座標値（Ｘ座標データ）と、当該局所領域５０１ａの例えば中心点に対応する撮像画像５０１上のＹ座標値（Ｙ座標データ）とを取得する。

第２方式においては、このように距離取得部３６によって取得されたＸ座標データ及びＹ座標データが、上記したＲ画像、Ｇ画像及びＢ画像の勾配データとともに、統計モデルに入力される。

更に、図１７を参照して、第３方式について説明する。第３方式においては、上記した第１方式及び第２方式のような撮像画像５０１からの局所領域（画像パッチ）５０１ａの抽出は行われない。第３方式において、距離取得部３６は、例えば撮像画像５０１の全領域（または所定の領域）に関する情報（Ｒ画像、Ｇ画像及びＢ画像の勾配データ）を統計モデルに入力する。

局所領域５０１ａ毎に距離５０４を推定する第１方式及び第２方式と比較して、第３方式は、統計モデルによる推定の不確実性が高くなる可能性があるが、距離取得部３６の負荷を軽減することができる。

以下の説明においては、上記した第１～第３方式において統計モデルに入力される情報を、便宜的に画像に関する情報と称する。

ここで、図１８を参照して、撮像画像から推定される被写体までの距離について具体的に説明する。

図１８においては、被写体がピント位置よりも近い（手前にある）場合に生じるぼけのサイズをＸ軸上においてマイナスの値で示し、被写体がピント位置よりも遠い（奥にある）場合に生じるぼけのサイズをＸ軸上においてプラスの値で示している。つまり、図１８においては、ぼけの色及びサイズを正負の値で示している。

図１８においては、被写体の位置がピント位置よりも近い場合及び被写体の位置がピント位置よりも遠い場合のいずれの場合においても、被写体がピント位置から離れるほど、ぼけのサイズ（ピクセル）の絶対値が大きくなることが示されている。

図１８に示す例では、画像を撮像した光学系におけるピント位置が約１５００ｍｍである場合を想定している。この場合、例えば約－４．８ピクセルのぼけは光学系から約１０００ｍｍの距離に対応し、０ピクセルのぼけは光学系から１５００ｍｍの距離に対応し、約４．８ピクセルのぼけは光学系から約７５０ｍｍの距離に対応する。

ここでは、便宜的に、ぼけのサイズ（ピクセル）をＸ軸上に示す場合について説明したが、上記した図６～図１０において説明したように、画像に生じるぼけの形状（ＰＳＦ形状）についても、当該被写体がピント位置よりも近い場合と当該被写体がピント位置よりも遠い場合とで異なるし、画像中の位置によっても異なる。このため、図１８においてＸ軸上に示す値は、実際には当該ぼけの形状（ＰＳＦ形状）を反映した値である。

上記した被写体までの距離とぼけの色、サイズ及び形状とは例えば図１８の線分ｄ１によって示されるような相関があるため、距離を推定することと、ぼけの色、サイズ及び形状（を正負で示すぼけ値）を推定することとは同義である。

なお、統計モデルに直接的に距離を推定させる場合と比較して、当該統計モデルにぼけの色、サイズ及び形状を推定させる場合の方が、統計モデルによる推定の精度を高めることができる。この場合、統計モデルは、例えばｎ画素（Ｘ軸方向）×ｍ画素（Ｙ軸方向）の局領域毎に当該局所領域（画像）に関する情報が当該統計モデルに入力されることによって、当該局所領域を構成する各画素について推定したぼけの色、サイズ及び形状（を示すぼけ値）をｎ行×ｍ列に配列した距離を出力するものとする。

次に、図１９のフローチャートを参照して、撮像画像から距離情報を取得する際の画像処理装置３の処理手順の一例について説明する。

まず、撮像装置２（イメージセンサ２２）は、被写体を連続的に撮像することによって、当該被写体を含む複数の撮像画像を生成する。なお、撮像装置２のピント位置が固定された場合、レンズ２１を透過した光は被写体までの距離に応じて異なる点広がり関数（ＰＳＦ）または点像分布関数の応答形状を有し、このような光をイメージセンサ２２で検出することによって、撮像装置２の光学系の収差の影響を受けた撮像画像が生成される。

表示処理部３２は、上記したように撮像装置２において生成された複数の撮像画像を例えば表示デバイス３０６に順次表示することによって、プレビュー表示を行う（ステップＳ１）。

ここで、図２０は、ステップＳ１においてプレビュー表示が行われた際の画像処理装置３（表示デバイス３０６）の画面（以下、プレビュー画面と表記）の一例を示す。

図２０に示すように、プレビュー画面３０６ａには、画像表示領域３０６ｂ、測距領域選定ボタン３０６ｃ及び信頼度確認モードボタン３０６ｄが設けられている。

画像表示領域３０６ｂは、上記した撮像装置２において生成された複数の撮像画像を順次表示するための領域である。

測距領域選定ボタン３０６ｃは、画像表示領域３０６ｂに表示されている撮像画像中の領域であって、距離情報を取得する領域（以下、測距領域と表記）の選定を指示するためのボタンである。

信頼度確認モードボタン３０６ｄは、信頼度確認モードの設定を指示するためのボタンである。

上記した画像表示領域３０６ｂに撮像画像が表示されている状態で測距領域選定ボタン３０６ｃがユーザによって押下（指定）された場合、図２０に示すプレビュー画面３０６ａは図２１に示すプレビュー画面３０６ｅに遷移し、ユーザは、当該プレビュー画面３０６ｅに設けられている画像表示領域３０６ｂ上で測距領域を指定する操作を行うことができる。

具体的には、例えばプレビュー画面３０６ｅに設けられている画像表示領域３０６ｂ上に矩形形状の枠３０６ｆが表示され、ユーザは、入力デバイス３０５を介してこの枠３０６ｆのサイズを変化させる操作を行うことによって、当該枠３０６ｆに包含される領域を測距領域として指定することができる。これによれば、ユーザは、距離情報を取得する被写体を包含するような領域を測距領域として指定することができる。

再び図１９に戻ると、測距領域選定部３３は、上記したユーザの操作に応じて測距領域を選定するか否かを判定する（ステップＳ２）。ステップＳ２においては、上記したプレビュー画面に設けられている測距領域選定ボタンがユーザによって押下された場合に、測距領域を選定すると判定する。

測距領域を選定しないと判定された場合（ステップＳ２のＮＯ）、ステップＳ１に戻って処理が繰り返される。

一方、測距領域を選定すると判定された場合（ステップＳ２のＹＥＳ）、測距領域選定部３３は、上記したユーザの操作（例えば、枠３０６ｆのサイズを変化させる操作）によって指定された領域を測距領域として選定する。なお、ステップＳ２の処理が実行された場合、測距領域選定部３３は、当該ステップＳ２において選定された測距領域を示す情報（以下、測距領域情報と表記）を取得する。測距領域情報には、撮像画像上の当該測距領域情報によって示される測距領域を特定することが可能な情報（例えば、座標値等）が含まれる。

なお、ここではユーザによって指定された領域が測距領域として選定されるものとして説明したが、例えばユーザが画像表示領域３０６ｂ（撮像画像）上の位置を指定する操作をした場合には、当該指定された位置に対応する画素の周囲の画素の各々を、当該画素の画素値等に基づいてカテゴリ分類するセマンティックセグメンテーションを行うような構成としてもよい。この場合には、ユーザによって指定された位置に対応する特定の被写体を包含する領域を自動的に検出し、当該検出された領域を測距領域として選定することができる。すなわち、本実施形態においては、ユーザの操作によって指定された撮像画像中の位置に基づいて検出される被写体を包含する領域を測距領域として選定するような構成であってもよい。

また、例えば撮像装置２（測距装置１）が特定の被写体にピントを合わせるオートフォーカス（ＡＦ）機能を有する場合には、当該オートフォーカス機能によって抽出される被写体を包含する領域が測距領域として選択されてもよい。測距領域は、撮像画像に対して実行される他の画像処理等に応じて選定されてもよい。

また、ステップＳ３において選定される測距領域は、１つであってもよいし、複数であってもよい。また、測距領域は、撮像画像中の一部の領域でなく、当該撮像画像の全部の領域であってもよい。また、測距領域の形状は、矩形形状でなくてもよく、例えば円形形状等であってもよい。

次に、画像取得部３４は、ステップＳ３において測距領域が選定された撮像画像を取得する（ステップＳ４）。以下、ステップＳ４において取得された撮像画像を対象撮像画像と称する。

ステップＳ４の処理が実行されると、画像補正部３５は、対象撮像画像に対する色補正を行う（ステップＳ５）。

以下、画像補正部３５によって行われる色補正について具体的に説明する。なお、本実施形態においては、色補正としてホワイトバランス補正が行われるものとして説明する。

まず、本実施形態における対象撮像画像は上記したように光学系の収差の影響を受けた画像であるが、当該対象撮像画像において表現される色は、光源の色温度の影響によって変化する（偏りが生じる）ことが知られている。なお、色温度とは光源が発する光の色を表す尺度であり、当該色温度は、例えば屋外で光源となる太陽光と室内で光源となる蛍光灯とで異なる。すなわち、対象撮像画像（において表現される色）は、撮像装置２の周囲の環境の影響を受けているといえる。更に、撮像画像において表現される色は、例えばイメージセンサ２２（第１～第３センサ２２１～２２３）の特性（センサＲＧＢ特性）によっても変化する。

具体的には、図２２に示す白色点のＰＳＦ（点広がり関数）は、レンズ特性ｈ（λ）×物体表面反射光Ｓ（λ）のように表現され、ＲＧＢ（つまり、カラー画像に含まれるＲ画像、Ｇ画像及びＢ画像）の画素値が一致している。しかしながら、図２２に示すように、白色点のＰＳＦは光源Ｅ（λ）及びセンサＲＧＢ特性（センサ感度）ｑ_ｃ（λ）の影響を受けるため、対象撮像画像においては、レンズ特性ｈ（λ）×物体表面反射光Ｓ（λ）×光源Ｅ（λ）×センサＲＧＢ特性ｑ_ｃ（λ）によって表される環境に依存したＰＳＦが観察される。なお、図２２に示す光源Ｅ（λ）は光源からの光の波長（λ）のスペクトル特性を表しており、図２２に示すセンサＲＧＢ特性ｑ_ｃ（λ）はＲＧＢ画像における画素値の最大値の比を表している。

すなわち、光源及びセンサＲＧＢ特性による影響がなければＲＧＢ画素値が揃った白色点のＰＳＦが得られるべきところ、対象撮像画像においては、ＲＧＢ画素値に偏りが生じたＰＳＦ（つまり、環境に依存したＰＳＦ）が観察される。

上記したように対象撮像画像においては、光源の色温度やセンサＲＧＢ特性によって色に偏りが生じ、環境に依存したＰＳＦが観察されるが、このような対象撮像画像から距離（情報）を取得する場合、当該距離の精度が低下する場合がある。具体的には、例えば同一の色であっても光源の色温度やセンサＲＧＢ特性に応じて異なる色が表示（表現）されるものとすると、精度の高い距離を取得（推定）することが困難となる。このような場合において距離の精度を向上させるためには、例えば光源の色温度やセンサＲＧＢ特性による影響を考慮した全ての色（カラーバリエーション）のぼけを学習した統計モデルを生成しておくことが考えられるが、このような学習には多大な労力を要するため、画像から距離を取得する際の環境ロバスト性を向上させることは困難である。

そこで、本実施形態においては、図２３に示すように、対象撮像画像（環境に依存したＰＳＦ）に対する補正係数を算出し、当該補正係数を用いて上記した白色ＰＳＦを復元するような補正を行うことにより、光源の色温度等による影響を吸収し、対象撮像画像において表現される色の数（カラーバリエーション）を減少させる。なお、補正係数は、例えばカラー画像において表現されているグレーのような色を白色にするために当該カラー画像に含まれるＲ画像、Ｇ画像及びＢ画像に乗算するゲイン値（ｇａｉｎ（Ｒ，Ｇ，Ｂ））に相当する。

なお、上記したホワイトバランス補正は、対象撮像画像に含まれる予め定められた領域単位で行われる。この場合、補正係数は、対象撮像画像（測距領域）に含まれる画素毎に、当該画素を包含する予め定められたサイズの領域（以下、単位領域と表記）に含まれる複数の画素の各々の画素値に基づいて算出される。

ここで、図２４に示すような対象撮像画像５０１に含まれる画素Ｐ_ｉに対して算出される補正係数について説明する。

まず、画像補正部３５は、画素Ｐ_ｉを包含する予め定められたサイズの単位領域Ａ_ｉを特定する。この場合、例えば画素Ｐ_ｉが中央に位置する矩形形状の単位領域Ａ_ｉが特定されるが、当該画素Ｐ_ｉが角部に位置する単位領域Ａ_ｉが特定されてもよいし、矩形形状以外の形状の単位領域Ａ_ｉが特定されてもよい。

次に、画像補正部３５は、特定された単位領域Ａ_ｉに含まれる複数の画素の各々の画素値を対象撮像画像５０１から取得する。この単位領域Ａ_ｉに含まれる複数の画素には、画素Ｐ_ｉも含まれる。なお、上記したように対象撮像画像５０１がカラー画像である場合、画像補正部３５によって取得される画素値の各々は、当該カラー画像に含まれるＲ画像の画素値、Ｇ画像の画素値及びＢ画像の画素値を含む。

画像補正部３５は、取得された複数の画素の各々に含まれるＲ画像の画素値に基づいて、当該Ｒ画像の画素値の平均値（以下、Ｒ画像の平均画素値と表記）を算出する。同様に、画像補正部３５は、取得された複数の画素の各々に含まれるＧ画像の画素値に基づいて当該Ｇ画像の画素値の平均値（以下、Ｇ画像の平均画素値と表記）を算出する。更に、画像補正部３５は、取得された複数の画素の各々に含まれるＢ画像の画素値に基づいて当該Ｂ画像の画素値の平均値（以下、Ｂ画像の平均画素値と表記）を算出する。

更に、画像補正部３５は、算出されたＲ画像の平均画素値、Ｇ画像の平均画素値及びＢ画像の平均画素値のうちの最大値（以下、ＲＧＢ平均画素値の最大値と表記）を特定する。

この場合、画素Ｐ_ｉに対する補正係数は、以下の式（１）によって算出される。

なお、式（１）において、ｇａｉｎ（Ｒ，Ｇ，Ｂ）は、画素Ｐ_ｉ（Ｒ画像、Ｇ画像及びＢ画像の各々の画素値）に対する補正係数（ゲイン値）を示す。Ｒ_ａｖｅはＲ画像の平均画素値、Ｇ_ａｖｅはＧ画像の平均画素値、Ｂ_ａｖｅはＢ画像の平均画素値を示す。また、ｍａｘ（Ｒ_ａｖｅ，Ｇ_ａｖｅ，Ｂ_ａｖｅ）は、ＲＧＢ平均画素値の最大値を示す。

すなわち、本実施形態においては、ＲＧＢ平均画素値の最大値をＲ画像の平均画素値で除算した値が画素Ｐ_ｉの画素値に含まれるＲ画像の画素値に対する補正係数（以下、ｇａｉｎ（Ｒ）と表記）である。また、ＲＧＢ平均画素値の最大値をＧ画像の平均画素値で除算した値が画素Ｐ_ｉの画素値に含まれるＧ画像の画素値に対する補正係数（以下、ｇａｉｎ（Ｇ）と表記）である。また、ＲＧＢ平均画素値の最大値をＢ画像の平均値で除算した値が画素Ｐ_ｉの画素値に含まれるＢ画像の画素値に対する補正係数（以下、ｇａｉｎ（Ｂ）と表記）である。

上記したように画素Ｐ_ｉに対する補正係数が算出された場合、当該補正係数を用いて当該画素Ｐ_ｉの画素値が補正される。具体的には、画素Ｐ_ｉの画素値に含まれるＲ画像の画素値、Ｇ画像の画素値及びＢ画像の画素値をＰ_ｉ（Ｒ，Ｇ，Ｂ）とし、ホワイトバランス補正が行われた後の画素Ｐ_ｉの画素値をＰ_ｉ´（Ｒ，Ｇ，Ｂ）とすると、Ｐ_ｉ´（Ｒ，Ｇ，Ｂ）は以下の式（２）により算出される。

すなわち、ホワイトバランス補正が行われると、画素Ｐ_ｉの画素値Ｐ_ｉ（Ｒ，Ｇ，Ｂ）は、画素Ｐ_ｉの画素値に含まれるＲ画像の画素値にｇａｉｎ（Ｒ）を乗算することによって得られる値、画素Ｐ_ｉの画素値に含まれるＧ画像の画素値にｇａｉｎ（Ｇ）を乗算することによって得られる値、画素Ｐ_ｉの画素値に含まれるＢ画像の画素値にｇａｉｎ（Ｂ）を乗算することによって得られる値を含む画素値Ｐ_ｉ´（Ｒ，Ｇ，Ｂ）に補正される。

ここでは対象撮像画像５０１に含まれる画素Ｐ_ｉについて説明したが、当該対象撮像画像５０１に含まれる他の画素についても同様の処理が実行される。

なお、上記したように画素値が補正される画素は少なくとも測距領域に含まれる画素であるが、対象撮像画像に含まれる全ての画素の画素値が補正されても構わない。

また、ここでは単位領域が画素値を補正する画素を包含する対象撮像画像の一部の領域であるものとして説明したが、単位領域は対象撮像画像の全体の領域であってもよい。

なお、例えばカラーバリエーションが豊富な画像が対象撮像画像であるような場合には、微小な領域を単位領域とした方が効果的なホワイトバランス補正を行うことができる。しかしながら、本実施形態においては対象撮像画像に生じるぼけを物理的な手掛かりとして被写体までの距離を取得（推定）する構成であるため、光学系の収差と被写体までの距離との関係に影響を与えない（つまり、ぼけの色等を変化させない）領域を単位領域とすることが好ましい。なお、光学系の収差と被写体までの距離との関係に影響を与えない領域とは例えば対象撮像画像に生じるぼけを包含するサイズの領域を含むが、上記したステップＳ５の処理が実行される時点では、測距領域に含まれる被写体までの距離（つまり、ぼけのサイズ）が不明であるため、例えば当該対象撮像画像（測距領域）に生じ得るぼけを包含することができる程度のサイズの領域を単位領域とするものとする。また、対象撮像画像に生じるぼけは位置依存性を有するため、単位領域のサイズは、例えば測距領域の位置等に基づいて定められてもよい。

再び図１９に戻ると、距離取得部３６は、上記した測距領域情報及びステップＳ５においてホワイトバランス補正（色補正）が行われた後の対象撮像画像に基づいて測距領域に含まれる被写体までの距離を示す距離情報を取得する（ステップＳ６）。

この場合、距離取得部３６は、測距領域情報によって示される測距領域に関する情報（勾配データ）を統計モデル格納部３１に格納されている統計モデルに入力する。これにより、統計モデルにおいて測距領域中の被写体までの距離が推定され、当該統計モデルは、当該推定された距離を出力する。なお、被写体までの距離は、測距領域を構成する画素毎に推定されて出力される。これにより、距離取得部３６は、統計モデルから出力された距離を示す距離情報を取得することができる。

ここで、例えば図２５に示すように、統計モデルは、撮像画像（対象撮像画像）５０１に関する情報から距離５０４を推定する際に、その推定の不確実性の度合い（以下、不確実度と表記）６０１を画素毎に算出し、当該不確実度６０１を距離５０４とともに出力するように構築（生成）されている場合がある。この不確実度６０１の算出方法は、特定の方法に限定されず、既知の様々な方法を適用することができる。

この場合、距離取得部３６は、ステップＳ６において取得された距離情報とともに不確実度を取得する（ステップＳ７）。

ところで、上記した図２０に示すプレビュー画面３０６ａに設けられている信頼度確認モードボタン３０６ｄを押下する操作がユーザによって行われた場合、信頼度確認モード設定部３７は、信頼度確認モードを設定する。なお、ユーザが信頼度確認モードボタン３０６ｄを押下する操作を行うタイミングは例えば上記したステップＳ１においてプレビュー表示が行われたタイミングであってもよいし、例えばステップＳ７の処理が実行された後であってもよい。信頼度確認モード設定部３７によって信頼度確認モードが設定された場合、当該信頼度確認モードが設定されていることを示す情報（以下、信頼度確認モード設定フラグと表記）が画像処理装置３の内部で保持される。

上記したステップＳ７が実行されると、上記した信頼度確認モード設定フラグに基づいて、信頼度確認モードが設定されているか否かが判定される（ステップＳ８）。

信頼度確認モードが設定されていると判定された場合（ステップＳ８のＹＥＳ）、ステップＳ７において取得された不確実度は、表示処理部３２によってプレビュー表示される（ステップＳ９）。

この場合、上記した図２１に示すプレビュー画面３０６ｅは図２６に示すプレビュー画面３０６ｇに遷移する。

図２６に示すように、プレビュー画面３０６ｇに設けられている画像表示領域３０６ｂにおいては、上記したように画素毎に算出された不確実度が信頼度として対象撮像画像上に重ねて表示される。

なお、本実施形態において特定の画素に対して算出された不確実度が高い場合は、当該特定の画素に対応する被写体までの距離の信頼度が低いことを表す。一方、特定の画素に対して算出された不確実度が低い場合は、当該特定の画素に対応する被写体までの距離の信頼度が高いことを表す。

また、画像表示領域３０６ｂにおいて、不確実度は、当該不確実度に応じた異なる色で表示されるものとする。これによれば、ユーザは、対象撮像画像上に表示された不確実度（信頼度）を直感的に把握することができる。

なお、不確実度は、例えば当該不確実度に応じた色の濃淡等で表してもよいし、測距領域または当該測距領域に含まれる被写体の輪郭（エッジ部）に加工を施す（例えば、輪郭の太さを変更する）ことにより表示してもよい。また、不確実度は、単に数値等として表示されてもよいし、他の形式で表示されてもよい。

ここで、プレビュー画面３０６ｇには、決定ボタン３０６ｈ及び再度実行ボタン３０６ｉが更に設けられている。決定ボタン３０６ｈは、ステップＳ６において取得された距離情報を出力することを指示するためのボタンである。再度実行ボタン３０６ｉは、距離情報の取得を再度実行することを指示するためのボタンである。

ユーザは、上記したように不確実（信頼度）が表示されたプレビュー画面３０６ｇ（画像表示領域３０６ｂ）を参照して、測距領域に含まれる被写体までの距離の信頼度が高い（つまり、不確実度が低い）と判断できる場合には決定ボタン３０６ｈを押下する操作（つまり、距離情報を出力することを指示する操作）を行う。一方、ユーザは、測距領域に含まれる被写体までの距離の信頼度が低い（つまり、不確実度が高い）と判断できる場合には再度実行ボタン３０６ｉを押下する操作（つまり、距離情報の取得を再度実行することを指示する操作）を行う。

この場合、距離取得部３６は、ユーザの操作に応じてステップＳ６において取得された距離情報を出力するか否かを判定する（ステップＳ１０）。ステップＳ１０においては、上記したプレビュー画面３０６ｇにおいて決定ボタン３０６ｈを押下する操作が行われた場合に距離情報を出力すると判定され、再度実行ボタン３０６ｉを押下する操作が行われた場合に距離情報を出力しないと判定される。

距離情報を出力すると判定された場合（ステップＳ１０のＹＥＳ）、出力部３８は、ステップＳ６において取得された距離情報を出力する（ステップＳ１１）。この場合、出力部３８は、距離情報を、対象撮像画像中の測距領域と位置的に対応づけて配置したマップ形式の画像データ（距離情報によって示される距離を画素値とする画素から構成される画像データ）として出力することができる。なお、距離情報は、単に数値等として出力されてもよいし、他の形式で出力されてもよい。

また、距離情報は、上記したプレビュー画面に表示されてもよいし、当該プレビュー画面とは異なる画面に表示されてもよい。更に、距離情報は、例えば対象撮像画像と組み合わせて表示されてもよい。また、距離情報は、画像処理装置３内部または外部のサーバ装置等において保存されるようにしてもよい。

一方、距離情報を出力しないと判定された場合（ステップＳ１０のＮＯ）、ステップＳ５に戻って処理が繰り返される。この場合、上記したステップＳ５においてホワイトバランス補正が行われた（補正係数の算出に用いられた）単位領域のサイズを変更してステップＳ５の処理が再度実行される。

ここで、上記したようにホワイトバランス補正が行われる単位領域は光学系の収差と被写体までの距離との関係に影響を与えない（つまり、ぼけの色等を変化させない）領域とすることが好ましいが、上記したステップＳ５の処理が実行された時点では被写体までの距離（つまり、ぼけのサイズ）が不明であるため、当該ステップＳ５においては、撮像画像（測距領域）に生じ得るぼけを包含することができる程度のサイズの領域を単位領域としてホワイトバランス補正が行われている。これに対して、再度実行されるステップＳ５の処理においては、上記したステップＳ６の処理が実行されることによって統計モデルによってぼけのサイズが推定されている。このため、再度実行されるステップＳ５においては、統計モデルによって推定されたぼけ（つまり、測距領域に含まれる被写体までの距離に応じて生じるぼけ）を包含するサイズの領域を単位領域とする。これによれば、実際に対象撮像画像に生じているぼけのサイズに適した単位領域（微小な領域）で、より効果的なホワイトバランス補正を行うことができるため、後に再度実行されるステップＳ６において不確実度の低い（つまり、信頼度の高い）距離を示す距離情報を取得することが期待できる。

すなわち、本実施形態において繰り返しステップＳ５の処理が実行される場合には、不確実度（または不確実性が低い距離が推定される画素の割合）が減少するように補正係数が算出される（つまり、単位領域が変更される）ものとする。

ここでは再度実行ボタン３０６ｉを押下する操作が行われた場合にステップＳ５に戻って処理が実行されるものとして説明したが、当該再度実行ボタン３０６ｉを押下する操作が行われた場合には、例えばステップＳ３に戻って異なる測距領域が再度選定されるようにしてもよい。

また、本実施形態においては統計モデル格納部３１に１つの統計モデルが格納されているものとして主に説明したが、当該統計モデル格納部３１には複数の統計モデルが格納されていてもよい。具体的には、上記したようにレンズの種別によって特に画像の端部近傍のＰＳＦ形状が大きく異なることから、当該レンズの種別を考慮することなく生成された１つの統計モデルを用いて距離情報を取得する構成では、画像から取得される距離の精度が低下する場合がある。このため、統計モデル格納部３１には、例えばレンズ毎の統計モデルが格納されていてもよい。このような構成の場合には、上記したように再度実行ボタン３０６ｉを押下する操作が行われた際に、上記したステップＳ６の処理において用いられた統計モデルを例えばレンズ情報（レンズ２１の仕様値）によって特定されるレンズ２１に応じた統計モデルに変更するようにしてもよい。なお、このように統計モデルを変更する場合には、例えば対象撮像画像を解析することによって得られる収差マップ等を利用してもよい。この場合、収差マップと当該収差マップが得られる画像に適切な統計モデルとを予め対応づけておくことにより、対象撮像画像を解析することによって得られる収差マップに対応する統計モデルに変更することが可能となる。また、統計モデルは、ステップＳ６において取得された距離情報に応じて変更されてもよい。

例えば、一度得られた距離情報のぼけサイズを包含する単位領域で色補正を行った画像で学習した統計モデルに変更する。

なお、図１９には示されていないが、上記したように統計モデルが変更される場合には、単位領域（補正係数）を変更することなくステップＳ３６以降の処理が実行されてもよい。

一方、ステップＳ８において信頼度確認モードが設定されていないと判定された場合（ステップＳ８のＮＯ）、ステップＳ９及びＳ１０の処理は実行されず、ステップＳ１１の処理が実行される。この場合、例えばステップＳ６において取得された距離情報のうち不確実度が閾値以下（信頼度が閾値以上）の距離を示す距離情報のみを出力する（つまり、不確実度が閾値以下でない距離を示す距離情報を破棄する）ことができるが、当該ステップＳ６において取得された距離情報を全て出力するようにしてもよい。

上記した図１９に示す処理によれば、ユーザの操作に基づいて測距領域が選定され、対象撮像画像に対するホワイトバランス補正が行われた後に、統計モデルを用いて距離情報及び不確実度が取得され、プレビュー画面に不確実度（信頼度）が表示されるが、このような一連の動作はインタラクティブに行われてもよい。例えば画像処理装置３（測距装置１）がスマートフォン等によって実現されている場合には、ユーザは、プレビュー画面を参照しながら測距領域を指定し、当該測距領域に含まれる距離の信頼度が低い場合には再度距離情報を取得させ、所望の距離情報が得られた時点で当該距離情報を出力するような操作を行うことができる。

なお、本実施形態においてはプレビュー画面（画像表示領域）に対するユーザの操作に応じて測距領域が選定されるものとして説明したが、当該測距領域は、ユーザの操作によらず、撮像画像の全体の領域としてもよいし、画像処理によって自動的に抽出された被写体を包含する領域としてもよい。この場合には、図１に示す測距領域選定部３３が省略された構成としてもよく、図１９に示すステップＳ２及びＳ３の処理は省略されてもよい。

更に、本実施形態においてはユーザの操作に応じて信頼度確認モードが設定されるものとして説明したが、常に信頼度確認モードが設定された動作または信頼度確認モードが設定されていない動作を行うようにしてもよい。この場合、図１に示す信頼度確認モード設定部３７が省略された構成としてもよい。また、常に信頼度確認モードが設定された動作を行う場合には、図１９に示すステップＳ８の処理は省略される。一方、常に信頼度確認モードが設定されていない動作を行う場合には、図１９に示すＳ８～Ｓ１０の処理は省略される。

また、本実施形態においては、統計モデルが不確実度を算出するように構築（生成）されているものとして説明したが、当該統計モデルは被写体までの距離を推定する際に不確実度を算出しないように構築されていてもよい。この場合、例えば図１９に示すステップＳ７～Ｓ１０の処理を省略することができる。

更に、本実施形態においてはプレビュー画面を参照しながらユーザが画像処理装置３（測距装置１）を操作するような使用態様を想定しているが、本実施形態は、プレビュー表示を行うことなく、単に撮像装置２によって撮像された撮像画像に含まれる被写体までの距離を示す距離情報が出力される、より簡易な処理を実行するように構成されていてもよい。この場合、図１９に示すステップＳ４～Ｓ６及びＳ１１の処理が実行されればよい。

上記したように本実施形態においては統計モデルを用いて撮像画像から被写体までの距離を取得することが可能であるが、当該統計モデルは、学習処理を実行することによって生成される。

以下、統計モデルを生成するための学習処理（以下、単に統計モデルの学習処理と表記）について説明する。図２７は、本実施形態における統計モデルの学習処理（学習方法）の一例を示す。ここでは、撮像装置２によって撮像された画像を用いた統計モデルの学習処理について説明するが、当該統計モデルの学習処理は、例えば撮像装置２の光学系と同様の光学系を有する他のデバイス（カメラ等）によって撮像された画像を用いて行われてもよい。

なお、上記の説明では距離情報を取得するために撮像装置２によって撮像された画像を撮像画像としたが、本実施形態において、距離に応じて非線形に変化するぼけを統計モデルが学習するための画像については便宜的に学習用画像と称する。

上記した図１３を参照して説明した第１方式、図１５を参照して説明した第２方式、図１７を参照して説明した第３方式のいずれの方式を用いる場合においても、統計モデルの学習処理は、基本的に、学習用画像７０１に関する情報を統計モデルに入力し、当該統計モデルによって推定された距離（距離情報）７０２と正解値７０３との誤差を当該統計モデルにフィードバックすることによって行われる。なお、フィードバックとは、誤差が減少するように統計モデルのパラメータ（例えば、重み係数）を更新することをいう。

上記した撮像画像から距離を推定する方式として第１方式が適用される場合には、統計モデルの学習処理時においても、学習用画像７０１から抽出された局所領域（画像パッチ）毎に、当該局所領域に関する情報（勾配データ）が統計モデルに入力され、当該統計モデルによって各局所領域内の各画素の距離７０２が推定される。このように推定された距離７０２と正解値７０３とが比較されることによって得られる誤差が、統計モデルにフィードバックされる。

同様に、撮像画像から距離を推定する方式として第２方式が適用される場合には、統計モデルの学習処理時においても、学習用画像７０１から抽出された局所領域（画像パッチ）毎に、当該局所領域に関する情報として勾配データ及び位置情報が統計モデルに入力され、当該統計モデルによって各局所領域内の各画素の距離７０２が推定される。このように推定された距離７０２と正解値７０３とが比較されることによって得られる誤差が、統計モデルにフィードバックされる。

また、撮像画像から距離を推定する方式として第３方式が適用される場合には、統計モデルの学習処理時においても、学習用画像７０１の全領域に関する情報（勾配データ）が一括して統計モデルに入力され、当該統計モデルによって当該学習用画像７０１内の各画素の距離７０２が推定される。このように推定された距離７０２と正解値７０３とが比較されることによって得られる誤差が、統計モデルにフィードバックされる。

なお、上記したように学習用画像７０１に関する情報が統計モデルに入力された場合には、上記した図２５において説明した場合と同様に、距離７０２に対する不確実度６０２が算出されるものとする。この場合の統計モデルの学習処理においては、距離７０２と正解値７０３との誤差を不確実度６０２の二乗で除算した誤差をフィードバックするものとする。この場合、不確実度６０２を無限大とした際には誤差がゼロとなるため、不確実度６０２の二乗をペナルティとして誤差に加算するものとする。

上記した統計モデルの学習処理によれば、距離７０２と正解値７０３との誤差を不確実度６０２で補正した値が減少するように統計モデルのパラメータ（例えば、重み係数）が更新される。

ここで、例えば統計モデルにより推定された距離７０２と正解値７０３との誤差がない一方で、不確実度６０２が高い場合、当該距離７０２は偶然に推定された可能性があると推測することができる。この場合には、距離７０２（正解値７０３）の学習が不足していることを認識することができる。

このように統計モデルにより算出される不確実度を用いた場合には、学習の偏りを減少させることも可能である。

なお、本実施形態における統計モデルは、例えばピント位置を固定した状態で撮像装置２から被写体までの距離を変化させながら撮像された学習用画像を用いた学習処理が繰り返し実行されることによって生成される。また、１つのピント位置についての学習処理が完了した場合には、他のピント位置についても同様に学習処理を実行することによって、より精度の高い統計モデルを生成することができる。

また、上記した図１８においては距離を推定することと、ぼけの色、サイズ及び形状を推定することとが同義であると説明したが、統計モデルの学習時に学習用画像に関する情報が統計モデルに入力される場合には、当該学習用画像が撮像された際の被写体までの実際の距離に対応する、ぼけの色、サイズ及び形状（を正負で示すぼけ値）が正解値として用いられる。このような学習が行われた統計モデルによれば、画像中の被写体までの距離として上記したぼけ値が出力される。

次に、図２８のフローチャートを参照して、本実施形態に係る画像処理装置３において用いられる統計モデルを生成する処理（つまり、統計モデルの学習処理）の処理手順の一例について説明する。なお、図２８に示す処理は、例えば画像処理装置３において実行されてもよいし、他の装置等において実行されてもよい。

まず、予め用意された学習用画像が取得される（ステップＳ２１）。この学習用画像は、例えば撮像装置２に備えられるレンズ２１を透過した光に基づいてイメージセンサ２２によって生成された画像であって、撮像装置２の光学系（レンズ２１）の収差の影響を受けた画像である。具体的には、学習用画像には、図４～図１０において説明した被写体までの距離に応じて非線形に変化するぼけが生じている。

なお、統計モデルの学習処理においては、画像処理装置３において取得（推定）可能な距離の下限値（手前）から上限値（奥）まで極力細かい粒度で被写体を各距離で撮像した学習用画像が予め用意されているものとする。また、学習用画像としては、被写体が異なる様々な画像を用意しておくことが好ましい。

ここで、本実施形態においては、上記したように色補正（ホワイトバランス補正）が行われた撮像画像から被写体までの距離（を示す距離情報）が取得される。このため、ステップＳ１において取得された学習用画像に対しても同様に色補正が行われるものとする（ステップＳ２２）。なお、ステップＳ２２の処理は必須ではないが、上記した統計モデルにおいて推定される距離の精度を向上させるためには、学習用画像に対しても色補正を行うことが好ましい。ステップＳ２２の処理は上記した図１９に示すステップＳ５の処理と同様の処理であるため、ここではその詳しい説明を省略する。

ステップＳ２２の処理が実行されると、当該ステップＳ２２において色補正が行われた後の学習用画像に関する情報が統計モデルに入力される（ステップＳ２３）。

撮像画像から距離を推定する方式として上記した第１方式が適用される場合には、学習用画像に関する情報として、当該学習用画像の局所領域毎に、Ｒ画像、Ｇ画像及びＢ画像の勾配データが統計モデルに入力される。

撮像画像から距離を推定する方式として上記した第２方式が適用される場合には、学習用画像に関する情報として、学習用画像の局所領域毎に、Ｒ画像、Ｇ画像及びＢ画像の勾配データと当該局所領域の学習用画像上における位置情報とが統計モデルに入力される。

撮像画像から距離を推定する方式として上記した第３方式が適用される場合には、学習用画像に関する情報として、当該学習用画像の全領域分のＲ画像、Ｇ画像及びＢ画像の勾配データが統計モデルに入力される。

なお、本実施形態においてはＲ画像、Ｇ画像及びＢ画像の勾配データが統計モデルに入力されるものとして説明するが、上記した学習用画像に生じるぼけの形状（ＰＳＦ形状）の観点から距離を推定する場合には、Ｒ画像、Ｇ画像及びＢ画像の勾配データのうちの少なくとも１つの勾配データが統計モデルに入力されればよい。一方、色収差により学習用画像に生じるぼけの色及びサイズの観点から距離を推定する場合には、Ｒ画像、Ｇ画像及びＢ画像の勾配データのうちの少なくとも２つの勾配データが統計モデルに入力されればよい。なお、２色の勾配データを用いる場合には、当該２色を同じバランスにする色補正を行っても構わない。このような構成によれば、処理コストの削減に寄与することができる。

統計モデルに対して学習用画像に関する情報が入力されると、統計モデルによって、被写体までの距離が推定される（ステップＳ２４）。この場合、統計モデルにより、学習用画像に生じているぼけが当該学習用画像から抽出され、当該ぼけに応じた距離が推定される。

また、ステップＳ２４の処理が実行されると、統計モデルは、当該ステップＳ２４において推定された距離に対する不確実度を算出する（ステップＳ２５）。

ステップＳ２４において推定された距離は、学習用画像の撮像時に得られている正解値と比較される（ステップＳ２６）。

ステップＳ２５における比較結果（誤差）は、ステップＳ２５において算出された不確実度を用いて補正され、統計モデルにフィードバックされる（ステップＳ２７）。これにより、統計モデルにおいては、誤差が減少するようにパラメータが更新される（つまり、学習用画像に生じているぼけが学習される）。

上記した図２８に示す処理が学習用画像毎に繰り返し実行されることによって、当該学習用画像中の被写体までの距離に応じて非線形に変化するぼけを学習した統計モデルが生成される。このように生成された統計モデルは、画像処理装置３に含まれる統計モデル格納部３１に格納される。

ここでは１つの統計モデルの学習処理について説明したが、統計モデル格納部３１にレンズ毎の統計モデル（つまり、複数の統計モデル）を格納しておく場合には、例えば当該レンズ（当該レンズを用いて撮像された学習用画像）毎に上記した図２８に示す処理が実行されればよい。

上記したように本実施形態においては、光学系の収差の影響を受けた撮像画像（第２画像）を取得し、当該撮像画像において表現されている色の数（つまり、カラーバリエーション）を低減する色補正を当該撮像画像に対して行い、当該色補正が行われた後の撮像画像（第３画像）を統計モデルに入力し、当該撮像画像中の被写体までの距離を示す距離情報（第１距離情報）を取得する。

撮像装置２によって撮像された撮像画像は光源の色温度（つまり、撮像装置２の周囲の環境）等の影響を受けているところ、本実施形態においては、上記した構成により、撮像画像のカラーバリエーションを減少させることで、当該撮像画像から取得される距離（統計モデルにおいて推定される距離）の精度及び当該撮像画像から距離を取得する際の環境ロバスト性を向上させることが可能となる。

また、本実施形態においては、光源の色温度等の影響により変化した色（つまり、画素値）を補正した撮像画像から被写体までの距離を示す距離情報を取得する構成であるため、光源の色温度等の影響を考慮した全ての色（カラーバリエーション）のぼけを学習する必要がなく、統計モデルの学習処理にかかる負担を軽減することができる。

なお、本実施形態においては撮像画像に含まれる予め定められたサイズの領域（第１領域）単位でホワイトバランス補正を行うが、本実施形態は撮像画像に生じるぼけを被写体までの距離に関する物理的な手掛かりとして当該距離を推定（取得）する構成であるから、当該ホワイトバランス補正が行われる領域（単位領域）は光学系の収差と被写体までの距離との関係性に影響を与えない領域とすることが好ましい。光学系の収差と被写体までの距離との関係性に影響を与えない領域は、例えば少なくとも被写体までの距離に応じて生じるぼけを包含するサイズの領域であるものとする。これによれば、ホワイトバランス補正が行われることによってぼけの色を変化させることがないため、当該ホワイトバランス補正が距離の精度を低下させる要因となることを抑制することができる。

また、本実施形態においては、例えば第１画素を包含する単位領域に含まれる複数の第２画素の画素値に基づいて当該第１画素に対する補正係数（第１補正係数）を算出し、当該補正係数を用いて第１画素の画素値に対する色補正（ホワイトバランス補正）を行うことにより、撮像画像を構成する画素（測距領域に含まれる画素）毎に画素値を適切に補正することができる。

更に、本実施形態において信頼度確認モードが設定されている場合には、統計モデルによって推定された距離に対する不確実度（不確実性の度合い）に基づくユーザの操作に応じて、ホワイトバランス補正が行われた際の単位領域（第１領域）とはサイズが異なる単位領域（第２領域）でホワイトバランス補正が再度行われる。このような構成によれば、より精度の高い（不確実度が低い）距離を示す距離情報を取得することができる可能性がある。

なお、本実施形態においては例えば統計モデルによって推定されたぼけのサイズを包含するサイズの領域を単位領域として再度ホワイトバランス補正を行うものとして説明したが、当該単位領域は、不確実度が減少するように変更されればよい。この場合、単位領域を任意に変更しながら、不確実度が減少する（例えば、ユーザがプレビュー画面に設けられている決定ボタンを押下する操作を行う）まで処理を繰り返すような構成であってもよい。

また、ホワイトバランス補正が再度行われた後の撮像画像（第４画像）から取得された距離情報（第２距離情報）によって示される距離の不確実度（第２不確実度）をユーザが参照し、当該不確実度が低いような場合には、当該不確実度に基づくユーザの操作に応じて当該取得された距離情報が出力される。このような構成によれば、ユーザの意図する距離情報（例えば、不確実度が低い距離を示す距離情報）を出力することができる。

なお、上記した信頼度確認モードが設定されていない場合には、不確実度が閾値以下である距離情報のみを出力する（つまり、不確実度が閾値以下でない距離情報を破棄する）ような構成としてもよい。

更に、本実施形態においては撮像画像中の測距領域（第３領域）を選定し、当該測距領域に対して色補正が行われ、当該測距領域中の被写体までの距離を示す距離情報を取得することにより、ユーザが意図する被写体までの距離を示す距離情報を出力することができる。この場合、ユーザの操作によって指定された領域が測距領域として選定されてもよいし、当該ユーザの操作によって指定された撮像画像中の位置に基づいて検出される被写体を包含する領域が測距領域として選定されてもよい。

なお、本実施形態においては色補正としてホワイトバランス補正が行われるものとして主に説明したが、本実施形態は、上記した光源の色温度等を含む撮像装置２の周辺の環境に応じて撮像画像に生じるカラーバリエーションを低減するような色補正が行われる構成であればよい。

（第２実施形態）
次に、第２実施形態について説明する。なお、本実施形態においては、前述した第１実施形態と同様の部分についての詳しい説明を省略し、当該第１実施形態とは異なる部分について主に説明する。

図２９は、本実施形態に係る画像処理装置を含む測距システムの構成の一例を示す。図２９においては、前述した図１と同一の部分には同一参照符号を付してその詳しい説明を省略し、当該図１とは異なる部分について説明する。

図２９に示すように、本実施形態に係る画像処理装置３は、前述した第１実施形態において説明した信頼度確認モード設定部３７に代えて評価部３９を含む点で、当該第１実施形態とは異なる。

なお、本実施形態に係る画像処理装置３は前述した図２に示すハードウェア構成を有し、評価部３９の一部または全ては、ＣＰＵ３０１（つまり、画像処理装置３のコンピュータ）に画像処理プログラム３０３Ａを実行させること、すなわち、ソフトウェアによって実現されるものとする。また、評価部３９の一部または全ては、ＩＣ（Integrated Circuit）等のハードウェアによって実現されてもよいし、ソフトウェア及びハードウェアの組み合わせによって実現されてもよい。

評価部３９は、前述した第１実施形態において説明した不確実度に基づいて、距離取得部３６によって取得された距離情報を評価する。本実施形態においては、評価部３９による評価結果に基づいて画像補正部３５による色補正が再度行われる。

次に、図３０のフローチャートを参照して、撮像画像から距離情報を取得する際の画像処理装置３の処理手順の一例について説明する。

まず、前述した図１９に示すステップＳ１～Ｓ３の処理に相当するステップＳ３１～Ｓ３３の処理が実行される。

ここで、ステップＳ３３の処理が実行されると、例えばユーザの操作に応じて不確実度の閾値が設定される（ステップＳ３４）。

ステップＳ３３の処理が実行されると、図１９に示すステップＳ４～７の処理に相当するステップＳ３５～Ｓ３８の処理が実行される。

次に、評価部３９は、距離取得部３６によって取得された距離情報を評価するために、ステップＳ３８において取得された不確実度がステップＳ３４において設定された閾値以下であるか否かを判定する（ステップＳ３９）。

なお、上記したステップＳ３８においては測距領域に含まれる画素毎に推定された距離に対する不確実度（つまり、画素毎の不確実度）が取得されるが、ステップＳ３９においては、例えば当該測距領域に含まれる複数の画素の不確実度の代表値（例えば、平均値等）が閾値以下であるか否かを判定するものとする。

不確実度（の代表値）が閾値以下でないと判定された場合（ステップＳ３９のＮＯ）、ステップＳ３６に戻って処理が繰り返される（つまり、ステップＳ３６の処理が再度実行される）。なお、この再度実行されるステップＳ３６の処理は、前述した図１９において説明した再度実行されるステップＳ５の処理と同様であるため、ここではその詳しい説明を省略する。

一方、不確実度（の代表値）が閾値以下であると判定された場合（ステップＳ３９のＹＥＳ）、前述した図１９に示すステップＳ１１の処理に相当するステップＳ４０の処理が実行される。

前述した第１実施形態においては不確実度（信頼度）を参照（確認）したユーザの操作に応じて距離情報が出力されるが、上記したように本実施形態においては、不確実度がユーザによって設定された閾値以下でない場合にホワイトバランス補正を再度行い、当該不確実度が当該閾値以下である場合に自動的に距離情報が出力される。このような構成によれば、画像から取得される距離の精度及び当該画像から距離を取得する際の環境ロバスト性とともに、よりユーザの所望の信頼度の距離情報が得られるため実用性をも向上させることができる。

なお、上記した図３０に示すステップＳ３８においては、測距領域を構成する画素毎の不確実度の代表値が閾値以下であるか否かが判定されるものとして説明したが、例えば測距領域を構成する全ての画素に対する不確実度が第１閾値以下である画素の割合が第２閾値以上であるか否かが判定されるようにしてもよい。このような構成によれば、測距領域に含まれる全ての画素に対する不確実度が第１閾値以下である画素の割合が第２閾値以上でない場合にはステップＳ３５に戻って処理が繰り返され、測距領域に含まれる全ての画素に対する不確実度が第１閾値以下である画素の割合が第２閾値以上である場合にステップＳ３９の処理が実行される。

また、ステップＳ３８の処理は、例えば測距領域を分割した小領域（以下、分割領域と表記）単位で実行されてもよい。具体的には、分割領域毎にステップＳ３８の処理が実行され、不確実度が閾値以下でないと判定された分割領域についてのみステップＳ３５に戻って処理が繰り返される。このような構成によれば、測距領域を分割した分割領域単位で不確実度を参照しながら最適なホワイトバランス補正を行い、当該分割領域単位の結果（距離情報）を統合して出力するようなことが可能となる。

更に、図３０に示す処理においては、例えばステップＳ３５～Ｓ３７の処理が予め定められた回数繰り返し実行され、ステップＳ３８において当該処理が予め定められた回数実行されたか否かが判定されてもよい。この場合、ステップＳ３５～Ｓ３７の処理が予め定められた回数実行されることによって複数の距離情報が取得されるが、ステップＳ３９においては、当該複数の距離情報のうち、不確実度が最小となっている距離情報が出力されるものとする。このような構成によれば、より精度の高い距離を示す距離情報を出力することができる可能性がある。

なお、本実施形態は、前述した第１実施形態と同様に、プレビュー表示を行わない構成であってもよいし、測距領域選定部３３が省略された構成であってもよい。

（応用例）
以下、前述した第１及び第２実施形態のような構成を有する測距システム１が適用される応用例について説明する。ここでは、便宜的に、測距システム１が図１及び図２９に示す撮像装置２に相当する撮像部、画像処理装置３に相当する画像処理部を備える１つの装置（測距装置）として実現されている場合について説明する。以下の図面においては、測距装置１が撮像部２及び画像処理部３を備えるものとして説明する。

図３１は、測距装置１が組み込まれている移動体８００の機能構成の一例を示す。移動体８００は、例えば自動運転機能を有する自動車、無人航空機、自立型の移動ロボット等として実現され得る。無人航空機は、人が乗ることができない飛行機、回転翼航空機、滑空機、飛行船であって、遠隔操作または自動操縦により飛行させることができるものであり、例えばドローン（マルチコプター）、ラジコン機、農薬散布用ヘリコプター等を含む。自立型の移動ロボットは、無人搬送車（ＡＧＶ：Automated Guided Vehicle）のような移動ロボット、床を掃除するための掃除ロボット、来場者に各種案内を行うコミュニケーションロボット等を含む。移動体８００には、ロボット本体が移動するものだけでなく、ロボットアームのような、ロボットの一部分を移動または回転させるような駆動機構を有する産業用ロボット等も含まれる。

図３１に示すように、移動体８００は、例えば測距装置１と制御信号生成部８０１と駆動機構８０２とを有する。測距装置１は、例えば撮像部２が移動体８００またはその一部分の進行方向の被写体を撮像することができるように設置される。

図３２に示すように、移動体８００が自動車８００Ａである場合、測距装置１は、前方を撮像するいわゆるフロントカメラとして設置される。なお、測距装置１は、バック時に後方を撮像するいわゆるリアカメラとして設置されてもよい。また、フロントカメラ及びリアカメラとして複数の測距装置１が設置されてもよい。更に、測距装置１は、いわゆるドライブレコーダーとしての機能を兼ねて設置されるものであってもよい。すなわち、測距装置１は録画機器であってもよい。

図３３は、移動体８００がドローン８００Ｂである場合の例を示す。ドローン８００Ｂは、駆動機構８０２に相当するドローン本体８１１と４つのプロペラ部８１２～８１５とを備える。各プロペラ部８１２～８１５は、プロペラとモータとを有する。モータの駆動がプロペラに伝達されることによって、当該プロペラが回転し、その回転による揚力によってドローン８００Ｂが浮上する。ドローン本体８１１の例えば下部には、測距装置１が搭載されている。

また、図３４は、移動体８００が自立型の移動ロボット８００Ｃである場合の例を示す。移動ロボット８００Ｃの下部には、駆動機構８０２に相当する、モータや車輪等を含む動力部８２１が設けられている。動力部８２１は、モータの回転数や車輪の向きを制御する。移動ロボット８００Ｃは、モータの駆動が伝達されることによって、路面または床面に設置する車輪が回転し、当該車輪の向きが制御されることにより任意の方向に移動することができる。図３４に示す例では、測距装置１は、例えば撮像部２が人型の移動ロボット８００Ｃの前方を撮像するように、当該移動ロボット８００Ｃの頭部に設置されている。なお、測距装置１は、移動ロボット８００Ｃの後方や左右を撮像するように設置されてもよいし、複数の方位を撮像するように複数設置されてもよい。また、センサ等を搭載するためのスペースが少ない小型ロボットに測距装置１を設けて、自己位置、姿勢及び被写体の位置を推定することにより、デッドレコニングを行うこともできる。

なお、図３５に示すように移動体８００がロボットアーム８００Ｄであり、当該ロボットアーム８００Ｄの一部分の移動及び回転を制御する場合には、測距装置１は、当該ロボットアーム８００Ｄの先端等に設置されてもよい。この場合、測距装置１に備えられる撮像部２によってロボットアーム８００Ｄで把持される物体が撮像され、画像処理部３は、ロボットアーム８００Ｄが把持しようとする物体までの距離を推定することができる。これにより、ロボットアーム８００Ｄにおいて、物体の正確な把持動作を行うことができる。

制御信号生成部８０１は、測距装置１（画像処理部３）から出力される被写体までの距離を示す距離情報に基づいて駆動機構８０２を制御するための制御信号を出力する。駆動機構８０２は、制御信号生成部８０１から出力される制御信号により、移動体８００または当該移動体８００の一部分を駆動する。駆動機構８０２は、例えば移動体８００または当該移動体８００の一部分の移動、回転、加速、減速、推力（揚力）の加減、進行方向の転換、通常運転モードと自動運転モード（衝突回避モード）との切り替え及びエアバッグ等の安全装置の作動のうちの少なくとも１つを行う。駆動機構８０２は、例えば被写体までの距離が閾値未満である場合に、移動、回転、加速、推力（揚力）の加減、物体に近寄る方向への方向転換及び自動運転モード（衝突回避モード）から通常運転モードへの切り替えのうちの少なくとも１つを行ってもよい。

なお、図３２に示す自動車８００Ａの駆動機構８０２は、例えばタイヤである。図３３に示すドローン８００Ｂの駆動機構８０２は、例えばプロペラである。図３４に示す移動ロボット８００Ｃの駆動機構８０２は、例えば脚部である。図３５に示すロボットアーム８００Ｄの駆動機構８０２は、例えば測距装置１が設けられた先端を支持する支持部である。

移動体８００は、測距装置１から出力された被写体までの距離に関する情報（距離情報）が入力されるスピーカやディスプレイを更に備えていてもよい。このスピーカやディスプレイは、測距装置１と有線または無線で接続されており、被写体までの距離に関する音声または画像を出力するように構成されている。更に、移動体８００は、測距装置１から出力された被写体までの距離に関する情報が入力され、例えば被写体までの距離に応じて点灯及び消灯することができる発光部を有していてもよい。

また、例えば移動体８００がドローン８００Ｂである場合においては、上空から、地図（物体の三次元形状）の作成、ビルや地形の構造調査、ひび割れや電線破断等の点検等が行われる際に、撮像部２が対象を撮像した画像を取得し、被写体までの距離が閾値以上であるか否かを判定する。制御信号生成部８０１は、この判定結果に基づいて、点検対象との距離が一定になるようにドローン８００Ｂの推力を制御するための制御信号を生成する。ここで、推力には揚力も含まれるものとする。駆動機構８０２がこの制御信号に基づいてドローン８００Ｂを動作させることにより、当該ドローン８００Ｂを点検対象に対して平行して飛行させることができる。移動体８００が監視用のドローンである場合、監視対象の物体との距離を一定に保つようにドローンの推力を制御するための制御信号を生成してもよい。

なお、移動体８００（例えば、ドローン８００Ｂ）が各種インフラストラクチャー（以下、単にインフラと表記）の保守点検等に用いられる場合には、当該インフラにおけるひび割れ箇所または錆が発生している箇所等を含む補修が必要な箇所（以下、補修箇所と表記）の画像を撮像部２で撮像することによって、当該補修箇所までの距離を得ることができる。この場合、補修箇所までの距離を利用することによって画像から当該補修箇所のサイズを算出することが可能である。これによれば、例えばインフラ全体を表すマップ上に補修箇所を表示することによって、当該インフラの保守点検者に補修箇所を認識させることができる。また、補修箇所のサイズを事前に保守点検者に伝えておくことは、円滑な補修作業を実施するためにも有用である。

また、ドローン８００Ｂの飛行時に、撮像部２が地面方向を撮像した画像を取得し、地面との距離が閾値以上であるか否かを判定する。制御信号生成部８０１は、この判定結果に基づいて地面からの高さが指定された高さになるようにドローン８００Ｂの推力を制御するための制御信号を生成する。駆動機構８０２がこの制御信号に基づいてドローン８００Ｂを動作させることにより、当該ドローン８００Ｂを指定された高さで飛行させることができる。ドローン８００Ｂが農薬散布用ドローンであれば、このようにドローン８００Ｂの地面からの高さを一定に保つことで、農薬を均等に散布しやすくなる。

また、移動体８００が自動車８００Ａまたはドローン８００Ｂである場合、自動車８００Ａの連隊走行やドローン８００Ｂの連携飛行時に、撮像部２が前方の自動車や周囲のドローンを撮像し、当該自動車やドローンまでの距離が閾値以上であるか否かを判定する。制御信号生成部８０１は、この判定結果に基づいて、前方の自動車や周囲のドローンとの距離が一定になるように、自動車８００Ａの速度やドローン８００Ｂの推力を制御するための制御信号を生成する。駆動機構８０２がこの制御信号に基づいて自動車８００Ａやドローン８００Ｂを動作させることにより、自動車８００Ａの連隊走行やドローン８００Ｂの連携飛行を容易に行うことができる。

更に、移動体８００が自動車８００Ａである場合、自動車８００Ａのドライバーが閾値を設定（変更）することができるように、ユーザインタフェースを介してドライバーの指示を受理可能な構成としてもよい。これにより、ドライバーが好む車間距離で自動車８００Ａを走行させるようなことができる。また、前方の自動車との安全な車間距離を保つために、自動車８００Ａの速度に応じて閾値を変化させてもよい。安全な車間距離は、自動車８００Ａの速度によって異なる。そこで、自動車８００Ａの速度が速いほど閾値を大きく（長く）設定することができる。

また、移動体８００が自動車８００Ａである場合には、進行方向の所定の距離を閾値に設定しておき、当該閾値の手前に物体が表れた際にブレーキを作動させるまたはエアバッグ等の安全装置を作動させる制御信号を生成するようにしてもよい。この場合、自動ブレーキやエアバッグ等の安全装置が駆動機構８０２に設けられる。

以上述べた少なくとも１つの実施形態によれば、画像から取得される距離の精度及び当該画像から距離を取得する際の環境ロバスト性を向上させることが可能な画像処理装置、測距装置、方法及びプログラムを提供することができる。

また、本実施形態及び本変形例に記載された様々な機能の各々は、回路（処理回路）によって実現されてもよい。処理回路の例には、中央処理装置（ＣＰＵ）のような、プログラムされたプロセッサが含まれる。このプロセッサは、メモリに格納されたコンピュータプログラム（命令群）を実行することによって、記載された機能それぞれを実行する。このプロセッサは、電気回路を含むマイクロプロセッサであってもよい。処理回路の例には、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、マイクロコントローラ、コントローラ、他の電気回路部品も含まれる。本実施形態に記載されたＣＰＵ以外の他のコンポーネントの各々もまた処理回路によって実現されてもよい。

また、本実施形態の各種処理はコンピュータプログラムによって実現することができるため、このコンピュータプログラムを格納したコンピュータ読み取り可能な記憶媒体を通じてこのコンピュータプログラムをコンピュータにインストールして実行するだけで、本実施形態と同様の効果を容易に実現することができる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１…測距システム、２…撮像装置（撮像部）、３…画像処理装置（画像処理部）、２１…レンズ、２２…イメージセンサ、３１…統計モデル格納部、３２…表示処理部、３３…測距領域選定部、３４…画像取得部、３５…画像補正部、３６…距離取得部、３７…信頼度確認モード設定部、３８…出力部、３９…評価部、２２１…第１センサ、２２２…第２センサ、２２３…第３センサ、３０１…ＣＰＵ、３０２…不揮発性メモリ、３０３…ＲＡＭ、３０３Ａ…画像処理プログラム、３０４…通信デバイス、３０５…入力デバイス、３０６…表示デバイス、３０７…バス。

Claims (15)

1. 光学系の収差の影響を受けた第１画像に生じる、当該第１画像中の被写体までの距離に応じて非線形に変化するぼけを学習することによって生成された統計モデルを格納する格納手段と、
   前記光学系の収差の影響を受けた第２画像を取得する画像取得手段と、
   前記第２画像において表現されている色の数を低減する色補正を当該第２画像に対して行う補正手段と
   前記第２画像に対して色補正が行われた後の第３画像を前記統計モデルに入力し、当該第３画像中の被写体までの距離を示す第１距離情報を取得する距離取得手段と
   を具備し、
   前記第２画像において表現されている色は、周囲の環境の影響または前記第２画像を撮像した撮像装置が備えるイメージセンサの特性に応じて変化する色を含み、
   前記補正手段は、前記色補正として、前記第２画像に含まれる予め定められたサイズの第１領域単位で前記第２画像に対してホワイトバランス補正を行い、
   前記ホワイトバランス補正の単位である第１領域は、前記収差と前記被写体までの距離との関係性に影響を与えない領域である
   画像処理装置。
2. 前記収差と前記被写体までの距離との関係性に影響を与えない領域は、前記第２画像において前記被写体までの距離に応じて生じるぼけを包含するサイズの領域である請求項１記載の画像処理装置。
3. 前記補正手段は、第１画素を包含する前記第１領域に含まれる複数の第２画素の画素値に基づいて当該第１画素に対する第１補正係数を算出し、当該第１補正係数を用いて当該第１画素の画素値に対する色補正を行う請求項１または２記載の画像処理装置。
4. 出力手段を更に具備し、
   前記統計モデルは、前記第３画像中の被写体までの距離を推定するとともに、当該推定された距離に対する不確実性の度合いを示す第１不確実度を算出し、
   前記出力手段は、前記第１不確実度が閾値以下である距離を示す第１距離情報を出力する
   請求項１～３のいずれか一項に記載の画像処理装置。
5. 前記統計モデルは、前記第３画像中の被写体までの距離を推定するとともに、当該推定された距離に対する不確実性の度合いを示す第１不確実度を算出し、
   前記補正手段は、前記第１不確実度に基づくユーザの操作に応じて、前記第１領域とはサイズが異なる第２領域単位で前記第２画像に対してホワイトバランス補正を行い、
   前記距離取得手段は、前記第２領域単位で前記第２画像に対してホワイトバランス補正が行われた後の第４画像を前記統計モデルに入力し、当該第４画像中の被写体までの距離を示す第２距離情報を取得する
   請求項１記載の画像処理装置。
6. 出力手段を更に具備し、
   前記統計モデルは、前記第４画像中の被写体までの距離を推定するとともに、当該推定された距離に対する不確実性の度合いを示す第２不確実度を算出し、
   前記出力手段は、前記第２不確実度に基づく前記ユーザの操作に応じて前記第２距離情報を出力する
   請求項５記載の画像処理装置。
7. 前記統計モデルは、前記第３画像中の被写体までの距離を推定するとともに、当該推定された距離に対する不確実性の度合いを示す第１不確実度を算出し、
   前記補正手段は、前記第１不確実度が閾値以下でない場合、前記第１領域とはサイズが異なる第２領域単位で前記第２画像に対するホワイトバランス補正を行い、
   前記距離取得手段は、前記第２領域単位で前記第２画像に対してホワイトバランス補正が行われた後の第４画像を前記統計モデルに入力し、当該第４画像中の被写体までの距離を示す第２距離情報を取得する
   請求項１記載の画像処理装置。
8. 出力手段を更に具備し、
   前記統計モデルは、前記第４画像中の被写体までの距離を推定するとともに、当該推定された距離に対する不確実性の度合いを示す第２不確実度を算出し、
   前記出力手段は、前記第２不確実度が閾値以下である場合、前記第２距離情報を出力する
   請求項７記載の画像処理装置。
9. 前記第２領域は、前記第１不確実度が減少するように前記第１領域を変更した領域である請求項５～８のいずれか一項に記載の画像処理装置。
10. 光学系の収差の影響を受けた第１画像に生じる、当該第１画像中の被写体までの距離に応じて非線形に変化するぼけを学習することによって生成された統計モデルを格納する格納手段と、
    前記光学系の収差の影響を受けた第２画像を取得する画像取得手段と、
    前記第２画像において表現されている色の数を低減する色補正を当該第２画像に対して行う補正手段と
    前記第２画像に対して色補正が行われた後の第３画像を前記統計モデルに入力し、当該第３画像中の被写体までの距離を示す第１距離情報を取得する距離取得手段と、
    前記第２画像中の第３領域を選定する領域選定手段と
    を具備し、
    前記第２画像において表現されている色は、周囲の環境の影響または前記第２画像を撮像した撮像装置が備えるイメージセンサの特性に応じて変化する色を含み、
    前記補正手段は、前記第３領域に対して前記色補正を行う
    画像処理装置。
11. 前記領域選定手段は、ユーザの操作によって指定された領域を前記第３領域として選定する請求項１０記載の画像処理装置。
12. 前記領域選定手段は、ユーザの操作によって指定された前記第２画像中の位置に基づいて検出される被写体を包含する領域を前記第３領域として選定する請求項１０記載の画像処理装置。
13. 画像を撮像する撮像手段と、
    光学系の収差の影響を受けた第１画像に生じる、当該第１画像中の被写体までの距離に応じて非線形に変化するぼけを学習することによって生成された統計モデルを格納する格納手段と、
    前記撮像手段の光学系の収差の影響を受けた第２画像を取得する画像取得手段と、
    前記第２画像において表現されている色の数を低減する色補正を当該第２画像に対して行う補正手段と
    前記第２画像に対して色補正が行われた後の第３画像を前記統計モデルに入力し、当該第３画像中の被写体までの距離を示す距離情報を取得する距離取得手段と
    を具備し、
    前記第２画像において表現されている色は、周囲の環境の影響または前記第２画像を撮像した撮像装置が備えるイメージセンサの特性に応じて変化する色を含み、
    前記補正手段は、前記色補正として、前記第２画像に含まれる予め定められたサイズの第１領域単位で前記第２画像に対してホワイトバランス補正を行い、
    前記ホワイトバランス補正の単位である第１領域は、前記収差と前記被写体までの距離との関係性に影響を与えない領域である
    測距装置。
14. 光学系の収差の影響を受けた第１画像に生じる、当該第１画像中の被写体までの距離に応じて非線形に変化するぼけを学習することによって生成された統計モデルを格納する格納手段を備える画像処理装置が実行する方法であって、
    前記光学系の収差の影響を受けた第２画像を取得するステップと、
    前記第２画像において表現されている色の数を低減する色補正を当該第２画像に対して行うステップと
    前記第２画像に対して色補正が行われた後の第３画像を前記統計モデルに入力し、当該第３画像中の被写体までの距離を示す距離情報を取得するステップと
    を具備し、
    前記第２画像において表現されている色は、周囲の環境の影響または前記第２画像を撮像した撮像装置が備えるイメージセンサの特性に応じて変化する色を含み、
    前記色補正を行うステップは、前記色補正として、前記第２画像に含まれる予め定められたサイズの第１領域単位で前記第２画像に対してホワイトバランス補正を行うステップを含み、
    前記ホワイトバランス補正の単位である第１領域は、前記収差と前記被写体までの距離との関係性に影響を与えない領域である
    方法。
15. 光学系の収差の影響を受けた第１画像に生じる、当該第１画像中の被写体までの距離に応じて非線形に変化するぼけを学習することによって生成された統計モデルを格納する格納手段を備える画像処理装置のコンピュータによって実行されるプログラムであって、
    前記コンピュータに、
    前記光学系の収差の影響を受けた第２画像を取得するステップと、
    前記第２画像において表現されている色の数を低減する色補正を当該第２画像に対して行うステップと
    前記第２画像に対して色補正が行われた後の第３画像を前記統計モデルに入力し、当該第３画像中の被写体までの距離を示す距離情報を取得するステップと
    を実行させ、
    前記第２画像において表現されている色は、周囲の環境の影響または前記第２画像を撮像した撮像装置が備えるイメージセンサの特性に応じて変化する色を含み、
    前記色補正を行うステップは、前記色補正として、前記第２画像に含まれる予め定められたサイズの第１領域単位で前記第２画像に対してホワイトバランス補正を行うステップを含み、
    前記ホワイトバランス補正の単位である第１領域は、前記収差と前記被写体までの距離との関係性に影響を与えない領域である
    プログラム。

Images