WO2021020358A1

WO2021020358A1 - 画像処理装置、画像処理方法、プログラムおよび記憶媒体

Info

Publication number: WO2021020358A1
Application number: PCT/JP2020/028776
Authority: WO
Inventors: 貴志佐々木; 森　重樹
Original assignee: キヤノン株式会社
Priority date: 2019-07-31
Filing date: 2020-07-28
Publication date: 2021-02-04
Also published as: EP4007265A1; JP2024116329A; KR20220035185A; US20220148208A1; EP4007265A4; CN114175631A

Abstract

本発明の画像処理装置は、被写界像を撮像手段の撮像素子上に結像する光学系を用いて撮像した画像から算出された距離情報分布を入力する入力手段と、前記撮像手段の撮影条件から前記画像における奥行方向を推定する推定手段と、前記距離情報分布と前記推定した奥行方向の関係から前記光学系と前記撮像素子の設計位置からの乖離度合を示す評価値を決定する決定手段と、を有することを特徴とする構成とした。

Description

画像処理装置、画像処理方法、プログラムおよび記憶媒体

　本発明は、画像処理装置に関し、特に光学系と撮像素子の経年変化に関連する情報や、画像処理装置の姿勢の情報に関するものである。

　従来から一対のステレオカメラから取得した距離情報を参照して、経年変化などによるステレオカメラの相対位置関係の変化を診断し、ステレオカメラのキャリブレーションを支援する技術が知られている。例えば、特許文献１ではロボットの頭部に搭載されたステレオカメラにおいて、診断用のテクスチャが設けられた略平面上の被写体を所定の位置関係で撮影し、得られた視差画像から距離情報の算出を経て平面度を求める。そして、求めた平面度と所定の基準量を比較することでキャリブレーションの要否を判断する方法が開示されている。

特開２００４－３０６２４９号公報

　ロボットに搭載されたものではない一般のユーザーが使用するデジタルカメラにおいても経年変化などによって、光学系であるレンズやＣＭＯＳなどの撮像素子が生産時の取り付け位置（設計位置）から変化することがある。レンズや撮像素子が傾くと実際の距離と被写界深度の関係がずれてしまいユーザーが想定していない画像が取得されてしまう。そのため一般ユーザーが使用するデジタルカメラにおいても、レンズや撮像素子のキャリブレーションの要否を判断する方法とその際の対応が求められている。

　また、デジタルカメラによる撮影において、正対して撮影すべき被写体を撮影する際に、レンズや撮像素子のキャリブレーションが出来ていたとしても、撮像装置が傾いていたり、適切な距離で撮影できていなかったりすると、良好な撮影画像が得られない。特に奥行方向の傾きや距離誤差は撮影画像の（対象被写体の）ボケにつながってしまう。

　そこで、本発明の目的は、被写体までの距離に対応する距離情報分布に基づいて、レンズあるいは撮像素子の傾き、あるいは撮像装置の位置や姿勢の情報の少なくとも１つの情報を報知することを可能にした画像処理装置を提供することである。

　上記課題を解決するために、本発明の画像処理装置は、被写界像を撮像手段の撮像素子上に結像する光学系を用いて撮像した画像から算出された距離情報分布を入力する入力手段と、前記撮像手段の撮影条件から前記画像における奥行方向を推定する推定手段と、前記距離情報分布と前記推定した奥行方向の関係から、前記光学系と前記撮像素子の設計位置からの乖離度合を示す評価値を決定する決定手段と、を有することを特徴とする。

　また、本発明の画像処理装置は、被写界像を撮像手段の撮像素子上に結像する光学系を用いて撮像した画像から算出された距離情報分布を入力する入力手段と、前記撮像手段の撮影条件から前記画像における奥行方向を推定する推定手段と、前記距離情報分布と前記推定した奥行方向の関係から、前記画像における被写体の奥行き方向の乖離度合を示す評価値を決定する決定手段と、を有することを特徴とする。

　また、本発明の画像処理装置は、撮像手段により撮像される画像に関する、少なくともＦ値と、像ずれ量をデフォーカス量に変換する変換係数とを含む撮影条件を取得する撮影条件取得手段と、前記撮像手段により撮像される画像の各領域に対応する距離情報の分布である距離情報分布を取得する距離情報取得手段と、前記距離情報分布を前記Ｆ値および変換係数に基づいて正規化する画像処理手段と、を有することを特徴とする。

　また、本発明の画像処理方法は、被写界像を撮像手段の撮像素子上に結像する光学系を用いて撮像した画像から算出された距離情報分布を入力する入力ステップと、前記撮像手段の撮影条件から前記画像における奥行方向を推定する推定ステップと、前記距離情報分布と前記推定した奥行方向の関係から、前記光学系と前記撮像素子の設計位置からの乖離度合を示す評価値を決定する決定ステップと、を有することを特徴とする。

　また、本発明の画像処理方法は、被写界像を撮像手段の撮像素子上に結像する光学系を用いて撮像した画像から算出された距離情報分布を入力する入力ステップと、前記撮像手段の撮影条件から前記画像における奥行方向を推定する推定ステップと、前記距離情報分布と前記推定した奥行方向の関係から前記画像における被写体の奥行き方向の乖離度合を示す評価値を決定する決定ステップと、を有することを特徴とする。

　また、本発明の画像処理方法は、撮像手段により撮像される画像に関する、少なくともＦ値と、像ずれ量をデフォーカス量に変換する変換係数とを含む撮影条件を取得する撮影条件取得ステップと、前記撮像手段により撮像される画像の各領域に対応する距離情報の分布である距離情報分布を取得する距離情報取得ステップと、前記距離情報分布を前記Ｆ値および変換係数に基づいて正規化する画像処理ステップと、を有することを特徴とする。

　本発明によれば光学系と撮像素子の設計位置からの乖離度合を確認することを可能にした画像処理装置を提供することができる。

本発明の実施形態に係る画像処理装置の機能構成例を示したブロック図。本発明の実施形態に係るデジタルカメラの機能構成例を示したブロック図。本発明の実施形態に係るコンピュータの機能構成例を示したブロック図。本発明の実施形態に係る撮像部の構成例を説明する図。本発明の実施形態に係る撮像部の構成例を説明する図。本発明の実施形態に係る画像処理装置の動作を説明するフローチャート。本発明の実施形態に係る画像処理装置の動作を説明するフローチャート。本発明の実施形態に係る画像処理装置の動作を説明するフローチャート。本発明の実施形態に係る静止画記録用の画像を説明する図。本発明の実施形態に係るデフォーカスマップを説明する図。本発明の実施形態に係る画像処理部３０６の機能構成例を示すブロック図。本発明の実施形態に係るデフォーカス量がゼロとなる面を説明する図。本発明の実施形態に係るピント面が正常であるときのデフォーカスマップを説明する図。本発明の実施形態に係る光学系と撮像素子の設計位置からずれた場合に起こる現象を説明する図。本発明の実施形態に係る光学系と撮像素子の設計位置からずれた場合に起こる現象を説明する図。本発明の実施形態に係るピント面が傾いたときのデフォーカスマップを説明する図。本発明の実施形態に係る乖離度合を示す評価値を説明する図。本発明の実施形態に係るユーザーへの通知を説明する図。本発明の実施形態に係る消失点と奥行方向の推定結果を説明する図。本発明の実施形態に係るデフォーカスマップに対するヒストグラムを説明する図。本発明の実施形態に係るポートレートシーンにおける静止画記録用の画像、デフォーカスマップ、およびデフォーカスマップに対するヒストグラムを説明する図。本発明の実施形態に係るポートレートシーンにおける静止画記録用の画像、デフォーカスマップ、およびデフォーカスマップに対するヒストグラムを説明する図。本発明の実施形態に係るポートレートシーンにおける静止画記録用の画像、デフォーカスマップ、およびデフォーカスマップに対するヒストグラムを説明する図。本発明の実施形態１に係る光学系の周辺減光特性を説明する図。本発明の実施形態２に係るカメラ装置１９００およびレンズ装置１９１３のハードウェア構成例を示すブロック図。本発明の実施形態２に係るカメラ装置１９００の機能構成例を示すブロック図。本発明の実施形態２に係る雲台装置２０００のハードウェア構成例を示すブロック図。本発明の実施形態２に係る社会インフラ構造物を撮像する撮像方法を説明する図。本発明の実施形態２に係る社会インフラ構造物を撮像する撮像方法を説明する図。本発明の実施形態２に係る撮像システムの動作のフローチャート。本発明の実施形態２に係るスイッチ２００７を説明する図。本発明の実施形態２に係るカメラ装置１９００の回転制御に係る図。本発明の実施形態２に係るカメラ装置１９００の回転制御に係る図。本発明の実施形態２に係るカメラ装置１９００の回転制御に係る図。本発明の実施形態２に係るテーブル２５１５の構成例を示す図。

　［第１実施形態］
　以下、本発明の第１実施形態による画像処理装置、画像処理方法、および画像処理プログラムについて、図面を参照して詳細に説明する。図１に示すような、撮像装置の一例としてのデジタルカメラ１０１と、画像処理装置の一例としてのコンピュータ１０２とが通信回路１０３を介して通信可能に接続された画像処理装置１００に本発明を適用した例を説明する。しかし、以下においてコンピュータ１０２が行う処理をデジタルカメラ１０１で実行してもよい。また、デジタルカメラ１０１は撮影機能を備えた任意の電子機器であってよく、またコンピュータ１０２も以下に説明する処理が可能な任意の電子機器や、サーバ装置におけるコンピュータであってもよい。また、モバイルタイプのコンピュータであっても、デスクトップタイプのコンピュータであっても構わない。

　図２は、本発明の実施形態に係るデジタルカメラ１０１の機能構成例を示すブロック図である。システム制御部２０１は、例えばＣＰＵであり、デジタルカメラ１０１が備える各ブロックの動作プログラムをＲＯＭ２０２より読み出し、ＲＡＭ２０３に展開して実行することによりデジタルカメラ１０１が備える各ブロックの動作を制御する。ＲＯＭ２０２は、書き換え可能な不揮発性メモリであり、デジタルカメラ１０１が備える各ブロックの動作プログラムに加え、各ブロックの動作に必要なパラメータ等を記憶する。ＲＡＭ２０３は、書き換え可能な揮発性メモリであり、デジタルカメラ１０１が備える各ブロックの動作において出力されたデータの一時的な記憶領域として用いられる。

　光学系２０４は、被写界像を撮像部２０５に結像する。撮像部２０５は、例えばＣＣＤやＣＭＯＳセンサ等の撮像素子であり、光学系２０４により撮像部２０５の撮像素子上に結像された光学像を光電変換し、得られたアナログ画像信号をＡ／Ｄ変換部２０６に出力する。また、光学系２０４と撮像部２０５には手振れの影響を低減するＩＳ機構が搭載されている。Ａ／Ｄ変換部２０６は、入力されたアナログ画像信号にＡ／Ｄ変換処理を適用し、得られたデジタル画像データをＲＡＭ２０３に出力して記憶させる。

　画像処理部２０７は、ＲＡＭ２０３に記憶されている画像データに対して、ホワイトバランス調整、色補間、縮小／拡大、フィルタリングなど、様々な画像処理を適用する。

　記録媒体２０８は着脱可能なメモリカード等であり、ＲＡＭ２０３に記憶されている画像処理部２０７で処理された画像やＡ／Ｄ変換部２０６でＡ／Ｄ変換された画像などが、記録画像として記録される。

　通信部２０９は有線または無線により、記録媒体２０８に記録されている画像データファイルなどを外部装置に送信する。

　表示部２１０は、撮影で得られた画像データや、記録媒体２０８から読み出した画像データなどを表示したり、各種のメニュー画面を表示したりする。ライブビュー画像を表示して電子ビューファインダーとして機能することもある。

　操作部２１１はユーザーがデジタルカメラ１０１に各種の指示や設定などを入力するための入力デバイス群であり、シャッターボタンやメニューボタン、方向キー、決定キーなど一般的なデジタルカメラが有するキーやボタンを備えている。また、表示部２１０がタッチディスプレイの場合、操作部２１１を兼ねる。なお、操作部２１１はマイクと音声コマンド認識部の組み合わせなどのような、物理的な操作を必要としない構成であってもよい。

　検出部２１２はジャイロやセンサを含み、デジタルカメラ１０１の角速度情報、姿勢情報などを取得する。なお、姿勢情報は水平方向に対するデジタルカメラ１０１の傾きなどの情報を含む。

　図３は、本実施形態に係るコンピュータ１０２の機能構成例を示すブロック図である。システム制御部３０１は、例えばＣＰＵであり、プログラムをＲＯＭ３０２より読み出し、ＲＡＭ３０３に展開して実行することによりコンピュータ１０２が備える各ブロックの動作を制御する。ＲＯＭ３０２は、書き換え可能な不揮発性メモリであり、システム制御部３０１が実行するプログラムに加え、各ブロックの制御に必要なパラメータ等を記憶する。ＲＡＭ３０３は、書き換え可能な揮発性メモリであり、コンピュータ１０２が備える各ブロックが出力されたデータの一時的な記憶領域として用いられる。

　通信部３０４は、有線または無線通信により、デジタルカメラ１０１などの外部装置と通信する。記録装置３０５は例えばハードディスクであり、通信部３０４がデジタルカメラ１０１から受信した画像データなどを保存する。

　画像処理部３０６は例えば記録装置３０５からＲＡＭ３０３に展開された画像データに対して後述するデフォーカス量の算出や、画像から奥行方向を推定や、光学系と撮像素子の設計位置からの乖離度合に関連する情報の算出などを行う。

　表示部３０７は、コンピュータ１０２で稼動するＯＳやアプリケーションが提供するＧＵＩや各種のデータの表示に用いられる。表示部３０７はコンピュータ１０２が備えていても、外部装置として接続されていてもよい。

　操作部３０８はユーザーがコンピュータ１０２に各種の指示や設定などを入力するための入力デバイス群であり、一般的にはキーボード、マウス、トラックパッドなどが含まれる。また、表示部３０７がタッチディスプレイの場合、操作部３０８を兼ねる。なお、操作部３０８はマイクと音声コマンド認識部の組み合わせなどのような、物理的な操作を必要としない構成であってもよい。

　図４Ａは、図２の撮像部２０５の画素の配列構成を示している。図４Ａに示すように、撮像部２０５では、複数の画素４００が二次元的に規則的に配列されている。具体的には、複数の画素４００は、例えば二次元格子状に配列されている。なお、画素４００の配列構成は、格子状の配列構成に限定されるものではなく、他の配列構成を採用することもできる。

　図４Ｂは、図４Ａに示す画素４００を拡大して示すものである。図４Ｂに示すように、各画素４００は、マイクロレンズ４０１と、一対の光電変換部４０２Ａ、４０３Ｂ（以下、それぞれ瞳分割画素４０２Ａ、４０３Ｂと呼ぶ。）を有している。瞳分割画素４０２Ａ、４０３Ｂは、互いに同一の平面形状を有しており、それぞれｙ軸方向を長手方向とする長方形状の平面形状を有している。各画素４００において、瞳分割画素４０２Ａ、４０３Ｂは、マイクロレンズ４０１のｙ軸方向に沿った垂直二等分線を対称軸として、線対称に配置されている。なお、瞳分割画素４０２Ａ、４０３Ｂの平面形状は、これに限定されるものではなく、他の平面形状を採ることができる。また、瞳分割画素４０２Ａ、４０３Ｂの配置の態様も、これに限定されるものではなく、他の配置の態様を採ることができる。

　本実施形態においては、二次元的に規則的に配列された瞳分割画素４０２Ａ、４０３Ｂから、視差画像としてそれぞれＡ像、Ｂ像が出力されるものとする。また、Ａ像とＢ像を加算したＡ＋Ｂ像が記録静止画として記録媒体２０８に記録される。撮像部２０５を図４Ａ及び図４Ｂに示すように構成することで、光学系２０４の瞳の異なる領域を通過する一対の光束を一対の光学像として結像させて、それらをＡ像、Ｂ像として出力することができる。なお、Ａ像、Ｂ像の取得方法は、上記に限られず、種々の方法を採ることができる。例えば、空間的に間隔をあけて設置した複数台のカメラ等の撮像装置により取得された互いに視差のついた画像をＡ像、Ｂ像としてもよい。また、複数の光学系と撮像部とを有する１台のカメラ等の撮像装置により取得された視差画像をそれぞれＡ像、Ｂ像としてもよい。

　以下、画像処理装置１００の動作について説明する。デジタルカメラ１０１の操作部２１１を通じてシャッターボタンの全押しなどの撮影指示が入力された場合、画像処理装置１００は図５Ａと図５Ｂおよび図５Ｃに示す処理を実行する。なお、図５Ａと図５Ｃの処理はデジタルカメラ１０１で実行され、図５Ｂの処理はコンピュータ１０２で実行されるものとする。

　まずステップＳ５００で、システム制御部２０１は検出部２１２からシャッターボタンが押された際のカメラの状態を検出する。ここでは水平方向に対するデジタルカメラ１０１の傾きと、上下方向の向きをカメラの状態として検出するものとする。

　続くステップＳ５０１で、システム制御部２０１は撮影準備状態において決定した露出条件に従って撮影処理を行い、撮像部２０５から一対の視差画像であるＡ像及びＢ像を取得する。なお、予め記録媒体２０８に記録しておいたＡ像及びＢ像を読み出して取得する構成としてもよい。また、Ａ像とＢ像を加算して静止画記録用の画像として記録媒体２０８に記録してもよい。本実施の形態における静止画記録用の画像を図６に示す。図６は撮影したＡ像とＢ像を加算した画像である。また、６００はオートフォーカス枠である。

　続くステップＳ５０２で、システム制御部２０１は画像処理部２０７を制御し、ステップＳ５０１で取得した視差画像から、撮影範囲における空間的な（２次元的な）デフォーカス量分布を表すデータを出力する。以降の説明では空間的なデフォーカス量分布を表すデータをデフォーカスマップと呼ぶ。デフォーカス量は光学系２０４が合焦している距離からのピントのずれ量であるため、距離情報の一種である。デフォーカス量を取得する手法については、例えば特開２００８－１５７５４に開示されている手法のように視差画像間の位相差を算出する方法を用いればよい。具体的には視差画像のずれ量とデフォーカス量の関係は次の式で表される
　ＤＥＦ＝ＫＸ・ＰＹ・ｘ　・・・（１）

　式（１）において、ＤＥＦはデフォーカス量、ＰＹは検出ピッチ（同一種類の画素の配置ピッチ）、ＫＸは一対の瞳を通過する光束の重心の開き角の大きさによって決まる変換係数、ｘは視差画像のずれ量である。

　また本発明はこれに限定されるものではなく、距離情報分布として視差画像のずれ量であるシフト量の分布を取得するようにしても良い。

　また、距離情報分布は、視差画像のずれ量に検出ピッチＰＹをかけてマイクロメートルなどの長さの単位で表した情報でも良い。

　また本発明はこれに限定されるものではなく、距離情報分布としてデフォーカス量から、さらにフォーカスレンズ位置を参照して実距離の分布に換算しても良い。

　また本発明はこれに限定されるものではなく、距離情報分布としてデフォーカス量をＦδ（Ｆは絞り値、δは許容錯乱円径）で正規化した値の分布を取得するようにしても良い。この分布はδに対するボケ量を表現している。ここで絞り値Ｆは撮影絞り値を分布全体に対して適用してもよいが、より精度の高いボケ量の分布を得るために、撮影条件における光学系２０４の周辺減光特性を加味した実効的な絞り値（実効絞り値）を適用するのがよい。図１８は周辺減光特性Ｖ（ｈ）の一例を示すグラフであり、横軸に光学中心からの距離（像高）、縦軸に各像高における、像高中心の光量を１として規格化した光量を表している。レンズ枠や絞り枠によってケラレが発生し、図１８では像高が高くなる（撮影範囲における端に近づく）につれて光量の低下が発生している。この周辺減光特性はレンズごとに固有の性質がある。ここで像高ｈにおける実効絞り値Ｆ´は周辺減光特性を参照し、次の式で表現される。
　Ｆ´＝Ｆ／√Ｖ（ｈ）・・・（２）

　図６の画像に対するデフォーカスマップを図７に示す。デフォーカスマップ７００は、距離が近いほど白く（画素値が高くなる）なる連続値のグレースケールで表現されている。また、７０１はオートフォーカス枠で、合焦領域（デフォーカス量がゼロ）は灰色で表現されている。また、７０２は合焦領域を結んだ直線である。

　次いでステップＳ５０３で、システム制御部２０１は、画像データと中心とする以下の情報を通信部２０９を通じてコンピュータ１０２に送信する。
　・静止画記録用の画像
　・デフォーカスマップ
　・カメラの状態検出情報（カメラの傾きを検出した情報）
　・オートフォーカスの枠位置情報
　・カメラ本体の識別番号（ＩＤ）・装着しているレンズの識別番号（ＩＤ）
　・Ｆ値、ＩＳＯ感度などの撮影情報

　上記情報を関連付けて記録もしくは送信する。例えばＪＰＥＧフォーマットであればＥｘｉｆ情報に記録、ＲＡＷデータ形式であれば画像付加情報として、１つのファイルに記録してもよい。または関連する複数のデータをまとめて格納することができるコンテナファイルとして画像と共に必要な情報を記録もしくは送信すればよい。もしくは、まとめずに別個のファイルとして記録もしくは送信してもよい。例えば同じファイル名としたり、同じフォルダに含めたり、送信時に各データを順に連続的に送信する（受信側がデータの順番、種類などから関連づいた各情報だと認識できる）など、関連するデータファイルであることが把握できるように処理する必要がある。記録や送信に係るファイル構造や送信プロトコルに応じた送信制御などは本発明と直接関連せず、また公知の方法を用いることができるため、詳細については説明を省略する。なお、上記情報を記録媒体２０８に記録したのちに通信部２０９を通じてコンピュータ１０２に送信してもよいし、記録媒体２０８をデジタルカメラ１０１から取り外してコンピュータ１０２で画像データを読み取ってもよい。また、デフォーカスマップ（記録情報分布）はカメラ側で生成せず、対となる視差画像を上記関連情報ともに記録しておくことでコンピュータ１０２で生成させてもよい。

　本実施形態ではステップＳ５０４からステップＳ５０８の処理はコンピュータ１０２が実行する。ステップＳ５０４からステップＳ５０８の処理をデジタルカメラ１０１とは異なる装置で行うことで、ユーザーは特別なカメラ操作を行うことなく光学系と撮像素子の設計位置からの乖離度合に関連する情報を知ることができる。また、本実施例ではデジタルカメラ１０１においてデフォーカスマップを生成したが、コンピュータ１０２に視差画像を送信し、コンピュータ１０２においてデフォーカスマップを生成する構成としてもよい。連続撮影中でデジタルカメラ１０１での演算負荷が高い場合に、デフォーカスマップを生成する演算をコンピュータ１０２に分散することで、光学系と撮像素子の設計位置からの乖離度合に関連する情報を算出するまでにかかる時間を削減することができる。また、このとき使用しているレンズと撮影条件によって一意に決まる変換係数ＫＸや実効絞り値Ｆ´の情報を合わせて送信することで、コンピュータ１０２側でも種々の距離情報分布を生成することができる。また、変換係数ＫＸや実効絞り値Ｆ´の情報を予めコンピュータ１０２に記憶させておき、受信したレンズの識別（ＩＤ）番号と撮影情報を基に記憶している情報から読み出す方式でも構わない。

　図８は本実施形態のコンピュータ１０２が有する画像処理部３０６の機能構成例を模式的に示すブロック図である。以下、図５Ｂをさらに参照しながら、画像処理部３０６の動作について説明する。なお、画像処理部３０６の動作は、システム制御部３０１の制御に従って実現される。

　最初にシステム制御部３０１がステップＳ５０３で送信された情報を受信し、読み出したデータをＲＡＭ３０３に展開する（ステップＳ５０４）。

　次いで、ステップＳ５０５において、奥行方向推定部８００はＲＡＭ３０３に記録されている視差画像取得時のカメラの状態検出情報８０３（撮影条件）から、画像の奥行方向を推定する。本実施例ではデフォーカス量がゼロとなる面を参考に奥行方向を推定する。ここでデフォーカス量がゼロとなる面について、図９を用いて説明する。

　図９は光学系と撮像素子が設計位置からずれていない状態のデジタルカメラ１０１を俯瞰した状態で、なおかつ水平方向（図９におけるｘ軸方向）に対するデジタルカメラ１０１の傾きがゼロの状態で、地面にある平面被写体９０１を撮影する様子を表している。そして、光軸９００と被写体９０１が交わる点にオートフォーカス枠９０３があるとすると、合焦領域をつないだ面（以降、ピント面と呼ぶ）は撮像部２０５に並行で、光軸９００と垂直に交わる面９０２になる。さらに被写体９０１を撮影した画像におけるピント面９０２はオートフォーカス枠９０３を通過する直線９０４で表すことができる。被写体９０１を撮影した画像におけるデフォーカスマップを図１０の１０００に、オートフォーカス枠を１００１に、ピント面を１００２に示す。図１０より光学系と撮像素子が設計位置からずれていない状態のカメラが俯瞰した状態で、かつ水平方向に対する傾きがゼロの状態で撮影した場合、ピント面１００２は画像に対して水平な直線となる。更に撮影時のカメラの上下方向の向きも既知であるので、ピント面１００２よりも上部が遠方、下部が手前となる。つまり撮影画像の下部から上部の方向に奥行方向が変化していると推定できる。奥行方向推定部８００は奥行の推定情報８０４としてピント面１００２を表す直線の式を出力する。

　乖離度算出部８０１は、デフォーカスマップ８０２と、奥行方向推定部８００による奥行の推定情報８０４（ピント面を表す直線の式）から、視差画像を撮影した光学系と撮像素子の設計位置からの乖離度合に関連する情報８０５を算出する（ステップＳ５０６）。

　ここで、光学系と撮像素子が設計位置からずれた場合に起こる現象を図１１Ａ及び図１１Ｂを用いて説明する。図１１Ａは光学系２０４と撮像部２０５が設計位置の状態を表している。その状態で撮影を行うとピント面１１００は撮像部２０５に対して並行になる。一方、図１１Ｂは光学系２０４が設計位置からずれて偏心が発生した状態を表している。この場合、シャインプルーフの法則により、光学系２０４と撮像部２０５が成す角θに応じてピント面１１０１も傾く。図１１Ｂの状態で、カメラが俯瞰、かつ水平方向に対するカメラの傾きがゼロの状態で、地面にある平面被写体を撮影した画像におけるデフォーカスマップを図１２の１２００に、オートフォーカス枠を１２０１に、ピント面を１２０２に示す。図１２より奥行が画面右下から左上に向かって変化していることがわかる。従って光学系と撮像素子が設計位置からずれていない状態における奥行の変化方向（図１０）から乖離が発生する。そのため、ユーザーの距離感覚とピント面の関係がずれてしまい、ユーザーが想定していない撮影結果となってしまう。

　乖離度算出部８０１では、デフォーカスマップ８０２におけるピント面１２０２を表す直線の式と、奥行方向推定部８００が推定したピント面を表す直線１００２とが成す角θ＿ｄｉｆｆを算出し、乖離度合を示す評価値８０５としてＲＡＭ３０３に記憶させる。図１３にθ＿ｄｉｆｆを示す。θ＿ｄｉｆｆが大きいほど、光学系と撮像素子が設計位置からの乖離が大きい（キャリブレーションを行う必要がある）ということになる。なお、画像撮影時に水平方向に対するカメラの傾きがある場合は、その傾き角度分をθ＿ｄｉｆｆから減算し補正すればよく、水平方向に対するカメラの傾きがある状態で撮影した画像であっても本発明の効果を得ることができる。

　続くステップＳ５０７で、システム制御部３０１は、算出したθ＿ｄｉｆｆを予め保持している閾値と比較し、θ＿ｄｉｆｆが閾値よりも大きい場合はステップＳ５０８を実行し、閾値以下の場合は処理を終了する。

　ステップＳ５０８で、システム制御部３０１は、ユーザーが使用しているカメラにおいて、光学系と撮像素子が設計位置からずれていることを知らせるために、以下の情報を通信部３０４を通じてデジタルカメラ１０１に送信する。
　・ずれを検知したカメラ本体の識別番号
　・ずれを検知したレンズの識別番号

　ステップＳ５０９で、デジタルカメラ１０１におけるシステム制御部２０１は、コンピュータ１０２から送信された情報を受信したかを確認する。受信した場合はステップＳ５１０を実行し、受信していない場合は処理を終了する。

　ステップＳ５１０で、システム制御部３０１は、表示部２１０に図１４のような表示を出力し、カスタマーセンターにカメラとレンズを修理に出すことを勧める。カスタマーセンターでは、ユーザー（デジタルカメラ１０１）から該画像データとともにカメラ・レンズＩＤ情報等を受け取るので、修理・故障情報の特定、統計などに役立つ。

　このように本実施形態によれば、ユーザーの利便性を損なうことなく、光学系と撮像素子の設計位置からの乖離度合に関連する情報を算出し、ユーザーに通知することができる。

　また、本実施の形態において、光学系と撮像素子が設計位置からずれていることを知らせる文面を表示したが、ユーザーがずれの発生をより認識しやすくするために表示部２１０に画像を表示してもよい。具体的にはステップＳ５０２で生成した、図１２のグレースケールのデフォーカスマップや、さらにデフォーカスマップをルックアップテーブル変換等でカラー値に変換したものを表示部２１０に表示するように構成してもよい。

　また、本実施の形態において、光学系あるいは撮像素子に設計位置からのずれが発生している場合にユーザーに情報を表示したが、ずれの発生が検知できなかった場合、あるいはいずれの場合でも情報を表示する構成としても構わない。このように構成することで、ユーザーが判定結果をすぐに必要としているときにキャリブレーションの要否を知ることができるようになる。

　また、本実施の形態において、対の視差画像による視差量の算出からデフォーカスマップを生成する場合を例に説明したが、本発明はこれに限定されるものではない。デフォーカスマップの生成方法としては、例えばピント位置や絞り値が異なる２枚の画像の相関からデフォーカスマップを取得するＤＦＤ（Ｄｅｐｔｈ　Ｆｒｏｍ　Ｄｅｆｏｃｕｓ）方式を用いる構成としても良い。アパーチャブラケット撮影モードで取得した画像を使って光学系と撮像素子の設計位置からの乖離度合に関連する情報を算出することができるので、ずれを検出する機会を増やし、適切なタイミングでユーザーに情報提供をすることができるようになる。

　また、本実施の形態において、カメラの状態検出情報から画像の奥行方向を推定したが、本発明はこれに限定されるものではなく、例えば消失点に関する情報を用いて奥行方向の推定を行うことができる。このように構成することで、カメラの状態を検知するジャイロやセンサがないカメラであっても本発明の効果を得ることができ、ユーザーの利便性が向上する。以下、消失点検出を用いた奥行方向の推定と、光学系と撮像素子の設計位置からの乖離度合に関連する情報の算出方法について説明する。

　消失点とは透視変換によって三次元空間中の平行線を画像平面上に投影した場合に、それら平行線に対応する画面平面上の直線が収束する点のことである。つまり消失点とは、実際は奥行きを有している空間が投影された平面画像上において、「無限に遠い点」であり、奥行き方向に平行な線の延長線が交わる点や、奥行き方向に伸びる面の延長が無限遠方に収束する点として認識される。そこで、画像における直線をＨｏｕｇｈ変換などの公知の方法を用いて検出し、検出された複数の直線が最も多く収束する点を消失点として検出することができる。図６において消失点を検出した結果を図１５に示す。

　図１５における１５００が消失点である。そして、奥行方向はオートフォーカス枠６００から消失点に向かう方向１５０１であると推定することができる。奥行方向推定部８００は消失点に向かう方向１５０１を奥行方向推定情報８０４として出力する。

　乖離度算出部８０１では、デフォーカスマップ８０２におけるオートフォーカス枠近傍のデフォーカス量の勾配（変化の向き）を公知の技術を用いて算出する。そして、奥行方向推定情報８０４との差分から光学系と撮像素子の設計位置からの乖離度合を示す評価値を算出する。具体的に、消失点に向かう方向とデフォーカス量の勾配方向をそれぞれベクトルとして扱い、両ベクトルの差分を評価値とする。光学系と撮像素子が設計位置からのずれが大きくなるほど、評価値の値も大きくなる。

　また、画像から抽出した特徴を参考に、画像の奥行方向を推定する方法は上記消失点検出だけではなく、テクスチャの密度の変化に関する情報を用いることができる。テクスチャの密度の変化を参考に画像の奥行方法を検出する。方法としては、例えば、“Ｔｅｘｔｕｒｅ　Ｓｔｒｕｃｔｕｒｅ　Ｃｌａｓｓｉｆｉｃａｔｉｏｎ　ａｎｄ　Ｄｅｐｔｈ　Ｅｓｔｉｍａｔｉｏｎ　ｕｓｉｎｇ　Ｍｕｌｔｉ－Ｓｃａｌｅ　Ｌｏｃａｌ　Ａｕｔｏｃｏｒｒｅｌａｔｉｏｎ　Ｆｅａｔｕｒｅｓ”，　ＫＡＮＧ　Ｙ，　ＨＡＳＥＧＡＷＡ　Ｏ，　ＮＡＧＡＨＡＳＨＩ　Ｈ　（Ｔｏｋｙｏ　Ｉｎｓｔ．　Ｔｅｃｈｎｏｌ．），　ＪＳＴ－ＰＲＥＳＴＯ（非特許文献）に記載された手法を採用することができる。

　具体的には、奥行方向推定部８００は静止画記録用の画像を参照し、画像中に一様なテクスチャが存在する場合（例えば、図６における道路）、遠方にいくにしたがってテクスチャの密度が小さくなることを利用する。つまり、奥行方向推定部８００は、画像内において、同質のテクスチャの密度が徐々に小さくなる領域を検知した場合には、所定のテクスチャに覆われた平面が撮影位置から遠ざかっていると判断する。手前から遠ざかってく方向を奥行方向推定情報８０４として出力する。特に合焦領域細かいテクスチャを検出しやすいので、オートフォーカス枠近傍に対して上記判断を行うことで、奥行方向を精度よく推定することができる。更に公知の一般物体検出を利用し、道路などの地面や水面、地面あるいは水面に対して垂直方向に敷設された構造物である生垣など一様なテクスチャが存在する可能性の高い領域を予め検出し、対象領域を限定してもよい。こうすることで、奥行方向の位置の分布の推定にかかる処理時間を削減することができる。

　そして、乖離度算出部８０１は、消失点を用いたときと同じようにデフォーカスマップ８０２におけるオートフォーカス枠近傍のデフォーカス量の勾配（変化の向き）のベクトルと、テクスチャの密度の変化から推定した奥行方向ベクトルの差分を評価値とする。

　また、本実施形態では、１枚の撮影画像から光学系と撮像素子の設計位置からの乖離度合を示す評価値を算出し、ずれが発生しているかどうかの判定まで行った。しかし本発明はこれに限定されるものではなく、ユーザーが撮影した画像の枚数がある基準枚数に達したら判定を行う構成としても構わない。複数の撮影画像における評価値から判定することで、ずれが発生しているかどうかの判定確度を向上させることができる。また、光学系と撮像素子が設計位置からのずれの発生を検知したことを知らせるかどうかの条件も、ずれを検知した画像の枚数がある基準枚数に達したかどうかを確認することで、より判定の確度を上げることができる。

　また、撮影した画像すべてに対して光学系と撮像素子の設計位置からの乖離度合を判定するのではなく、大量にある画像に対し、予め乖離度合を判定するのに適した画像であるかを評価してから乖離度合の判定処理を行うのがよい。具体的には上記一般物体検出を行い、道路など一様なテクスチャが存在し、奥行方向を推定するのに適した画像かどうかを評価する。このように構成することで乖離度合を判定するのにかかる処理時間を削減することができる。また、道路などテクスチャが存在する被写体はステップＳ５０２において視差画像の位相差を検出するのにも適しているので、より精度の高い乖離度の評価値が期待できる。また、公知のＧＰＳ情報を画像の付帯情報として記録しておくことで、撮影した画像に道路などテクスチャが存在する被写体が写っていそうかを判断することができる。ユーザーが撮影した大量の画像からテクスチャが写っていることが期待できる画像を予め選別することで、確度の高い評価結果を算出するまでにかかる時間を短縮することができる。また、光学系が着脱可能なカメラの場合、装着したレンズの個体ごとに光学系と撮像素子が設計位置からのずれが検知できるかの統計をとる。これにより、ずれが発生しているのが光学系か、撮像素子かを分離することができ、より詳細な判定結果をユーザーに提供することが可能になる。

　また、乖離度算出部８０１において、デフォーカスマップ８０２の勾配を精度よく得るために以下の内容を考慮することで、確度の高い評価結果を得ることができる。具体的には算出したデフォーカスマップにおけるヒストグラム（統計情報）を取得し、ヒストグラムの形状からデフォーカス量の勾配を精度よく得られるかどうかを判断する。次に説明するが、ヒストグラムの幅が広く、滑らかに変化している画像を選択するのがよい。図１６は図７のデフォーカスマップにおけるヒストグラムを表している。図１６より図７はデフォーカス量が手前から奥にかけて広く分布し、またデフォーカス量の変化も滑らかであるため、画像全体におけるデフォーカス量の変化の方向を評価するのに適した画像であるといえる。一方、図１７Ａに示すように、ポートレート撮影でバストアップの人物が写っている画像における、デフォーカスマップを図１７Ｂに、ヒストグラムを図１７Ｃに示す。画像中のデフォーカス量がバストアップの人物に集中しているため、画像全体におけるデフォーカス量の変化の方向を評価するのには適していないことがわかる。乖離度算出部８０１において、奥行方向推定情報８０４と比較する前にデフォーカスマップのヒストグラムを確認し、乖離度合を評価するのに適した画像でない場合、判定処理を中断することで演算時間を削減することができる。

　また、ステップＳ５０２において、視差画像の位相差を精度よく取得するには画像のＳ／Ｎが高い画像を選べばよい。そのため、大量に撮影した画像において、なるべく低い感度で撮影された画像を優先して選択するようにすることで、評価値の確度を向上させることができる。

　また、視差画像の位相差は光学系２０４における収差の影響を受けるので、光学系の設計情報として把握している収差を補正してから奥行方向推定部８００が推定した結果と比較するのがよい。また、比較する領域を収差の影響が小さい領域に限定的にする対応でもよい。上記対応をおこなうことで、より確度の高い評価結果を算出することができる。

　また、ステップＳ５１０において、光学系と撮像素子が設計位置からのずれの発生の検知情報を受け取ると、デジタルカメラ１０１の表示部にユーザーに対してカスタマーセンターにカメラとレンズを修理に出すことを促す表示を出力した。しかし、その他の対応を行うこともできる。具体的にはステップＳ５０８において、乖離度合を示す評価値８０５もデジタルカメラ１０１に送信する。そして、乖離度合を示す評価値８０５に応じて、光学系と撮像素子が設計位置からのずれが発生していない状態に近づくよう光学系や撮像部に搭載されているＩＳ機構を駆動することで簡易的なキャリブレーションを行うことができる。または、乖離度合を示す評価値８０５を参照し、ピント面が傾いる領域に対し画像処理（シャープネスやぼかし処理）を施すことで、光学系と撮像素子が設計位置からのずれが発生していない状態で得られる画像に近づくよう加工することもできる。具体的に、ずれが発生していない状態と比較してデフォーカス量が合焦寄りになってしまっている領域にはぼかし処理を行う。反対に、本来のデフォーカス量よりも背景、もしくは手前寄りになってしまっている領域にはシャープネス処理を施す。上記のように構成することでユーザーがカメラとレンズを修理に出せない状況であってもユーザーの想定にあった被写界深度の画像を取得することができ、ユーザーの利便性を向上させることができる。

　また、光学系と撮像素子が設計位置からのずれの発生の検知情報を送る先はユーザーのカメラのみだけではなく、カスタマーセンターにも情報を送るようにしても構わない。ユーザー自身が登録したカスタマー情報と、所有しているすべての機材に関する情報とを合わせてカスタマーセンター側で管理することにより、光学系と撮像素子が設計位置からのずれの発生回数や、メンテナンス記録を取ることにより、修理にかかる時間の短縮などユーザーの利便性を更に向上させることが可能になる。

　また、ユーザーが撮影するカメラとレンズが単一である場合、表示部２０１を通じて発生原因が光学系にあるのか、撮像素子にあるのかを切り分ける動作モードを実行するかどうかをユーザーに提示する構成としてもよい。ユーザーが原因を切り分ける動作モードを選択した場合、表示部２０１に指示を出し、原因の切り分けに適した画像を撮影するように促す。具体的な指示の内容としては、正対した壁に方眼紙を貼り付けてもらい、光学系の撮影条件（焦点距離、フォーカスレンズ位置、絞り）を変えて撮影してもらう。解析の結果光学系の撮影条件を変えると判定結果が変わる場合はレンズが原因であり、撮影条件によらずずれの発生の検知される場合は撮像素子が原因である。このように構成することで、光学系と撮像素子が設計位置からのずれが発生する原因をつきとめ、より的確な通知や修理を行うことが可能になる。

　［第２実施形態］
　以下、本発明の第２実施形態による画像処理装置、画像処理方法、および画像処理プログラムについて、図面を参照して詳細に説明する。なお、上記第１実施形態による画像処理装置と同様の構成要素については同一の符号を付し説明を省略し又は簡略にする。

　第１実施形態ではカメラ装置１００の内部パラメータである光学系と撮像素子の設計位置からの乖離度合に関連する情報を算出し、ユーザーに通知する形態について説明した。本発明の第２実施形態では画像処理装置の外部パラメータである位置あるいは姿勢をキャリブレーションする形態について説明を行う。

　先ず、本実施形態に係る撮像システムについて説明する。本実施形態に係る撮像システムは、社会インフラ点検の対象となる構造物の検査対象面を撮像するためのもので、特に、該検査対象面に対する正対撮像あるいは撮像画像評価を容易に実現するためのものである。本実施形態に係る撮像システムは、動画像を撮像するもしくは定期的／不定期的に静止画像を撮像する撮像装置としてのカメラ装置と、該カメラ装置に装着するレンズ装置と、該カメラ装置を回転させる雲台装置と、を有する。

　先ず、本実施形態に係るカメラ装置１９００およびレンズ装置１９１３のハードウェア構成例について、図１９Ａのブロック図を用いて説明する。ただし、本実施形態においても、第１実施形態と同じデジタルカメラ１０１で撮像装置が構成されていてもよい。図１９Ａでは、カメラ装置１９００にレンズ装置１９１３が装着された状態を示している。

　先ず、カメラ装置１９００のハードウェア構成例について説明する。本実施形態に係るカメラ装置１９００は、カメラ装置１９００の撮像範囲内の複数の位置における距離情報分布を取得し、カメラ装置１９００の回転あるいは並進を指示する情報を、該取得した距離情報間の差分に基づいて取得し、該取得した情報を出力する。ここで距離情報及び距離情報分布は、第１実施形態と同様に対の視差画像による像ずれ量及び像ずれ量分布、いずれかの手段で取得されたデフォーカス量及びデフォーカスマップあるいは被写体距離情報および被写体距離マップ、のいずれの形態であってもよい。

　ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）１９０１は、ＲＯＭ（Ｒｅａｄ－Ｏｎｌｙ　Ｍｅｍｏｒｙ）１０２やＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）１９０３に格納されているコンピュータプログラムやデータを用いて各種の処理を実行する。これによりＣＰＵ１９０１は、カメラ装置１９００全体の動作制御を行うとともに、カメラ装置１９００が行うものとして後述する各処理を実行もしくは制御する。

　ＲＯＭ１９０２には、カメラ装置１９００の設定データ、カメラ装置１９００の起動に係るコンピュータプログラムやデータ、カメラ装置１９００の基本動作に係るコンピュータプログラムやデータ、などが格納されている。

　ＲＡＭ１９０３は、ＲＯＭ１９０２から読みだしたコンピュータプログラムやデータ、記録媒体Ｉ／Ｆ１９０８を介してメモリカード１９０９から読みだしたコンピュータプログラムやデータ、を格納するためのエリアを有する。さらにＲＡＭ１９０３は、撮像素子１９０４から出力された撮像画像、外部Ｉ／Ｆ１９１０を介して外部装置から受信したコンピュータプログラムやデータ、カメラ通信部１０７によりレンズ装置１９１３から受信したデータ、を格納するためのエリアを有する。さらにＲＡＭ１９０３は、ＣＰＵ１９０１が各種の処理を実行する際に用いるワークエリアを有する。このようにＲＡＭ１９０３は、各種のエリアを適宜提供することができる。

　撮像素子１９０４の画素配列は、図２の撮像部２０５と同じ配列構成となっており、レンズ装置１９１３を介して入光した光に応じた撮像画像を生成して出力する。表示部１９０５は、液晶ディスプレイ（ＬＣＤ）や有機ＥＬディスプレイ（ＯＬＥＤ）等であって、表示画面やファインダー画面に画像や文字を表示するデバイスである。なお表示部１０５は、カメラ装置１９００に備わっているものでなくてもよく、例えば、カメラ装置１９００と無線および／または無線で通信可能な外部デバイスであってもよい。

　操作部１９０６は、ボタン、ダイヤル、タッチパネル、ジョイスティック等のユーザインターフェースであり、ユーザーが操作することで各種の指示をＣＰＵ１９０１に対して入力することができる。

　カメラ通信部１９０７は、カメラ装置１９００とレンズ装置１９１３との間のデータ通信を行う。記録媒体Ｉ／Ｆ１９０８は、メモリカード１９０９をカメラ装置１９００に装着するためのインターフェースであり、ＣＰＵ１９０１は、記録媒体Ｉ／Ｆ１９０８を介してメモリカード１９０９に対するデータの読み書きを行う。

　メモリカード１９０９は、例えば、ＳＤ、ＣＦ、ＣＦｅｘｐｒｅｓｓ、ＸＱＤ、ＣＦａｓｔなどのカード型の記録媒体が知られている。また、メモリカード１０９は、無線ネットワークを介して外部装置にデータを記録するものであっても良い。

　外部Ｉ／Ｆ１９１０は、外部装置との間のデータ通信を行うための通信インターフェースであり、ＣＰＵ１９０１は、外部Ｉ／Ｆ１９１０を介して外部装置との間のデータ通信を行う。電源部１９１０は、カメラ装置１９００における電源供給および電源管理を行う。

　ＣＰＵ１９０１、ＲＯＭ１９０２、ＲＡＭ１９０３、撮像素子１９０４、表示部１９０５、操作部１９０６、カメラ通信部１９０７、記録媒体Ｉ／Ｆ１９０８、外部Ｉ／Ｆ１９１０、電源部１９１１は何れもシステムバス１９１２に接続されている。

　次に、レンズ装置１９１３のハードウェア構成例について説明する。ＣＰＵ１９１４は、ＲＯＭ１９１５やＲＡＭ１９１６に格納されているコンピュータプログラムやデータを用いて各種の処理を実行する。これによりＣＰＵ１９１４は、レンズ装置１９１３全体の動作制御を行うとともに、レンズ装置１９１３が行うものとして後述する各処理を実行もしくは制御する。

　ＲＯＭ１９１５には、レンズ装置１９１３の設定データ、レンズ装置１９１３の起動に係るコンピュータプログラムやデータ、レンズ装置１９１３の基本動作に係るコンピュータプログラムやデータ、などが格納されている。

　ＲＡＭ１９１６は、ＲＯＭ１９１５から読みだしたコンピュータプログラムやデータ、レンズ通信部１９１９によりカメラ装置１９００から受信したデータ、を格納するためのエリアを有する。さらにＲＡＭ１９１６は、ＣＰＵ１９１４が各種の処理を実行する際に用いるワークエリアを有する。このようにＲＡＭ１９１６は、各種のエリアを適宜提供することができる。

　レンズ通信部１９１９は、カメラ装置１９００とレンズ装置１９１３との間のデータ通信を行う。例えば、レンズ通信部１９１９は、カメラ装置１９００からレンズ装置１９１３への制御情報を受信したり、レンズ装置１９１３の動作状態などをカメラ装置１９００に通信したり、カメラ装置１９００からの電源の供給を受けたりする。

　表示部１９１７は、液晶ディスプレイ（ＬＣＤ）や有機ＥＬディスプレイ（ＯＬＥＤ）等であって、レンズ装置１９１３の動作状態などを表示するデバイスである。なお表示部１９１７は、レンズ装置１９１３に備わっているものでなくてもよく、例えば、レンズ装置１９１３と無線および／または無線で通信可能な外部デバイスであってもよい。

　操作部１９１８は、ボタン、ダイヤル、タッチパネル、ジョイスティック等のユーザインターフェースであり、ユーザーが操作することで各種の指示をＣＰＵ１１４に対して入力することができる。また、ユーザーが操作部１９１８を操作することで入力した指示は、レンズ通信部１９１９によってカメラ装置１９００に対して送信することもできる。

　レンズ駆動部１９２０は、レンズ装置１９１３が有する光学レンズを、ＣＰＵ１９０１やＣＰＵ１１４からの指示に基づいて制御するものであり、これにより、絞り、フォーカス、ズーム焦点、手振れ補正などの制御を行う。レンズ駆動部１９２０によって絞り、フォーカス、ズーム焦点、手振れ補正などが制御された後に該光学レンズを介して入光した光は上記の撮像素子１９０４で受光され、該撮像素子１９０４は、該受光した光に応じた撮像画像を生成して出力する。

　ＣＰＵ１９１４、ＲＯＭ１９１５、ＲＡＭ１９１６、レンズ通信部１９１９、表示部１９１７、操作部１９１８、レンズ駆動部１９２０、は何れも、システムバス１９２１に接続されている。

　次に、本実施形態に係る雲台装置２０００のハードウェア構成例について、図２０のブロック図を用いて説明する。

　ＣＰＵ２００１は、ＲＯＭ２００２やＲＡＭ２００３に格納されているコンピュータプログラムやデータを用いて各種の処理を実行する。これによりＣＰＵ２００１は、雲台装置２０００全体の動作制御を行うとともに、雲台装置２０００が行うものとして後述する各処理を実行もしくは制御する。

　ＲＯＭ２００２には、雲台装置２０００の設定データ、雲台装置２０００の起動に係るコンピュータプログラムやデータ、雲台装置２０００の基本動作に係るコンピュータプログラムやデータ、などが格納されている。

　ＲＡＭ２００３は、ＲＯＭ２００２から読みだしたコンピュータプログラムやデータを格納するためのエリアを有する。さらにＲＡＭ２００３は、ＣＰＵ２００１が各種の処理を実行する際に用いるワークエリアを有する。このようにＲＡＭ２００３は、各種のエリアを適宜提供することができる。

　外部Ｉ／Ｆ２００４は、リモコン装置２０１０からの各種の指示を無線若しくは有線の通信でもって取得するための通信インターフェースである。リモコン装置２０１０は、雲台装置２０００に対して各種の指示を入力するための装置であり、例えば、雲台装置２０００に載置されているカメラ装置１９００のパン角やチルト角を変更するための変更指示を入力することができる。また、外部Ｉ／Ｆ２００４は、雲台装置２０００に載置されたカメラ装置１９００とも通信可能である。

　電源部２００５は、雲台装置２０００における電源供給および電源管理を行う。表示部２０６は、液晶ディスプレイ（ＬＣＤ）や有機ＥＬディスプレイ（ＯＬＥＤ）等であって、雲台装置２０００の動作状態などを表示するデバイスである。なお表示部２００６は、雲台装置２０００に備わっているものでなくてもよく、例えば、雲台装置２０００と無線および／または無線で通信可能な外部デバイスであってもよい。

　操作部２００７は、ボタン、ダイヤル、タッチパネル、ジョイスティック等のユーザインターフェースであり、ユーザーが操作することで各種の指示をＣＰＵ２００１に対して入力することができる。

　駆動部２００８は、カメラ装置１９００を固定する台座（固定部材）と、該台座をパン、チルト、ＸＹＺ方向に並進駆動する駆動機構を備える。駆動部２００８は当該駆動機構を制御することで、カメラ装置１９００のパン角、チルト角、ＸＹＺ方向の位置を、外部Ｉ／Ｆ２００４を介してリモコン装置２１０から受けた指示等に基づいて制御する。また、本実施形態では、カメラ装置１９００を上述した雲台装置２０００に搭載してカメラ装置１９００のパン、チルト、撮影位置を制御している。しかし、これに限らず、例えばドローンなどのように、装置そのものが移動することによってカメラ装置１９００のパン、チルト、撮影位置の少なくとも１つが制御されるものであっても本発明は適用できる。

　ＣＰＵ２００１、ＲＯＭ２００２、ＲＡＭ２００３、外部Ｉ／Ｆ２００４、電源部２００５、表示部２００６、操作部２００７、駆動部２００８、は何れもシステムバス２００９に接続されている。

　次に、カメラ装置１９００の機能構成例について、図１９Ｂのブロック図を用いて説明する。以下では、図１９Ｂに示した各機能部を処理の主体として説明するが、実際には、該機能部に対応するコンピュータプログラムをＣＰＵ１９０１が実行することで、該機能部の動作を実現させる。また、図１９Ｂに示した機能部の少なくとも一部をハードウェアで実装しても構わない。

　被写体認識部１９２８は、公知の一般物体検出を利用し、撮像している画像に社会インフラ点検の対象となる構造物の検査対象面が写っているかどうかを認識する。具体的には、被写体認識部１９２８は予めインフラ点検の対象となる構造物に係る特徴量を記憶しておき、撮影され得られた画像と記憶画像の特徴量とを比較する。この結果は、画像における奥行方向を推定するための情報としても利用する。認識の結果、社会インフラ点検の対象となる構造物の検査対象面を撮影している場合、構造物の検査対象面に対してカメラ装置１９００を正対関係になるようキャリブレーションを行う処理が行われる。ここで検査対象面が平面である場合、カメラと構造物が正対関係であるので撮像範囲内でのデフォーカス量はおおよそ均一になるはずである。キャリブレーションの目標として、第１実施形態で説明した光学系と撮像素子の設計位置からの乖離度合を判定する手法と同様に、撮像範囲内での距離情報分布の各値がが均一（所定範囲内に収まる）になるようカメラ装置１９００の位置姿勢を補正すればよい。ただし以下本実施形態では例示としてパンあるいはチルト方向の制御を簡易的に撮影範囲内の一部の領域のデフォーカス量から設定する手法を示す。

　決定部１９２２は、「社会インフラ点検の対象となる構造物の検査対象面に対してカメラ装置１９００が正対するために、該カメラ装置１９００を操作させる回転方向および並進移動方向」を示す設定情報を取得する。設定情報は、例えば、ユーザーが操作部１９０６を操作して決定する。そして決定部１９２２は、設定情報が示すカメラの駆動が回転方向かつ横方向（パン方向）であれば、カメラ装置１９００の撮像範囲内で左右に並ぶ２つの領域を「デフォーカス量を取得するための領域」として設定する。（例えば、該撮像範囲内の左端近傍の位置と右端近傍の位置）。ここで、各領域の最小単位は１画素である。

　一方、決定部１９２２は、設定情報が示すカメラの駆動が回転方向かつ縦方向であれば、カメラ装置１９００の撮像範囲内で上下に並ぶ２つの領域を「デフォーカス量を取得するための領域」として設定する。（例えば、該撮像範囲内の上端近傍の位置と下端近傍の位置）。ここでも各領域の最小単位は１画素である。

　また、決定部１９２２は、設定情報が示すカメラの駆動が並進移動であれば、カメラ装置１９００の撮像範囲内で上下左右に並ぶ４つの領域を「デフォーカス量を取得するための領域」として設定する。ここでも各領域の最小単位は１画素である。

　また、本実施形態はユーザーによる設定情報を用いず（あるいは設定情報によらず）、第１の実施形態と同様複数の領域で距離情報を取得、すなわち距離情報分布を取得し、分布情報の解析結果から雲台装置２０００の駆動（カメラの位置姿勢）を制御してもよい。このとき、「デフォーカス量を取得するための領域」は、例えばデフォーカス量を取得可能な領域全体である。距離情報分布を取得することでたとえば平面検出により距離情報の２次元あるいは３次元の傾きが分かるため、該傾きが正対し各方向でゼロに近くなるようにカメラの位置姿勢を制御すればよい。

　制御部１９２４は、カメラ装置１９００の撮像範囲内において決定部１９２２が決定した「デフォーカス量を取得するための領域」からデフォーカス量を取得する。取得部１９２３は、制御部１９２４が取得したデフォーカス量を取得する。差分演算部１９２５は、取得部１９２３が取得した一方のデフォーカス量と他方のデフォーカス量との差分を求める。

　特定部１９２６は、差分演算部１９２５が求めた差分に基づいて、「カメラ装置１９００を駆動させる回転度合いや並進度合い（方向を含む）」を通知するための通知情報を特定する。出力部１９２７は、特定部１９２６が特定した通知情報を外部Ｉ／Ｆ１９１０を介して雲台装置２０００に出力する。雲台装置２０００は、外部Ｉ／Ｆ２００４を介して通知情報を取得し、該通知情報に基づいて駆動部２００８によってカメラ装置１９００が所望の位置姿勢になるように制御する。

　本実施形態では、このような撮像システムを用いて、検査対象となる社会インフラ構造物の撮像を行い、該撮像により得られた撮像画像に基づいて該社会インフラ構造物の検査を行う。本実施形態に係る撮像システムを用いて社会インフラ構造物を撮像する撮像方法について、図２１Ａ及び図２１Ｂを用いて説明する。

　検査対象となる社会インフラ構造物における検査対象面の一例を図２１Ａに示す。図２１Ａに示す社会インフラ構造物２１００は、側面２１０１を有し且つ横に長い壁状の構造物となっている。参照番号２１０２は、社会インフラ構造物２１００を図面に基づいて分割し、打ち継ぎを行って建造した際に発生した目地部分を示す。２１０２の部分は、打ち継ぎ目とも呼ばれるが、ここでは分かり易さの為に目地と呼ぶ。目地部分２１０２は、目視が可能であることから、検査業務を行う単位としても用いられる。参照番号２１０３は、１回の検査の対象となる領域（検査対象領域）を示しており、撮像システムは、該検査対象領域２１０３を含む撮像領域２１０４を撮像する。撮像領域２１０４を撮像した撮像画像において「撮像領域２１０４内で検査対象領域２１０３の周辺部に該当する部分画像」は、隣接する検査対象領域との位置関係を把握する為の情報となる。そのため、この部分画像は、社会インフラ構造物２１００全体を含む一枚の画像に合成する際の位置合わせとしても使用される。また、この周辺部に該当する部分画像は、１つの検査対象領域にとどまらない広範囲な変状の検査の為にも用いられるものである。

　このような撮像領域２１０４を本実施形態に係る撮像システムを用いて撮像する様子を図２１Ｂに示す。図２１Ｂでは、三脚２１０８を有する雲台装置２０００にカメラ装置１９００が装着されており、該カメラ装置１９００にはレンズ装置１９１３が装着されている。カメラ装置１９００とレンズ装置１９１３との組み合わせによって撮像される撮像範囲２１０９の検査対象面における幅（図中横方向のサイズ）は、撮像領域２１０４の幅（図中横方向のサイズ）に相当する。

　そして、検査対象領域２１０３の撮像が完了すると、該検査対象領域２１０３に隣接する未撮像の検査対象領域の撮像を行う。本実施形態に係る撮像システムを参照番号２１１０が示す位置に移動させ、同様にして、撮像範囲２１１２内の検査対象領域の撮像を行う。参照番号２１１０が示す位置での撮像が完了すると、該検査対象領域に隣接する未撮像の検査対象領域の撮像を行うべく、本実施形態に係る撮像システムを参照番号２１１１が示す位置に移動させ、同様にして、撮像範囲２１１３内の検査対象領域の撮像を行う。また、ドローンなどの移動体にカメラ装置１９００を搭載している場合、ユーザーは各撮像位置に移動体を手動操作または自動で移動させ、順次撮像を行う。

　ここで、本実施形態では、カメラ装置１９００は検査対象領域に対して正対している必要がある。本実施形態では、カメラ装置１９００が該検査対象領域に対して正対しているか否かを判断し、正対していなければ、カメラ装置１９００を回転あるいは並進させて該検査対象領域に対して正対させるための通知を行う。

　この通知を行うために、上記の如く、制御部１９２４は、決定部１９２２が決定した位置のデフォーカス量を取得する。デフォーカス量の取得方法は第１実施形態のステップＳ５０２と同じであるので説明を省略する。ここで、取得したデフォーカス量は連続値を有しており、合焦具合に対応するデフォーカス量は、前ピンの状態であれば“－１１”、合焦状態にある場合は“０”、後ピンの状態であれば“＋７”のように定めることが可能であるとする。また、第１実施形態のように撮影範囲における空間的な（２次元的な）デフォーカス量分布を表すデータを作成し、制御部１９２４は、デフォーカス量分布（距離情報分布）において、決定部１９２２が決定した位置のデフォーカス量を取得する構成としても構わない。

　次に、本実施形態に係る撮像システムの動作について、図２２のフローチャートに従って説明する。上記の如く、ユーザーは本実施形態に係る撮像システムを用いて検査対象面の撮像を行うべく、該撮像システムを該検査対象面に向けて設置する。このとき、ユーザーはカメラ装置１９００を該検査対象領域に対して概略正対化と思われる向きに設置することは可能である。しかし、構造物や設置場所の基準点及び周囲の精密な測量情報が無い場合、カメラ装置１９００を正確に正対化する向きに設置することはできてはいない状態である。カメラ装置１９００を設置してから該カメラ装置１９００の電源が投入されると、撮像素子１９０４によって撮像された撮像画像がライブビュー画像として、表示部１９０５により該カメラ装置１９００の背面の表示画面に表示される。そして、図２２のフローチャートに従った処理が開始される。

　ステップＳ２２００では、被写体認識部１９２８は、撮像画像に対して、一般物体検出処理を行う。本実施形態では一般物体として検出するものの中に、撮像すべき構造物の検査対象面を含むため、該検査対象面を示す特徴量の情報が予めＲＯＭ１９０２に記憶されている。

　ステップＳ２２１６では、被写体認識部１９２８は、ステップＳ２２００で検出した物体が、カメラ装置１９００と正対関係で撮像すべき構造物の検査対象面であるかどうかを判定する。検査対象面であると判定した場合にはステップＳ２２０１に進み、処理を継続する。一方、検査対象面ではないと判定した場合には図２２のフローチャートに従った処理を終了する。

　ステップＳ２２０１では、決定部１９２２は、「検査対象面に対してカメラ装置１９００が正対するための該カメラ装置１９００の駆動」を示す設定情報を取得する。

　例えば図２３に示す如く、操作部１９０６は、「検査対象面に対してカメラ装置１９００が正対するために該カメラ装置１９００の駆動」（正対化検出方向）を制御する。すなわち、「縦方向」、「横方向」、「並進」の少なくとも何れかに設定するための操作部２００７にあたるスイッチを有する。ユーザーはこのスイッチを操作することで、正対化検出方向を縦方向（回転軸＝チルト軸）および横方向（回転軸＝パン軸）の何れかに設定することができる。決定部１９２２は、スイッチによって設定された正対化検出方向を設定情報として取得する。図２１Ａ及び２１Ｂに示す如く、横長の構造物を横に移動して撮像する場合には、横（回転）方向の正対化検出方向が選択される。

　また前述した通り、正対化および複数の領域で合焦した画像が得られるようにＸＹＺ方向の並進移動も含めて制御する場合（例えばモード設定で）は、ステップＳ２２０１における正対化検出方向の設定は行わない。制御部１９２４は、第１実施形態のように撮影画像の複数の領域に対応して取得する距離情報分布に基づいて、合焦すべき被写体の平面の位置姿勢を推定し、雲台装置２０００（カメラ装置１９００）の位置姿勢を制御する。

　以下では、正対化検出方向を縦方向（回転軸＝チルト軸）および横方向（回転軸＝パン軸）の何れかに設定する一例として、正対化検出方向が横方向に設定されたケースについて説明する。

　次に、ステップＳ２２０２では、決定部１９２２は、正対化検出方向が横方向であるので、カメラ装置１９００の撮像範囲内で左右に並ぶ２つの領域を「デフォーカス量を取得するための領域」として設定する。例えば、図２４Ａに示す如く、決定部１９２２は、社会インフラ構造物２１００においてカメラ装置１９００の撮像範囲２４０２に収まる撮像領域２１０４の左端付近の領域２４００と右端付近の領域２４０１とを「デフォーカス量を取得するための領域」として設定する。また本実施形態はこれに限らず、正対化検出方向を設定する場合でも、第１実施形態と同様に画面全体（画像全体）のデフォーカス量を取得するものとしてもよい。

　ステップＳ２２０３では、制御部１９２４は、ステップＳ２２０２で設定された位置（図２４Ａの場合は領域２４００および領域２４０１）におけるデフォーカス量を、上記の如く取得する。このとき、カメラ装置１９００は検査対象面に対して合焦動作を行う必要は無く、ステップＳ２２０２で設定された領域におけるデフォーカス量を取得する。

　ステップＳ２２０４では、取得部１９２３は、ステップＳ２２０３で取得した「左側の領域のデフォーカス量」と「右側の領域におけるデフォーカス量」とを取得する。そして差分演算部１９２５は、「左側の領域のデフォーカス量」から「右側の領域におけるデフォーカス量」を引いた差分を求める。

　ステップＳ２２０６では、特定部１９２６は、ステップＳ２２０４で求めたデフォーカス量間の差分に対応する「カメラ装置１９００の回転方向および回転の度合いを表す情報」を回転指示情報（通知情報）として取得する。

　ここで、ＲＯＭ１９０２には、図２５に示す如く、デフォーカス量間の差分に対応する回転指示情報が登録されたテーブル２５１５が登録されている。列２５１６には、デフォーカス量間の差分の区間が登録されている。例えば、列２５１６において行２５１９には、デフォーカス量間の差分の区間「＋１１以上」が登録されており、列２５１６において行２５２４には、デフォーカス量間の差分の区間「－５～－１０」が登録されている。

　列２５１７には、カメラ装置１９００を左回転させる場合の回転量に応じたアイコンが登録されている。列２５１７において行２５１９に登録されているアイコンは、列２５１７において行２５２０に登録されているアイコンが表す回転量よりも大きい回転量を表している。列２５１７において行２５２０に登録されているアイコンは、列２５１７において行２５２１に登録されているアイコンが表す回転量よりも大きい回転量を表している。列２５１７において行２５２２～２５２５に登録されているアイコンは、左回転させる必要はないことを表している。

　列２５１８には、カメラ装置１９００を右回転させる場合の回転量に応じたアイコンが登録されている。列２５１８において行２５２５に登録されているアイコンは、列２５１８において行２５２４に登録されているアイコンが表す回転量よりも大きい回転量を表している。列２５１８において行２５２４に登録されているアイコンは、列２５１８において行２５２３に登録されているアイコンが表す回転量よりも大きい回転量を表している。列２５１８において行２５１９～２５２２に登録されているアイコンは、右回転させる必要はないことを表している。

　よって、例えば、特定部１９２６は、ステップＳ２２０４で求めたデフォーカス量間の差分が「＋７」である場合、差分「＋７」を含む区間「＋１０～＋５」に対応する行２５２０に登録されている２つのアイコンを回転指示情報として取得する。

　また例えば、特定部１９２６は、ステップＳ２２０４で求めたデフォーカス量間の差分が「－１２」である場合、差分「－１２」を含む区間「－１１以下」に対応する行２５２５に登録されている２つのアイコンを回転指示情報として取得する。

　つまり、図２５のテーブルには、デフォーカス量間の差分の符号に応じた回転方向と、デフォーカス量間の差分の絶対値に応じた回転の度合いと、を通知するための回転指示情報が登録されている。

　ステップＳ２２１４では、出力部１９２７は、ステップＳ２２０６で取得した回転指示情報を「カメラ装置１９００の回転方向と回転の度合いをユーザーに通知するための通知情報」として表示部１９０５に出力する。表示部１９０５は、該通知情報を、カメラ装置１９００の背面の表示画面に表示する。例えば図２４Ａに示す如く、カメラ装置１９００の背面の表示画面に表示されているライブビュー画像２４０４の下方左側には列２５１７から取得したアイコン２４０５を表示する。また、該ライブビュー画像２４０４の下方右側には列２５１８から取得したアイコン２４０６を表示する。なお、アイコン２４０５およびアイコン２４０６の表示位置は特定の表示位置に限らず、例えば、ライブビュー画像２４０４に重畳させて表示してもよい。また、図２４Ａでは、ライブビュー画像２４０４において位置２４００および位置２４０１のそれぞれに対応する位置にアイコン２４００ａおよび２４０１ａが重畳表示されている。

　表示されたアイコン２４０５，２４０６を目視したユーザーは、カメラ装置１９００を左回転させる通知を認識し、カメラ装置１９００を左回転させる。図２４Ａの状態におけるカメラ装置１９００を左回転させた後の状態を図２４Ｂに示す。

　図２４Ｂの状態においても、未だアイコン２４０９，２４１０が表示されているので、同様にユーザーは、カメラ装置１９００を左回転させる通知を認識し、カメラ装置１９００を左回転させる。ここで、アイコン２４０６もアイコン２４１０も右回転させる必要はないことを示している。一方、アイコン２４０５もアイコン２４０９も左回転させる必要があることを示しているが、アイコン２４０９はアイコン２４０５よりも少ない回転量の回転を示している。図２４Ｂの状態におけるカメラ装置１９００をさらに左回転させた後の状態を図２４Ｃに示す。

　図２４Ｃの状態では、左回転させる必要はないことを表すアイコン２４１３および右回転させる必要はないことを表すアイコン２４１４が表示されている。表示されたアイコン２４１３，２４１４を目視したユーザーは、カメラ装置１９００を右にも左にも回転させる必要はない旨の通知を認識し、カメラ装置１９００を回転させない。

　図２３は、カメラ装置１９００を雲台装置２０００に搭載した状態を示す図であり、雲台装置２０００のパンチルト操作及びカメラ装置１９００の撮像操作を行う為のリモコン装置２０１０が接続されている。このとき、リモコン装置２０１０は、カメラ装置１９００の外部Ｉ／Ｆ１９１０を介してカメラ装置１９００と接続することによって、カメラ装置１９００による撮像も可能としている。

　図２２に戻って、ステップＳ２２１５では、ＣＰＵ１９０１は、図２２のフローチャートに従った処理の終了条件が満たされたか否かを判断する。例えば、ＣＰＵ１９０１は、ユーザーが操作部１９０６を操作して処理の終了指示を入力したり、カメラ装置１９００の電源をオフにしたりした場合には、図２２のフローチャートに従った処理の終了条件が満たされたと判断する。

　このような判断の結果、図２２のフローチャートに従った処理の終了条件が満たされた場合には、図２２のフローチャートに従った処理は終了し、該終了条件は満たされていない場合には、処理はステップＳ２２０３に進む。

　このように、図２３のようなカメラ装置１９００を載置した雲台装置２０００を検査対象面に向けて設置することで、検査対象面に対して正対化するための回転・並進指示情報をユーザーに通知することが可能となる。そして、この通知を受けたユーザーが該通知に従って雲台装置２０００等の操作を行うことでカメラ装置１９００を検査対象面に対して正確に正対化することが可能となり、正確な変状の検査が可能となる。また同時に、正確に正対化することで、検査対象面の隣接した領域を撮像する際に、カメラ装置１９００を平行移動させることで、検査対象面に対する均一な条件での撮像が連続的に可能となる。また、カメラ装置１９００の撮像素子１９０４や、レンズ装置１９１３において経年変化による設計位置からの乖離があったとしても検査対象面に対して正確に正対化するため、正確な変状の検査が可能となる。

　なお、本実施形態においては、正対化のための回転方向を横（回転）方向とし、雲台装置２０００のパン軸を操作する構成としたが、正対化検出方向を切り替えることで縦（回転）方向に対する正対化の回転指示を行い、チルト軸を操作する構成としても良い。さらに、横（回転）方向と縦（回転）方向の検出を同時に行い、それぞれの回転指示情報を提示する構成としても良い。

　また、本実施形態においては、デフォーカス量の値についての一例を提示し、また、回転指示情報を３種類に定めたが、デフォーカス量の値は使用する像面位相差センサの種類によって異なる為、適宜係数等を乗じて使用しても良く、種類もこれに限らない。

　また、本実施形態では、回転方向と回転の度合いの両方を示すアイコンを表示していたが、回転方向を示すアイコンと、回転の度合いを示すアイコンと、に分けて表示してもよいし、いずれか一方のみを表示してもよい。また、回転方向や回転の度合いを示す情報はアイコンに限らず、例えば、文字情報であってもよい。また、回転方向や回転の度合いの通知方法は特定の通知方法に限らない。

　また、本実施形態では、回転させる必要のない方向についてもアイコンを表示しているが、回転させる必要のない方向についてはアイコンを表示しなくてもよい。また、回転させる必要のある方向についてはアイコンに加えて、文字情報などの他の情報をさらに表示してもよい。

　また、本実施形態では、雲台装置２００にカメラ装置１９００を載置する構成としたが、前述したようにカメラ装置１９００をドローン装置等のＵＡＶ（ｕｎｍａｎｎｅｄ　ａｅｒｉａｌ　ｖｅｈｉｃｌｅ）に搭載する構成としても構わない。このように構成することで、雲台を設置できない環境にある対象構造物の検査対象面を正対撮像することが実現できる。

　また、本実施形態では、回転及び／または並進の指示情報をユーザーに通知していたが、回転及び／または並進の指示情報を雲台装置２０００に出力してもよい。雲台装置２０００は該回転及び／または並進の指示情報に応じたカメラ装置１９００の回転制御を行い、自動的に該カメラ装置１９００を検査対象面に正対化させる構成としても構わない。このように構成することでユーザーが操作する手間が減り、利便性が向上する。

　また、本実施形態では、カメラ装置１９００でデフォーカス量（距離情報分布）を算出したが、第１実施形態のように、通信回路を介して通信可能に接続されたコンピュータにおいてデフォーカス量を算出する構成としても構わない。

　また、本実施形態では、雲台装置２０００を操作してカメラ装置１９００の位置姿勢を制御するために距離情報分布を算出したが、算出した距離情報分布の用途はこれだけに限られない。

　例えば、ＣＰＵ１９０１は、撮像素子１９０４にて撮像される視差を有する対の画像データと、少なくともＦ値及びＫＸ値を含む撮影条件を、該画像データと関連付けてメモリカード１９０９などに記録する。記録された対の画像データおよび撮影条件に基づいて、ＣＰＵ１９０１あるいは各データが出力される外部装置のＣＰＵが距離情報分布を生成、取得する。ここで、取得する距離情報分布をデフォーカス量分布とし、かつ撮影条件であるＦ値（あるいは実効Ｆ値）、変換係数ＫＸに基づいて各デフォーカス量を変換することでボケマップを生成する。該ボケマップを用いて、撮影した画像におけるボケに関する品質評価に用いても良い。特に社会インフラ点検の為の撮影においては、検査対象面の変状などを検査する際に、検査対象面がピンボケしていない画像で評価しなければ、ひびの検出、ひび幅の測定などが正しく行えない。そこでデフォーカス量分布（あるいはボケマップ）を参照することで、例えばボケの発生していない領域（撮像範囲）に限って測定を行うと、より精度の高い検査を行うことができる。また、ＣＰＵ１９０１は、例えば基準以上のボケ量を持つボケが所定の割合以上に撮影画像に発生していると判定した場合、該撮影画像がＮＧ（変状検知不可）であることをユーザーに報知してもよい。報知方法としては、表示部１９０５を用いた画像、アイコン表示、あるいはその他デバイスより光、音、振動などで報知することが考えられる。また、ＣＰＵ１９０１は、上述したボケマップを生成し、単に各ボケ量を可視化した画像を生成して表示部に表示してもよい。ユーザーはボケマップを参照しながら手動あるいは自動で撮影のやり直し、またはカメラ装置１９００の移動等を行うことが出来る。

　本発明は上記実施の形態に制限されるものではなく、本発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、本発明の範囲を公にするために以下の請求項を添付する。
　［その他の実施形態］
　本発明の目的は以下のようにしても達成できる。すなわち、前述した各実施形態の機能を実現するための手順が記述されたソフトウェアのプログラムコードを記録した記憶媒体を、システムまたは装置に供給する。そしてそのシステムまたは装置のコンピュータ（またはＣＰＵ、ＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出して実行するのである。
　この場合、記憶媒体から読み出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記憶した記憶媒体およびプログラムは本発明を構成することになる。
　また、プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスクなどが挙げられる。また、ＣＤ－ＲＯＭ、ＣＤ－Ｒ、ＣＤ－ＲＷ、ＤＶＤ－ＲＯＭ、ＤＶＤ－ＲＡＭ、ＤＶＤ－ＲＷ、ＤＶＤ－Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等も用いることができる。
　また、コンピュータが読み出したプログラムコードを実行可能とすることにより、前述した各実施形態の機能が実現される。さらに、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した各実施形態の機能が実現される場合も含まれる。
　更に、以下の場合も含まれる。まず記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行う。

　本願は、２０１９年７月３１日提出の日本国特許出願特願２０１９－１４０８１８と２０２０年７月２０日提出の日本国特許出願特願２０２０－１２４０３１を基礎として優先権を主張するものであり、その記載内容の全てをここに援用する。

Claims

　被写界像を撮像手段の撮像素子上に結像する光学系を用いて撮像した画像から算出された距離情報分布を入力する入力手段と
　前記撮像手段の撮影条件から前記画像における奥行方向を推定する推定手段と
　前記距離情報分布と前記推定した奥行方向の関係から
　前記光学系と前記撮像素子の設計位置からの乖離度合を示す評価値を決定する決定手段と、を有することを特徴とする画像処理装置。
　被写界像を撮像手段の撮像素子上に結像する光学系を用いて撮像した画像から算出された距離情報分布を入力する入力手段と
　前記撮像手段の撮影条件から前記画像における奥行方向を推定する推定手段と
　前記距離情報分布と前記推定した奥行方向の関係から
　前記画像における被写体の奥行き方向の乖離度合を示す評価値を決定する決定手段と、を有することを特徴とする画像処理装置。
　撮像手段により撮像される画像に関する、少なくともＦ値と、像ずれ量をデフォーカス量に変換する変換係数とを含む撮影条件を取得する第１の取得手段と、
　前記撮像手段により撮像される画像の各領域に対応する距離情報の分布である距離情報分布を取得する第２の取得手段と、
　前記距離情報分布を前記Ｆ値および変換係数に基づいて正規化する画像処理手段と、を有する
　ことを特徴とする画像処理装置。
　前記距離情報分布とは、被写体のデフォーカス量の分布をＦ値と許容錯乱円径で正規化した分布に関連する情報であることを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
　前記距離情報分布とは、被写体の視差量の分布に関連する情報か、被写体のデフォーカス量の分布に関連する情報か、被写体のデフォーカス量の分布をＦ値と許容錯乱円径で正規化した分布に関連する情報か、撮影位置から被写体までの実距離の分布に関連する情報のいずれかであることを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
　前記被写体の視差量の分布に関連する情報は、たがいに視差のついた一対の画像から得られることを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
　前記撮影条件は、前記画像を撮影したときの装置の姿勢情報、または前記画像における消失点、または前記画像におけるテクスチャの密度の変化、または前記画像に形状が既知の構造物が写っているか否かの判定結果のうち、少なくとも１つであることを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
　前記奥行方向の関係は
　前記距離情報分布におけるデフォーカス量がゼロとなる直線と、前記奥行方向を推定する手段が算出した合焦領域を示す直線が成す角度であることを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
　前記奥行方向の関係は
　前記距離情報分布におけるデフォーカス量の勾配のベクトルと、前記奥行方向を推定する手段が算出した前記画像における前記消失点に向かう方向のベクトル、もしくは前記画像におけるテクスチャの密度の変化の方向のベクトルとの差であることを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
　前記画像における被写体の奥行き方向の乖離度合とは
　前記距離情報分布における複数の位置におけるデフォーカス量の差分であることを特徴とする請求項２または３に記載の画像処理装置
　前記評価値を報知する報知手段を有することを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
　前記決定手段は、入力される画像が地面、水面、および地面あるいは水面に対して垂直方向に敷設された構造物を含む一般物体を含むと判定した場合に、前記乖離度合を示す評価値を決定することを特徴とする請求項１乃至１１のいずれか１項に記載の画像処理装置。
　前記距離情報分布の統計は、前記距離情報分布のヒストグラムであることを特徴とする請求項１２に記載の画像処理装置。
　前記乖離度合を示す評価値に応じて、ＩＳ機構を制御する、もしくは前記画像に対し画像処理を施す、もしくは画像処理装置を回転させることで乖離度合が小さくなるように補正することを特徴とする請求項１乃至１３のいずれか１項に記載の画像処理装置。
　前記乖離度合を示す評価値と、前記評価値を算出した画像を取得した前記撮像素子と前記光学系の情報を関連付けて、外部装置に情報を出力することを特徴とする請求項１乃至１４のいずれか１項に記載の画像処理装置。
　被写界像を撮像手段の撮像素子上に結像する光学系を用いて撮像した画像から算出された距離情報分布を入力する入力ステップと
　前記撮像手段の撮影条件から前記画像における奥行方向を推定する推定ステップと
　前記距離情報分布と前記推定した奥行方向の関係から
　前記光学系と前記撮像素子の設計位置からの乖離度合を示す評価値を決定する決定ステップと、を有することを特徴とする画像処理方法。
　被写界像を撮像手段の撮像素子上に結像する光学系を用いて撮像した画像から算出された距離情報分布を入力する入力ステップと
　前記撮像手段の撮影条件から前記画像における奥行方向を推定する推定ステップと
　前記距離情報分布と前記推定した奥行方向の関係から
　前記画像における被写体の奥行き方向の乖離度合を示す評価値を決定する決定ステップと、を有することを特徴とする画像処理方法。
　撮像手段により撮像される画像に関する、少なくともＦ値と、像ずれ量をデフォーカス量に変換する変換係数とを含む撮影条件を取得する第１の取得ステップと、
　前記撮像手段により撮像される画像の各領域に対応する距離情報の分布である距離情報分布を取得する第２の取得ステップと、
　前記距離情報分布を前記Ｆ値および変換係数に基づいて正規化する画像処理ステップと、を有する
　ことを特徴とする画像処理方法。
　請求項１乃至１５のいずれか１項に記載の画像処理装置の制御の各手段の機能を実現するための手順が記述されたコンピュータで実行可能なプログラム。
　コンピュータに、請求項１乃至１５のいずれか１項に記載の画像処理装置の各手段の機能を実行させるためのプログラムが記憶されたコンピュータが読み取り可能な記憶媒体。