JP6735917B2 - 撮像装置及び画像合成装置 - Google Patents

Description

本発明は、撮像装置及び画像合成装置に係り、特に移動しながら撮像する撮像装置、及び、その撮像装置によって撮像された画像から一枚の合成画像を生成する画像合成装置に関する。

航空機に搭載されたカメラで地表を連続的に撮像し、得られた画像群を繋ぎ合わせて、広域を写した一枚の合成画像を生成する技術（モザイク合成、ステッチングなどとも称される）が知られている（たとえば、特許文献１等）。同種の技術は、パノラマ画像を生成する技術としても知られている。

ところで、この種の技術を用いて高精細な合成画像を生成するためには、繋ぎ合わせる個々の画像が合焦状態で撮像されている必要がある。また、より高精細な合成画像を生成するためには、望遠レンズを使用して撮像する必要がある。

しかし、移動しながらの撮像でオートフォーカスを正確に作動させることは難しい。特に、望遠レンズを使用したカメラでは、被写界深度が浅いため、移動しながらの撮像でオートフォーカスを正確に作動させることは難しい。

特許文献２には、移動しながらの撮像でオートフォーカスを正確に作動させる方法として、被写体距離に応じて被写界深度を調整する方法が提案されている。

特開２０１６−３９３９０号公報 特開平１０−３１１５１号公報

しかしながら、被写界深度で調整できる幅には限界がある。特に、望遠レンズを使用したカメラでは、調整できる被写界深度も浅いため、被写体距離が大きく変動した場合には対応できないという欠点がある。

本発明は、このような事情に鑑みてなされたもので、移動しながら合焦した画像を撮像できる撮像装置、及び、高精細な合成画像を生成でき画像合成装置を提供することを目的とする。

上記課題を解決するための手段は、次のとおりである。

（１）移動体と、移動体に備えられる撮像部と、撮像部に備えられるフォーカシング機構と、フォーカシング機構を制御して、フォーカス位置を周期的に走査させるフォーカシング制御部と、撮像範囲分ずれた位置に移動するまでの間に少なくとも一回走査される速度で移動体を移動させる移動制御部と、撮像部に動画像を連続的に撮像させ又は静止画像を周期的に撮像させる撮像制御部と、撮像部で撮像された動画像又は静止画像群を記録する記録部と、を備えた撮像装置。

本態様によれば、移動体で移動しながら、動画像が連続的に撮像され、又は、静止画像が周期的に撮像される。動画像が連続的に撮像されるとは、撮像開始から撮像終了まで連続して動画像が撮像されることである。静止画像が周期的に撮像されるとは、撮像開始から撮像終了まで一定の間隔で静止画像が繰り返し撮像されることである。撮像中、フォーカシング制御部によってフォーカシング機構が制御され、フォーカス位置が周期的に走査される。ここで、フォーカス位置の「走査」とは、あらかじめ定められた範囲内において、フォーカス位置を一端から他端まで変位させる動作をいう。たとえば、至近端の位置から無限遠端の位置までフォーカス位置を変位させる動作をいう。また、「周期的に走査」とは、一定の周期で走査を繰り返し実施することをいう。フォーカス位置を周期的に走査させることにより、動画像の撮像であれば、各フレームで合焦位置が異なる画像を撮像できる。また、静止画像の撮像であれば、各回で合焦位置の異なる静止画像を撮像できる。撮像された動画像又は静止画像群は、記録部に記録される。記録された動画像又は静止画像群を走査単位で解析し、最も鮮鋭度の高いフレームの画像又は最も鮮鋭度の高い静止画像を抽出すれば、走査単位で合焦画像が得られる。移動体は、撮像範囲分ずれた位置に移動するまでの間に少なくとも一回走査されるように、移動する速度が制御される。これにより、移動しながら撮影する場合であっても、漏れなく合焦した画像を撮像できる。すなわち、ある程度の重なりをもって、合焦した画像を撮像できる。

（２）移動制御部は、撮像範囲分ずれた位置に移動すると同時に一回の走査が完了する速度で移動体を移動させる、上記（１）の撮像装置。

本態様によれば、撮像範囲分ずれた位置に移動すると同時に一回の走査が完了する速度で移動体が移動する。これにより、効率よく撮像できる。なお、ここでの「同時」は、厳密な同時性を要求するものではなく、ほぼ同時とみなせる範囲を含むものである。したがって、若干のずれは許容される。したがって、移動体は、撮像範囲分ずれた位置に移動するのとほぼ同じタイミングで一回の走査が完了する速度で移動すればよい。

（３）被写体距離及び撮像部の画角に基づいて、撮像範囲を算出する撮像範囲算出部と、を更に備えた上記（１）又は（２）の撮像装置。

本態様によれば、被写体距離及び撮像部の画角に基づいて、撮像範囲が算出される。これにより、撮像範囲を自動設定できる。

（４）撮像部の出力に基づいて被写体距離を検出する被写体距離検出部を更に備えた、上記（３）の撮像装置。

本態様によれば、撮像部の出力に基づいて被写体距離が検出される。これにより、被写体距離が変動する場合であっても、現在の撮像範囲を推定できる。移動制御部は、撮像範囲の変動に応じて、移動体の速度を調整する。

（５）撮像部は、撮像レンズと、撮像レンズで結像される像を撮像するイメージセンサと、を備え、フォーカシング機構は、撮像レンズを構成するレンズ群の一部又は全部を移動させて、フォーカス位置を変位させる、上記（１）から（４）のいずれか一の撮像装置。

本態様によれば、撮像部が、撮像レンズと、撮像レンズで結像される像を撮像するイメージセンサと、を備えて構成される。フォーカシング機構は、撮像レンズを構成するレンズ群の一部又は全部を移動させて、フォーカス位置を変位させる。

（６）フォーカシング制御部は、フォーカス位置を正弦波状に変位させて周期的に走査させる、上記（１）から（５）のいずれか一の撮像装置。

本態様によれば、フォーカス位置が正弦波状に変位して周期的に走査される。この場合、往路及び復路の双方で走査される。

（７）フォーカシング制御部は、フォーカス位置をノコギリ波状に変位させて周期的に走査させる、上記（１）から（５）のいずれか一の撮像装置。

本態様によれば、フォーカス位置がノコギリ波状に変位して周期的に走査される。この場合、往路のみで走査される。

（８）記録部に記録された動画像又は静止画像群を走査単位で解析し、最も鮮鋭度の高いフレームの画像又は最も鮮鋭度の高い静止画像を合焦画像として抽出する合焦画像抽出部を更に備えた、上記（１）から（７）のいずれか一の撮像装置。

本態様によれば、合焦画像を抽出する合焦画像抽出部が備えられる。合焦画像抽出部は、記録部に記録された動画像又は静止画像群を走査単位で解析し、最も鮮鋭度の高いフレームの画像又は最も鮮鋭度の高い静止画像を合焦画像として抽出する。

（９）撮像レンズは、第１光学系と、第１光学系と同じ光軸を有し、かつ、第１光学系よりも短い焦点距離を有する第２光学系と、を備え、イメージセンサは、第１光学系を通過した光と第２光学系を通過した光とを選択的に受光する画素が規則的に配列されて、第１光学系で結像される像と第２光学系で結像される像とを同時に撮像し、フォーカシング機構は、第１光学系を構成するレンズ群の一部又は全部を移動させて、第１光学系のフォーカス位置を変位させる第１光学系フォーカシング機構を備え、フォーカシング制御部は、第１光学系フォーカシング機構を制御して、第１光学系のフォーカス位置を周期的に走査させる第１光学系フォーカシング制御部を備え、移動制御部は、第１光学系による撮像範囲分ずれた位置に移動するまでの間に少なくとも一回走査される速度で移動体を移動させ、撮像制御部は、イメージセンサに動画像を連続的に撮像させ又は静止画像を周期的に撮像させ、記録部は、第１光学系で撮像された動画像又は静止画像群と、第２光学系で撮像された動画像又は静止画像群と、を記録する、上記（５）の撮像装置。

本態様によれば、焦点距離の異なる画像を同軸上で同時に撮像できる。具体的には、撮像レンズが、互いに焦点距離の異なる二つの光学系（第１光学系及び第２光学系）を備えて構成され、かつ、イメージセンサが、各光学系で結像される像を同時に撮像できるように構成される。二つの光学系（第１光学系及び第２光学系）は、同じ光軸を有し、第２光学系の方が第１光学系よりも短い焦点距離を有する。イメージセンサは、第１光学系を通過した光と第２光学系を通過した光とを選択的に受光する画素が規則的に配列されて構成され、第１光学系で結像される像と第２光学系で結像される像とを同時に撮像する。すなわち、第１光学系を通過した光を受光する画素群によって、第１光学系の画像が撮像され、第２光学系を通過した光を受光する画素群によって、第２光学系の画像が撮像される。これにより、一つの撮像部で焦点距離の異なる画像を同軸上で同時に撮像でき、視差のない画像を撮像できる。フォーカシング機構として、第１光学系のフォーカシング機構（第１光学系フォーカシング機構）が備えられる。第１光学系フォーカシング機構は、第１光学系を構成するレンズ群の一部又は全部を移動させて、第１光学系のフォーカス位置を変位させる。また、フォーカシング制御部として、第１光学系フォーカシング制御部が備えられる。第１光学系フォーカシング制御部は、第１光学系フォーカシング機構を制御して、第１光学系のフォーカス位置を周期的に走査させる。これにより、第１光学系において、合焦位置が異なる画像が撮像される。すなわち、動画像の撮像であれば、各フレームで合焦位置が異なる画像が撮像され、静止画像の撮像であれば、各回で合焦位置の異なる静止画像が撮像される。第１光学系で撮像された動画像又は静止画像群と、第２光学系で撮像された動画像又は静止画像群は、記録部に記録される。第１光学系で撮像された動画像又は静止画像群を走査単位で解析し、最も鮮鋭度の高いフレームの画像又は最も鮮鋭度の高い静止画像を抽出すれば、走査単位で合焦画像が得られる。移動体は、第１光学系による撮像範囲分ずれた位置に移動するまでの間に少なくとも一回走査されるように、移動する速度が制御される。これにより、移動しながら撮影する場合であっても、第１光学系において、漏れなく合焦した画像を撮像できる。すなわち、ある程度の重なりをもって、合焦した画像を撮像できる。第２光学系で撮像された動画像又は静止画像群については、抽出した合焦画像に対応する画像を抽出すればよい。すなわち、合焦画像として抽出した画像と同じタイミングで撮像された画像を抽出すればよい。モザイク合成などの処理によって広域の合成画像を生成する場合は、第２光学系で撮像された画像を利用して、特徴点抽出などの処理を行う。第２光学系で撮像される画像は、第１光学系で撮像される画像よりも広範囲を写した画像なので、より多くの特徴点を抽出できる。一方、合成画像は、第１光学系で撮像された合焦画像群を使用して生成する。第１光学系で撮像される画像は、第２光学系で撮像される画像よりも望遠の画像なので、より高解像度の合成画像を生成できる。

（１０）第２光学系が、固定焦点の光学系で構成され、パンフォーカスで撮像される、上記（９）の撮像装置。

本態様によれば、第２光学系が、固定焦点の光学系で構成され、パンフォーカスで撮像される。第２光学系は、焦点距離の短いレンズで構成できるので、パンフォーカスで撮像できる。

（１１）第２光学系の合焦状態を検出する第２光学系合焦状態検出部を更に備え、フォーカシング機構は、第２光学系を構成するレンズ群の一部又は全部を移動させて、第２光学系のフォーカス位置を変位させる第２光学系フォーカシング機構を更に備え、フォーカシング制御部は、第２光学系合焦状態検出部の検出結果に基づいて、第２光学系フォーカシング機構を制御し、第２光学系を被写体に合焦させる第２光学系フォーカシング制御部を更に備える、上記（９）の撮像装置。

本態様によれば、第２光学系の合焦状態を検出する第２光学系合焦状態検出部と、第２光学系のフォーカシング機構（第２光学系フォーカシング機構）と、その制御部（第２光学系フォーカシング制御部）と、が備えられる。第２光学系フォーカシング機構は、第２光学系を構成するレンズ群の一部又は全部を移動させて、第２光学系のフォーカス位置を変位させる。第２光学系フォーカシング制御部は、第２光学系合焦状態検出部の検出結果に基づいて、第２光学系フォーカシング機構を制御し、第２光学系を被写体に合焦させる。これにより、第２光学系において、精度よく合焦画像を撮像できる。

（１２）撮像レンズは、第１光学系と第２光学系とが同心状に配置される、上記（９）から（１１）のいずれか一の撮像装置。

本態様によれば、第１光学系と第２光学系とが同心状に配置される。この場合、たとえば、内周部を第２光学系で構成し、外周部をリング状の第２光学系で構成する。第２光学系については、反射望遠レンズで構成する。

（１３）第１光学系フォーカシング制御部は、第１光学系のフォーカス位置を正弦波状に変位させて周期的に走査させる、上記（９）から（１２）のいずれか一の撮像装置。

本態様によれば、フォーカス位置が正弦波状に変位して周期的に走査される。この場合、往路及び復路の双方で走査される。

（１４）第１光学系フォーカシング制御部は、第１光学系のフォーカス位置をノコギリ波状に変位させて周期的に走査させる、上記（９）から（１２）のいずれか一の撮像装置。

本態様によれば、フォーカス位置がノコギリ波状に変位して周期的に走査される。この場合、往路のみで走査される。

（１５）第１光学系で撮像された動画像又は静止画像を走査単位で解析し、最も鮮鋭度の高いフレームの画像又は最も鮮鋭度の高い静止画像を合焦画像として抽出する合焦画像抽出部を更に備えた、上記（９）から（１４）のいずれか一の撮像装置。

本態様によれば、合焦画像を抽出する合焦画像抽出部が備えられる。合焦画像抽出部は、記録部に記録された動画像又は静止画像群を走査単位で解析し、最も鮮鋭度の高いフレームの画像又は最も鮮鋭度の高い静止画像を合焦画像として抽出する。

（１６）移動体が飛行体で構成される、上記（１）から（１５）のいずれか一の撮像装置。

本態様によれば、移動体が飛行体で構成される。たとえば、遠隔操作される無人航空機（いわゆるドローン）で構成できる。

（１７）互いに同じ光軸を有し、かつ、互いに異なる性質を有する第１光学系及び第２光学系を備えた撮像レンズと、第１光学系を通過した光と第２光学系を通過した光とを選択的に受光する画素が規則的に配列されて、第１光学系で結像される像と第２光学系で結像される像とを同時に撮像するイメージセンサと、第１光学系を構成するレンズ群の一部又は全部を移動させて、第１光学系のフォーカス位置を変位させる第１光学系フォーカシング機構と、第１光学系フォーカシング機構を制御して、第１光学系のフォーカス位置を周期的に走査させる第１光学系フォーカシング制御部と、イメージセンサに動画像を連続的に撮像させ又は静止画像を周期的に撮像させる撮像制御部と、第１光学系で撮像された動画像又は静止画像群と、第２光学系で撮像された動画像又は静止画像群と、を記録する記録部と、を備えた撮像装置。

本態様によれば、２種類の画像を同軸上で同時に撮像できる。具体的には、撮像レンズが、性質の異なる二つの光学系（第１光学系及び第２光学系）を備え、かつ、イメージセンサが、各光学系で結像される像を同時に撮像できるように構成される。二つの光学系（第１光学系及び第２光学系）は、互いに同じ光軸を有し、かつ、互いに異なる性質を有する。イメージセンサは、第１光学系を通過した光と第２光学系を通過した光とを選択的に受光する画素が規則的に配列されて構成され、第１光学系で結像される像と第２光学系で結像される像とを同時に撮像する。すなわち、第１光学系を通過した光を受光する画素群によって、第１光学系の画像が撮像され、第２光学系を通過した光を受光する画素群によって、第２光学系の画像が撮像される。これにより、一つの撮像部で視差のない２種類の画像を同時に撮像できる。フォーカシング機構として、第１光学系のフォーカシング機構（第１光学系フォーカシング機構）が備えられる。第１光学系フォーカシング機構は、第１光学系を構成するレンズ群の一部又は全部を移動させて、第１光学系のフォーカス位置を変位させる。また、フォーカシング制御部として、第１光学系フォーカシング制御部が備えられる。第１光学系フォーカシング制御部は、第１光学系フォーカシング機構を制御して、第１光学系のフォーカス位置を周期的に走査させる。これにより、第１光学系において、合焦位置が異なる画像が撮像される。すなわち、動画像の撮像であれば、各フレームで合焦位置が異なる画像が撮像され、静止画像の撮像であれば、各回で合焦位置の異なる静止画像が撮像される。第１光学系で撮像された動画像又は静止画像群と、第２光学系で撮像された動画像又は静止画像群は、記録部に記録される。第１光学系で撮像された動画像又は静止画像群を走査単位で解析し、最も鮮鋭度の高いフレームの画像又は最も鮮鋭度の高い静止画像を抽出すれば、走査単位で合焦画像が得られる。移動しながら撮影する場合は、第１光学系による撮像範囲分ずれた位置に移動するまでの間に少なくとも一回走査されるように移動すれば、第１光学系において、漏れなく合焦した画像を撮像できる。すなわち、ある程度の重なりをもって、合焦した画像を撮像できる。第２光学系で撮像された動画像又は静止画像群については、抽出した合焦画像に対応する画像を抽出すればよい。すなわち、合焦画像として抽出した画像と同じタイミングで撮像された画像を抽出すればよい。

性質の異なる光学系とは、たとえば、焦点距離の異なる光学系、透過波長特性の異なる光学系等、光学系としての性質が異なることにより、種類の異なる画像を撮像できる光学系のことである。

（１８）撮像レンズは、第２光学系が第１光学系よりも短い焦点距離を有する、上記（１７）の撮像装置。

本態様によれば、撮像レンズを構成する第１光学系及び第２光学系が互いに異なる焦点距離を有し、第２光学系が第１光学系よりも短い焦点距離を有する。これにより、焦点距離の異なる二つの画像を同軸上で同時に撮像でき、視差のない二種類の画像を撮像できる。モザイク合成などの処理によって広域の合成画像を生成する場合は、第２光学系で撮像された画像を利用して、特徴点抽出などの処理を行う。第２光学系で撮像される画像は、第１光学系で撮像される画像よりも広範囲を写した画像なので、より多くの特徴点を抽出できる。一方、合成画像は、第１光学系で撮像された合焦画像群を使用して生成する。第１光学系で撮像される画像は、第２光学系で撮像される画像よりも望遠の画像なので、より高解像度の合成画像を生成できる。

（１９）第２光学系が、固定焦点の光学系で構成され、パンフォーカスで撮像される、上記（１８）の撮像装置。

本態様によれば、第２光学系が、固定焦点の光学系で構成され、パンフォーカスで撮像される。第２光学系は、焦点距離の短いレンズで構成できるので、パンフォーカスで撮像できる。

（２０）第２光学系の合焦状態を検出する第２光学系合焦状態検出部と、第２光学系を構成するレンズ群の一部又は全部を移動させて、第２光学系のフォーカス位置を変位させる第２光学系フォーカシング機構と、第２光学系合焦状態検出部の検出結果に基づいて、第２光学系フォーカシング機構を制御し、第２光学系を被写体に合焦させる第２光学系フォーカシング制御部と、を更に備えた上記（１８）の撮像装置。

本態様によれば、第２光学系の合焦状態を検出する第２光学系合焦状態検出部と、第２光学系のフォーカシング機構（第２光学系フォーカシング機構）と、その制御部（第２光学系フォーカシング制御部）と、が備えられる。第２光学系フォーカシング機構は、第２光学系を構成するレンズ群の一部又は全部を移動させて、第２光学系のフォーカス位置を変位させる。第２光学系フォーカシング制御部は、第２光学系合焦状態検出部の検出結果に基づいて、第２光学系フォーカシング機構を制御し、第２光学系を被写体に合焦させる。これにより、第２光学系において、精度よく合焦画像を撮像できる。

（２１）撮像レンズは、第１光学系と第２光学系とが同心状に配置される、上記（１８）から（２０）のいずれか一の撮像装置。

本態様によれば、第１光学系と第２光学系とが同心状に配置される。この場合、たとえば、内周部を第２光学系で構成し、外周部をリング状の第２光学系で構成する。第２光学系については、反射望遠レンズで構成する。

（２２）第１光学系フォーカシング制御部は、第１光学系のフォーカス位置を正弦波状に変位させて周期的に走査させる、上記（１７）から（２１）のいずれか一の撮像装置。

本態様によれば、フォーカス位置が正弦波状に変位して周期的に走査される。この場合、往路及び復路の双方で走査される。

（２３）第１光学系フォーカシング制御部は、第１光学系のフォーカス位置をノコギリ波状に変位させて周期的に走査させる、上記（１７）から（２１）のいずれか一の撮像装置。

本態様によれば、フォーカス位置がノコギリ波状に変位して周期的に走査される。この場合、往路のみで走査される。

（２４）第１光学系で撮像された動画像又は静止画像を走査単位で解析し、最も鮮鋭度の高いフレームの画像又は最も鮮鋭度の高い静止画像を合焦画像として抽出する合焦画像抽出部を更に備えた、上記（１７）から（２３）のいずれか一の撮像装置。

本態様によれば、合焦画像を抽出する合焦画像抽出部が備えられる。合焦画像抽出部は、記録部に記録された動画像又は静止画像群を走査単位で解析し、最も鮮鋭度の高いフレームの画像又は最も鮮鋭度の高い静止画像を合焦画像として抽出する。

（２５）上記（８）の撮像装置と、撮像装置から複数枚の合焦画像を取得し、取得した複数枚の合焦画像を繋ぎ合わせて一枚の合成画像を生成する合成画像生成部と、を備えた画像合成装置。

本態様によれば、抽出された合焦画像を用いて合成画像が生成される。個々の合焦画像は、それぞれ撮像対象に合焦した高精細な画像であるため、高精細な合成画像を生成できる。また、各合焦画像は、重複領域を有するため、漏れなく合成画像を生成できる。

（２６）撮像装置から複数枚の合焦画像を取得し、取得した複数枚の合焦画像を解析して、各合焦画像を撮像した際の撮像部の相対的な位置及び姿勢を推定する撮像条件推定部を更に備え、合成画像生成部は、撮像条件推定部の推定結果に基づいて、各合焦画像を配置し、合成画像を生成する、上記（２５）の画像合成装置。

本態様によれば、撮像により得られた合焦画像群を解析することにより、各合焦画像を撮像した際の撮像部の相対的な位置及び姿勢が推定される。合成画像は、その推定結果に基づいて生成される。すなわち、推定された位置及び姿勢に基づいて、各合焦画像を配置することにより生成される。なお、姿勢は光軸の向き及び光軸回りの回転として特定される。

（２７）撮像条件推定部は、取得した複数枚の合焦画像にＳｆＭ処理を適用し、各合焦画像を撮像した際の撮像部の相対的な位置及び姿勢を推定する、上記（２６）の画像合成装置。

本態様によれば、撮像により得られた合焦画像群にＳｆＭ（Structure from Motion）処理を適用することにより、各合焦画像を撮像した際の撮像部の相対的な位置及び姿勢が推定される。ＳｆＭ処理とは、視点の異なる複数枚の画像から被写体の三次元形状、並びに、撮像部の相対的な位置及び姿勢を復元する処理である。

（２８）上記（１５）の撮像装置と、撮像装置から複数枚の合焦画像を取得し、取得した複数枚の合焦画像を繋ぎ合わせて一枚の合成画像を生成する合成画像生成部と、を備えた画像合成装置。

本態様によれば、抽出された合焦画像を用いて合成画像が生成される。個々の合焦画像は、それぞれ撮像対象に合焦した高精細な画像であり、かつ、望遠の画像であるため、高精細な合成画像を生成できる。また、各合焦画像は、重複領域を有するため、漏れなく合成画像を生成できる。

（２９）各合焦画像に対応する第２光学系の画像を撮像装置から取得し、取得した複数枚の第２光学系の画像を解析して、各合焦画像を撮像した際の撮像部の相対的な位置及び姿勢を推定する撮像条件推定部を更に備え、合成画像生成部は、撮像条件推定部の推定結果に基づいて、各合焦画像を配置し、合成画像を生成する、上記（２８）の画像合成装置。

本態様によれば、各合焦画像に対応する第２光学系の画像群を解析することにより、各合焦画像を撮像した際の撮像部の相対的な位置及び姿勢が推定される。合成画像は、その推定結果に基づいて生成される。すなわち、推定された位置及び姿勢に基づいて、各合焦画像を配置することにより生成される。各合焦画像に対応する第２光学系の画像とは、各合焦画像と同じタイミングで撮像された第２光学系の画像である。動画像であれば、同じフレームの画像であり、静止画像であれば、同じタイミングで撮像された静止画像である。第２光学系で撮像される画像は、第１光学系で撮像される画像よりも広角の画像であるため、解析に必要な特徴点をより多く抽出できる。これにより、より高精度に撮像部の相対的な位置及び姿勢を推定できる。また、これにより、より高精度に合成画像を生成できる。

（３０）撮像条件推定部は、取得した複数枚の第２光学系の画像にＳｆＭ処理を適用し、各合焦画像を撮像した際の撮像部の相対的な位置及び姿勢を推定する、上記（２９）の画像合成装置。

本態様によれば、撮像により得られた合焦画像群にＳｆＭ（Structure from Motion）処理を適用することにより、各合焦画像を撮像した際の撮像部の相対的な位置及び姿勢が推定される。

本発明によれば、移動しながら合焦した画像を撮像できる。また、高精細な合成画像を生成できる。

撮像装置のシステム構成図 無人航空機の電気的構成を示すブロック図 無人航空機マイコンが実現する主な機能のブロック図 コントローラの電気的構成を示すブロック図 カメラの概略構成を示すブロック図 カメラマイコンが実現する主な機能のブロック図 走査の概念図 撮像中の無人航空機の飛行速度の設定の概念図 合焦画像の抽出の概念図 走査と同時に移動を完了させる場合の無人航空機の飛行速度の設定の概念図 フォーカス位置をノコギリ波状に変位させて周期的に走査する場合の概念図 被写界深度の算出方法の説明図 フォーカシングレンズ群の位置と合焦する被写体距離との関係を示すグラフ カメラの概略構成を示すブロック図 撮像レンズの概略構成図 第１光学系を通る光の光線軌跡を示す図 第２光学系を通る光の光線軌跡を示す図 撮像レンズの駆動系の概略構成を示すブロック図 第１光学系フォーカシング機構によって駆動される第１光学系の動作説明図 イメージセンサの概略構成図 イメージセンサの各画素が対応する光学系からの光を選択的に受光する構成の概念図 カメラマイコンが実現する主な機能のブロック図 撮像中の無人航空機の飛行速度の設定の概念図 走査と同時に移動を完了させる場合の無人航空機の飛行速度の設定の概念図 画像合成装置のシステム構成図 撮像の形態の一例を示す図 合成画像の生成の概念図 コンピュータが実現する機能のブロック図 ＳｆＭ処理によって出力される結果の一例を示す図

以下、添付図面に従って本発明の好ましい実施の形態について詳説する。

◆◆撮像装置の第１の実施の形態◆◆
［撮像装置の装置構成］
図１は、撮像装置のシステム構成図である。

同図に示すように、本実施の形態の撮像装置１は、無人航空機１０と、その無人航空機１０に搭載されるカメラ１００と、を備えて構成される。

《無人航空機》
無人航空機１０は、移動体及び飛行体の一例である。無人航空機１０は、いわゆるドローンであり、コントローラ１２による操作に基づき大気中を飛行する。

〈無人航空機の外観構成〉
無人航空機１０は、図１に示すように、本体フレーム１４に複数の飛行用のプロペラ１６を備えて構成される。

本体フレーム１４は、胴部１４Ａと、胴部１４Ａから放射状に延びる４つのアーム部１４Ｂ（図１では二つのみ図示している）と、胴部１４Ａから放射状に延びる４つの脚部１４Ｃ（図１では二つのみ図示している）と、を備えて構成される。

プロペラ１６は、各アーム部１４Ｂの先端に備えられる。したがって、本実施の形態の無人航空機１０には、４つのプロペラ１６が備えられる（図１では二つのみ図示している）。

無人航空機１０は、プロペラ１６を回転させることによって生じる浮力によって大気中を飛行する。無人航空機１０は、各プロペラ１６の回転を個別に制御することにより、上昇、下降、方向転換等が行われる。また、各プロペラ１６の回転を個別に制御することにより、飛行速度が制御される。

〈無人航空機の電気的構成〉
図２は、無人航空機の電気的構成を示すブロック図である。

無人航空機１０は、プロペラ駆動モータ２０と、モータドライバ２２と、センサ部２４と、機体側無線通信部２６と、機体側有線通信部２８と、無人航空機マイコン（マイコン：マイクロコンピュータ）３０と、を備える。

プロペラ駆動モータ２０は、プロペラ１６の回転駆動手段である。プロペラ駆動モータ２０はプロペラ１６ごとに備えられる。各プロペラ駆動モータ２０の駆動は、モータドライバ２２で個別に制御される。各モータドライバ２２は、無人航空機マイコン３０からの指令に応じて、プロペラ駆動モータ２０の駆動を制御する。

センサ部２４は、機体の飛行状態を検出する。センサ部２４は、ジャイロセンサ、地磁気センサ、加速度センサ、速度センサ、高度センサ、ＧＰＳ（Global Positioning System）等の各種センサ類を備えて構成される。センサ部２４は、各種センサで検出された機体の飛行状態の情報を無人航空機マイコン３０に出力する。

機体側無線通信部２６は、無人航空機マイコン３０による制御の下、コントローラ１２と無線で通信し、互いに各種信号を送受信する。たとえば、コントローラ１２が操作された場合、その操作に基づく制御信号がコントローラ１２から無人航空機１０に向けて送信される。機体側無線通信部２６は、コントローラ１２から送信された制御信号を受信し、無人航空機１０に出力する。通信の方式は、特に限定されるものではなく、一般的に用いられる通信方式（たとえば、無線ＬＡＮ（Local Area Network）規格による通信方式、特定省電力無線規格による通信方式、携帯電話網を利用した通信方式等）が使用される。

機体側有線通信部２８は、無人航空機マイコン３０による制御の下、カメラ１００と有線で通信し、互いに各種信号を送受信する。通信の方式は、特に限定されるものではなく、一般的に用いられる通信方式（たとえば、ＵＳＢ（Universal Serial Bus）規格による通信方式等）が使用される。

無人航空機マイコン３０は、無人航空機１０の全体の動作を統括制御する制御部である。無人航空機マイコン３０は、ＣＰＵ（Central Processing Unit／中央処理装置）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）を備え、所定のプログラムを実行することにより各種機能を実現する。プログラムは、ＲＯＭに格納される。

図３は、無人航空機マイコンが実現する主な機能のブロック図である。

無人航空機マイコン３０は、所定のプログラムを実行することにより、移動制御部３０ａ、カメラ制御部３０ｂ、機体側無線通信制御部３０ｃ、機体側有線通信制御部３０ｄ等として機能する。

移動制御部３０ａは、モータドライバ２２を介して各プロペラ駆動モータ２０の駆動を制御することにより、無人航空機１０の飛行（移動）を制御する。移動制御部３０ａは、コントローラ１２から送信される制御信号、及び、センサ部２４から出力される機体の飛行状態の情報に基づいて、各プロペラ駆動モータ２０の駆動を制御し、無人航空機１０の飛行を制御する。たとえば、コントローラ１２から上昇が指示された場合は、機体が上昇するように、各プロペラ駆動モータ２０の駆動を制御する。また、コントローラ１２から下降が指示された場合は、機体が下降するように、各プロペラ駆動モータ２０の駆動を制御する。更に、コントローラ１２から旋回が指示された場合には、指示された方向に機体が旋回するように、各プロペラ駆動モータ２０の駆動を制御する。また、撮像中には、機体が所定の速度で飛行するように、各プロペラ駆動モータ２０の駆動を制御する。撮像中の機体の飛行制御については、後に詳述する。

カメラ制御部３０ｂは、コントローラ１２から送信される制御信号に基づいて、カメラ１００を制御する。たとえば、コントローラ１２からの撮像開始指示に応じて、カメラ１００に撮像を開始させる。また、コントローラ１２からの撮像終了指示に応じて、カメラ１００に撮像を終了させる。

機体側無線通信制御部３０ｃは、機体側無線通信部２６を介して、コントローラ１２との間の通信を制御する。

機体側有線通信制御部３０ｄは、機体側有線通信部２８を介して、カメラ１００との間の通信を制御する。

〈コントローラの構成〉
図４は、コントローラの電気的構成を示すブロック図である。

コントローラ１２は、コントローラ操作部１２ａと、コントローラ表示部１２ｂと、コントローラ側無線通信部１２ｃと、コントローラマイコン１２ｄと、を備える。

コントローラ操作部１２ａは、無人航空機１０及びカメラ１００を操作する各種操作部材を備えて構成される。無人航空機１０を操作する操作部材には、たとえば、無人航空機１０の上昇、下降を指示する操作部材、無人航空機１０の旋回を指示する操作部材等が含まれる。カメラ１００を操作する操作部材には、たとえば、撮像開始、撮像終了を指示する操作部材等が含まれる。

コントローラ表示部１２ｂは、たとえば、ＬＣＤ（Liquid Crystal Display／液晶ディスプレイ）で構成される。コントローラ表示部１２ｂには、たとえば、無人航空機１０の飛行状態の情報が表示される。

コントローラ側無線通信部１２ｃは、コントローラマイコン１２ｄによる制御の下、無人航空機１０と無線で通信し、互いに各種信号を送受信する。

コントローラマイコン１２ｄは、コントローラ１２の全体の動作を統括制御する制御部である。無人航空機マイコン３０は、ＣＰＵ、ＲＯＭ、ＲＡＭを備え、所定のプログラムを実行することにより各種機能を実現する。たとえば、コントローラ操作部１２ａが操作されると、その操作に応じた制御信号を生成し、コントローラ側無線通信部１２ｃを介して無人航空機１０に送信する。また、たとえば、コントローラ側無線通信部１２ｃを介して無人航空機１０から飛行状態の情報を取得し、コントローラ表示部１２ｂに表示する。プログラムは、ＲＯＭに格納される。

《カメラ》
図５は、カメラの概略構成を示すブロック図である。

カメラ１００は、撮像部の一例であり、単眼カメラで構成される。カメラ１００は、雲台を介して、無人航空機１０に搭載される。雲台によって撮像方向が調整される。

カメラ１００は、コントローラ１２からの撮像の指示に応じて、動画像を連続的に撮像する。図５に示すように、カメラ１００は、撮像レンズ１１０、イメージセンサ１２０、アナログ信号処理部１２２、記録部１２４、カメラ側有線通信部１２６、カメラマイコン１２８等を備えて構成される。

撮像レンズ１１０は、単焦点レンズで構成され、絞り１１２及びフォーカシング機構を備える。

絞り１１２は、たとえばアイリス絞りで構成される。絞り１１２は、その駆動手段として絞りモータ１１４を備える。絞り１１２は、絞りモータ１１４を駆動することにより、開口量が可変する。

フォーカシング機構は、撮像レンズ１１０を構成する複数のレンズ群の一部を光軸Ｌに沿って前後移動させることにより、撮像レンズ１１０のフォーカス位置を変位させる。具体的には、フォーカシングレンズ群１１０ｆを光軸Ｌに沿って前後移動させることにより、撮像レンズ１１０のフォーカス位置を変位させる。フォーカシング機構は、フォーカシングレンズ群１１０ｆを光軸Ｌに沿って移動自在に支持する支持部（不図示）と、フォーカシングレンズ群１１０ｆを光軸Ｌに沿って移動させるフォーカシングモータ１１６と、を備えて構成される。フォーカシングモータ１１６は、たとえばリニアモータで構成される。

撮像レンズ１１０は、フォーカシングレンズ群１１０ｆの位置を検出する手段として、フォトインタラプタ１１８ａ及びＭＲセンサ（ＭＲセンサ：Magneto Resistive Sensor／磁気抵抗効果素子）１１８ｂを備える。フォトインタラプタ１１８ａは、フォーカシングレンズ群１１０ｆが、あらかじめ定められた原点に位置したことを検出する。ＭＲセンサ１１８ｂは、フォーカシングレンズ群１１０ｆの変位量を検出する。フォトインタラプタ１１８ａによってフォーカシングレンズ群１１０ｆが原点に位置したことを検出し、原点からの変位量をＭＲセンサ１１８ｂで検出することにより、原点に対するフォーカシングレンズ群１１０ｆの位置を検出できる。フォトインタラプタ１１８ａ及びＭＲセンサ１１８ｂの検出結果は、カメラマイコン１２８に出力される。カメラマイコン１２８は、フォトインタラプタ１１８ａ及びＭＲセンサ１１８ｂの出力に基づいて、フォーカシングレンズ群１１０ｆの位置を検出する。

イメージセンサ１２０は、撮像レンズ１１０で結像される像を撮像する。イメージセンサ１２０は、たとえば、所定のカラーフィルタ配列を有するＣＭＯＳ（CMOS: Complementary Metal Oxide Semiconductor）、ＣＣＤ（CCD: Charged Coupled Device）等の固体撮像素子で構成される。

アナログ信号処理部１２２は、イメージセンサ１２０から出力される画素ごとのアナログの画像信号を取り込み、所定の信号処理（たとえば、相関二重サンプリング処理、ゲイン調整等）を施した後、デジタル信号に変換して出力する。アナログ信号処理部１２２から出力されたデジタルの画像信号は、カメラマイコン１２８に取り込まれる。

記録部１２４は、各種データの記録部である。撮像された画像データは、記録部１２４に記録される。記録部１２４は、たとえば、ＳＳＤ（solid state drive）などの不揮発性メモリを使用したストレージデバイスで構成される。

カメラ側有線通信部１２６は、カメラマイコン１２８による制御の下、無人航空機１０と有線で通信し、互いに各種信号を送受信する。

カメラマイコン１２８は、カメラ１００の全体の動作を統括制御する制御部である。カメラマイコン１２８は、ＣＰＵ、ＲＯＭ、ＲＡＭを備え、所定のプログラムを実行することにより各種機能を実現する。プログラムは、ＲＯＭに格納される。

図６は、カメラマイコンが実現する主な機能のブロック図である。

同図に示すように、カメラマイコン１２８は、所定のプログラムを実行することにより、デジタル信号処理部１２８ａ、記録制御部１２８ｂ、カメラ側有線通信制御部１２８ｃ、撮像制御部１２８ｄ、絞り制御部１２８ｅ、フォーカシング制御部１２８ｆ、レンズ位置検出部１２８ｇ等として機能する。

デジタル信号処理部１２８ａは、アナログ信号処理部１２２から出力されたアナログの画像信号を取り込み、所定の信号処理（たとえば、色補間、色分離、色バランス調整、ガンマ補正、画像強調処理等）を施して、画像データを生成する。

記録制御部１２８ｂは、記録部１２４へのデータの読み書き制御する。撮像により得られた画像データは、記録制御部１２８ｂにより記録部１２４に記録される。

カメラ側有線通信制御部１２８ｃは、カメラ側有線通信部１２６を介して、無人航空機１０との間の通信を制御する。

撮像制御部１２８ｄは、イメージセンサドライバ１２０ａを介してイメージセンサ１２０の駆動を制御する。より具体的には、所定のフレームレートで動画像が撮像されるように、イメージセンサ１２０の駆動を制御する。

絞り制御部１２８ｅは、絞りモータドライバ１１４ａを介して絞りモータ１１４の駆動を制御する。より具体的には、絞り１１２が、所定の絞り値（開口量）となるように、絞りモータ１１４の駆動を制御する。絞り値は、イメージセンサ１２０から得られる信号に基づいて設定される。すなわち、適正露出となるように、絞り値が設定される。

フォーカシング制御部１２８ｆは、フォーカシングモータドライバ１１６ａを介してフォーカシングモータ１１６の駆動を制御する。具体的には、フォーカス位置が周期的に走査されるように、フォーカシングモータ１１６の駆動を制御する。

ここで、フォーカス位置の「走査」とは、あらかじめ定められた範囲内において、フォーカス位置を一端から他端まで変位させる動作をいう。また、「周期的に走査」とは、一定の周期で走査を繰り返し実施することをいう。

本実施の形態のカメラ１００では、フォーカス位置を至近端と無限遠端との間で正弦波状に変位させて、周期的に走査させる。

図７は、走査の概念図である。同図において、縦軸はフォーカス位置を示し、横軸は時間を示している。

同図に示すように、フォーカス位置が至近端と無限遠端との間で正弦波状に変位する。この場合、往路と復路の双方で走査される。すなわち、至近端の位置から無限遠端の位置に向かう方向での走査（往路での走査）と、無限遠端の位置から至近端の位置に向かう方向での走査（復路での走査）とが、周期的に繰り返して行われる。往路での走査と、復路での走査が、それぞれ一回の走査となる。したがって、この場合、往復で二回走査される。

レンズ位置検出部１２８ｇは、フォトインタラプタ１１８ａ及びＭＲセンサ１１８ｂの出力に基づいて、フォーカシングレンズ群１１０ｆの位置を検出する。

フォーカシング制御部１２８ｆは、フォーカシングレンズ群１１０ｆの位置に基づいて、フォーカシングモータ１１６の駆動を制御し、フォーカス位置を周期的に走査させる。

［撮像装置の作用］
《基本動作》
〈無人航空機の基本動作〉
無人航空機１０は、コントローラ１２の操作に基づいて大気中を飛行する。具体的には、コントローラ１２による上昇の指示に応じて上昇し、下降の指示に応じて下降する。また、旋回の指示に応じて指示された方向に旋回する。

〈カメラの基本動作〉
カメラ１００もコントローラ１２の操作に基づいて撮像する。すなわち、コントローラ１２による撮像開始の指示に応じて、動画像の撮像を開始する。また、コントローラ１２による撮像終了の指示に応じて、動画像の撮像を終了する。撮像開始から撮像終了が指示されるまでの間、連続的に動画像が撮像される。撮像された動画像は、記録部１２４に記録される。

撮像中はフォーカス位置が周期的に走査される。すなわち、至近端と無限遠端との間でフォーカス位置が正弦波状に変位させられて、周期的にフォーカス位置が走査される。これにより、走査するたびに少なくとも一枚、合焦したフレームの画像を撮像できる。

〈撮像中の無人航空機の動作〉
撮像中、無人航空機１０は、高度をほぼ一定に保って飛行する。したがって、撮像中の操作は旋回のみが可能になる。

移動制御部３０ａとして機能する無人航空機マイコン３０は、センサ部２４からの出力に基づいて、各プロペラ駆動モータ２０の駆動を制御し、高度をほぼ一定に保って飛行（ホバリングを含む）する。

また、無人航空機１０は、撮像中、次のように、速度が制御されて飛行する。すなわち、撮像範囲分ずれた位置に移動するまでの間に少なくとも一回走査されるように、飛行速度が制御される。

図８は、撮像中の無人航空機の飛行速度の設定の概念図である。

いま、一定の高度から真下に向けて撮像する場合を考える。この場合、カメラ１００によって画角θの範囲が撮像される。

無人航空機１０の移動方向における撮像範囲の幅をＸとする。この場合、無人航空機１０は、距離Ｘ移動する間に少なくとも一回走査される速度に設定される。

図８は、距離Ｘ移動する間に二回走査される速度に設定した場合の例を示している。この場合、一回の走査に要する時間をＴとすると、無人航空機１０の速度Ｖは、Ｖ＝Ｘ／２Ｔと設定される。

撮像範囲は、画角θ及び被写体距離から算出できる。被写体距離は、無人航空機１０の高度からおおよその値を取得できる。すなわち、撮像中、無人航空機１０は、高度がほぼ一定に保たれるので、無人航空機１０の高度から、おおよその被写体距離を推定できる。したがって、撮像範囲は、おおよその値を事前に取得できる。また、事前に取得した撮像範囲から上記条件を満たすための無人航空機１０の速度を設定できる。すなわち、撮像範囲分ずれた位置に移動するまでの間に少なくとも一回走査するための速度を設定できる。本例では、二回走査する速度に設定する。移動制御部３０ａとして機能する無人航空機１０の無人航空機マイコン３０は、撮像中、設定された速度で移動するように、各プロペラ駆動モータ２０の駆動を制御する。

《撮像された画像の処理》
撮像により得られた動画像は、記録部１２４に記録される。この動画像は、フォーカス位置が周期的に変動した動画像となる。フォーカス位置は、一回の走査で至近端の位置から無限遠端の位置まで変位する。したがって、走査ごとに少なくとも一枚は合焦したフレームの画像を取得できる。

撮像により得られた動画像を走査単位で解析し、最も鮮鋭度の高いフレームの画像を抽出することにより、走査単位で合焦画像を抽出できる。

図９は、合焦画像の抽出の概念図である。

撮像により得られた動画像を走査単位で解析し、最も鮮鋭度の高いフレームの画像を抽出する。具体的には、各フレームを構成する画像ＦＩの鮮鋭度を求め、最も鮮鋭度の高いフレームの画像ＦＩｍａｘを走査単位で抽出する。この処理は、カメラ１００で行ってもよいし、専用の画像処理装置で行ってもよい。

カメラ１００で行う場合は、カメラマイコン１２８に上記処理を行う機能を実現させる。この場合、カメラマイコン１２８は、所定のプログラムを実行することにより、合焦画像抽出部として機能し、上記処理を実行する。なお、合焦画像の抽出は、リアルタイムに行ってもよいし、撮像終了後にまとめて実施してもよい。リアルタイムに実施する場合は、走査が終了するたびに合焦画像の抽出処理を実施する。

専用の画像処理装置で行う場合は、たとえば、コンピュータを画像処理装置として機能させる。すなわち、コンピュータに所定のプログラムを実行させて、上記処理を行う装置として機能させる。

［変形例］
《無人航空機の速度の設定》
上記のように、撮像中の無人航空機１０の速度は、カメラ１００の撮像範囲分ずれた位置に移動するまでの間に少なくとも一回走査される速度に設定される。これにより、重なりを持って合焦画像を撮像できる。

一方、撮像の効率を考慮すると、撮像中の無人航空機１０の速度は、撮像範囲分ずれた位置に移動すると同時に一回の走査が完了する速度に設定することが好ましい。これにより、所望の範囲を短時間で撮像できる。

図１０は、走査と同時に移動を完了させる場合の無人航空機の飛行速度の設定の概念図である。

無人航空機１０の移動方向におけるカメラ１００の撮像範囲の幅をＸとすると、無人航空機１０が、距離Ｘ移動すると同時に一回の走査が完了するように、無人航空機１０の速度が設定される。この場合、一回の走査にかかる時間をＴとすると、無人航空機１０の速度Ｖは、Ｖ＝Ｘ／Ｔと設定される。

なお、ここでの「同時」は、厳密な同時性を要求するものではなく、ほぼ同時とみなせる範囲を含むものである。したがって、若干のずれは許容される。無人航空機１０の速度は、撮像範囲分ずれた位置に移動するのとほぼ同じタイミングで一回の走査が完了する速度に設定すればよい。

また、実際は、重ね合わせを考慮する必要があるので、無人航空機１０が、撮像範囲分ずれた位置に移動するよりも若干速く一回の走査が完了する速度に設定される。

なお、無人航空機１０の移動方向におけるカメラ１００の撮像範囲の幅Ｘは、無人航空機１０の移動方向に応じて変化する。したがって、任意に方向転換しながら撮像する場合は、無人航空機１０の移動方向に応じて、速度を修正することが好ましい。

また、カメラ１００の向き（撮像方向）を変えた場合にも撮像範囲は変動するので、カメラ１００の向きに応じて、速度を修正することがより好ましい。

一定の速度で飛行しながら撮像する場合は、撮像範囲の短辺方向の幅分ずれた位置に移動するまでの間に少なくとも一回走査される速度に設定する。これにより、任意の方向に飛行しながら撮像する場合であっても、重なり合う合焦画像を撮像できる。この場合の最大速度は、撮像範囲の短辺方向の幅分ずれた位置に移動すると同時に一回の走査が完了する速度である。

《飛行速度の調整》
上記のように、撮像中、無人航空機１０は、ほぼ一定の高度を保って飛行する。しかし、風等の影響で必ずしも一定の高度で飛行できない場合もある。

無人航空機１０が、高度センサ等の高度測定手段を備えている場合には、その高度測定手段から高度の情報を取得し、飛行速度を調整することが好ましい。調整は、たとえば、次の手順で行う。まず、高度の情報を取得する。次に、取得した高度の情報に基づいて、被写体距離を推定する。次に、推定した被写体距離及び画角から現在の撮像範囲を算出する。算出した現在の撮像範囲の情報に基づいて、無人航空機１０の速度を補正する。画角が一定の場合、高度が低下すると（＝被写体距離が短くなると）、撮像範囲が狭くなるので、飛行速度を遅くする。一方、高度が上昇すると（＝被写体距離が長くなると）、撮像範囲が広くなるので、飛行速度を速くする。

このように、無人航空機１０の高度に応じて、飛行速度を調整することにより、不安定な環境下でも適切に撮像できる。

なお、被写体距離及び画角から撮像範囲を算出する処理、並びに、算出した撮像範囲から速度の補正量を算出し、飛行速度を補正する処理は、たとえば、無人航空機マイコン３０が行う。この場合、無人航空機マイコン３０が、撮像範囲算出部及び飛行速度補正部として機能する。撮像範囲算出部は、現在の高度の情報を被写体距離の情報として取得し、取得した被写体距離の情報及び画角に基づいて、現在の撮像範囲を算出する。飛行速度補正部は、算出された撮像範囲に基づいて、飛行速度を補正する。たとえば、撮像範囲の変化量に応じた補正量で飛行速度を補正する。

被写体距離は、撮像画像から求めることもできる。すなわち、合焦画像が撮像された際のフォーカス位置が分かれば、そのフォーカス位置の情報から被写体距離を求めることができるので、撮像画像から被写体距離を求めることができる。撮像画像から被写体距離を求める場合は、たとえば、次のように処理する。まず、一回の走査が終了した段階で一回の走査分の画像データを取得する。次に、取得した画像データを解析し、合焦画像を抽出する。次に、合焦画像を抽出した際のフォーカス位置を特定する。次に、特定したフォーカス位置に基づいて、被写体距離を特定する。この処理を一回の走査が完了するたびに実施することにより、被写体距離を逐次検出できる。

撮像画像から被写体距離を検出する処理は、カメラ１００で行ってもよいし、無人航空機１０で行ってもよい。カメラ１００が行う場合は、カメラマイコン１２８が被写体距離検出部として機能する。また、無人航空機１０が行う場合は、無人航空機マイコン３０が被写体距離検出部として機能する。無人航空機マイコン３０が被写体距離検出部と機能する場合は、カメラ１００から画像データを取得して処理する。

《走査の形態》
〈走査の波形〉
上記実施の形態では、フォーカス位置を正弦波状に変位させて周期的に走査させる構成としているが、走査の形態は、これに限定されるものではない。この他、たとえば、フォーカス位置をノコギリ波状に変位させて周期的に走査させる構成としてもよい。

図１１は、フォーカス位置をノコギリ波状に変位させて周期的に走査する場合の概念図である。同図において、縦軸はフォーカス位置を示し、横軸は時間を示している。

同図に示すように、フォーカス位置が至近端と無限遠端との間でノコギリ波状に変位して、周期的に走査される。

〈フォーカス位置の変位の形態〉
また、上記実施の形態では、フォーカス位置を連続的に変位させているが、間欠的に変位させてもよい。この場合、変位の周期と撮像の周期とを合わせることが好ましい。たとえば、動画像の撮像では、フレームレートと同じ周期で変位させる。また、静止画像の撮像では、静止画像の撮像間隔と同じ間隔で変位させる。

また、フォーカス位置を間欠的に変位させる場合、変位量は被写界深度を考慮して設定することが好ましい。以下、被写界深度を考慮した変位量の設定について説明する。

図１２は、被写界深度の算出方法の説明図である。

被写界深度とは、焦点が合っているように見える被写体側の距離の範囲のことである。撮像レンズにおいて、ある一つの設定で厳密な意味で焦点が合う場所は、一つの平面上にしかない。しかし、一定の許容量を認めることで、その前後にも十分にはっきりと像を結んでいるといえる範囲がある。

前側の被写界深度を前側被写界深度Ｄｆ、後側の被写界深度を後側被写界深度Ｄｂとすると、前側被写界深度Ｄｆ及び後側被写界深度Ｄｂは、次式により算出される。

前側被写界深度Ｄｆ＝（許容錯乱円径×Ｆ値×被写体距離^２）／（焦点距離^２＋許容錯乱円径×Ｆ値×被写体距離）
後側被写界深度Ｄｂ＝（許容錯乱円径×Ｆ値×被写体距離^２）／（焦点距離^２−許容錯乱円径×Ｆ値×被写体距離）
上式より明らかなように、被写界深度は、許容錯乱円径、Ｆ値、被写体距離、焦点距離をパラメータとして算出される。

ここで、錯乱円とは、撮像レンズにより点が結像された際の円形の像であり、イメージセンサがボケとして認識できない最小の大きさを特に許容錯乱円径という。許容錯乱円径は、イメージセンサの画素ピッチあるいはエアリーディスク径といわれるレンズの光学的な結像限界で決まり、画素ピッチあるいはエアリーディスク径の大きい方が許容錯乱円径となる。

いま、撮像レンズのフォーカス位置を変位させた場合、すなわち、像距離をｂからｂ＋Δｂに変位させた場合を考える。この場合、合焦する被写体距離が変わる。すなわち、合焦する被写体距離がａからａ＋Δａに変化する。

フォーカス位置の変位量（Δｂ）は、合焦する被写体距離の変化量Δaが、前側被写界深度Ｄｆ及び後側被写界深度Ｄｂを超えないように設定する。

このように被写界深度を考慮してフォーカス位置の変位量を設定し、変位に同期させて撮像することにより、いずれかのフレームで必ず合焦した画像を撮像できる。

〈走査の設定例〉
対象から１０００mm離れた位置から水平に移動しながら撮像する場合において、±５０mmの範囲で合焦する画像を撮像する場合を考える。

カメラの仕様は、次のとおりとする。

撮像レンズの焦点距離：ｆ＝４２mm
撮像レンズのＦ値：Ｆ＝１．４
イメージセンサの画素ピッチ：７．１um
図１３は、フォーカシングレンズ群の位置と合焦する被写体距離との関係を示すグラフである。

同図に示すように、±５０mmの範囲で合焦する画像を撮像するには、フォーカシングレンズ群をイメージセンサの撮像面から４６．１mm〜４５．９mmの範囲で変位させればよい。変位量は、被写界深度の幅を超えないギリギリの細かさで設定する。

フォーカス位置を正弦波状に変位させて走査する場合は、1周期を５２コマ以上のフレーム数で撮像すればよい。換言すると、カメラ側のフレームレートが３０コマ/秒の場合には、走査の一周期を５２／３０＝１．７３秒以上とすれば、 被写界深度の空白範囲を生じさせずに撮像できる。

フォーカス位置をノコギリ波状に変位させて走査する場合は、４６．１〜４５．９ｍｍを等速走査しながら一回を１９コマ以上のフレーム数で撮像すればよい。換言すると、カメラ側のフレームレートが３０コマ/秒の場合には1回の走査に１９／３０＝０．６３秒以上をかければ、 被写界深度の空白範囲を生じさせずに撮像できる。

《無人航空機の飛行》
無人航空機１０は、あらかじめ定められたルートを自動で飛行する構成としてもよい。この場合、コントローラ１２は不要となる。無人航空機１０は、各種センサの情報に基づいて自律制御しながら、決められたルートを飛行する。なお、この場合も飛行速度は、上記条件の下で設定される。

《カメラによる撮像》
上記実施の形態では、撮像指示に応じて動画像を連続的に撮像する構成としているが、静止画像を周期的に撮像する構成としてもよい。「静止画を周期的に撮像する」とは、撮像開始が指示されてから撮像終了が指示されるまでの間、静止画を一定の周期で繰り返し撮像することをいう。

《フォーカシング機構》
上記実施の形態では、撮像レンズを構成するレンズ群の一部を移動させて、フォーカス位置を変位させる構成としているが、フォーカス位置を変位させる構成、すなわち、フォーカシング機構の構成は、これに限定されるものではない。この他、たとえば、撮像レンズの全体、すなわち、レンズ群の全部を光軸Ｌに沿って移動させて、フォーカス位置を変位させる構成とすることもできる。また、撮像レンズは固定とし、イメージセンサを光軸に沿って前後移動させて、フォーカス位置を変位させる構成とすることもできる。

《その他》
無人航空機１０とカメラ１００との間の通信の形態は、特に限定されず、無線で通信する形態としてもよい。

◆◆撮像装置の第２の実施の形態◆◆
［撮像装置の装置構成］
本実施の形態の撮像装置も無人航空機と、その無人航空機に搭載されるカメラと、を備えて構成される点で上記第１の実施の形態の撮像装置と共通する。ただし、撮像部であるカメラの構成が異なる。本実施の形態の撮像装置のカメラは、画角の異なる二つの画像を同軸上で同時に撮像できる二眼カメラで構成される。

カメラ以外の構成は、上記第１の実施の形態の撮像装置と実質的に同じなので、ここでは、カメラの構成についてのみ説明する。

［カメラの構成］
図１４は、カメラの概略構成を示すブロック図である。

カメラ２００は、撮像部の一例である。カメラ２００は、撮像レンズ３００、イメージセンサ２１０、アナログ信号処理部２３０、記録部２３２、カメラ側有線通信部２３４、カメラマイコン２３６等を備えて構成される。

《撮像レンズ》
図１５は、撮像レンズの概略構成図である。

撮像レンズ３００は、画角の異なる二つの画像を同時に撮影するため、二つの光学系（第１光学系３１０及び第２光学系３２０）を有する。第１光学系３１０及び第２光学系３２０は、同軸上で撮像するため、同じ光軸Ｌを有する。特に、本実施の形態の撮像レンズ３００は、第１光学系３１０及び第２光学系３２０が同心状に配置される。また、第１光学系３１０及び第２光学系３２０は、画角の異なる画像を撮像するため、異なる焦点距離を有する。本実施の形態では、第１光学系３１０が望遠の光学系で構成され、第２光学系３２０が、第１光学系３１０よりも焦点距離の短い広角の光学系で構成される。

〈第１光学系〉
第１光学系３１０は、望遠の光学系で構成される。特に、本実施の形態では、第１光学系３１０が、反射望遠型の光学系で構成される。

図１５に示すように、第１光学系３１０は、被写体側から順に第１光学系第１レンズ３１０ａ、第１光学系第１ミラー３１０ｂ、第１光学系第２ミラー３１０ｃ、第１光学系絞り３１０ｄ、共通レンズ３３０が配置されて構成される。第１光学系第１レンズ３１０ａ、第１光学系第１ミラー３１０ｂ、第１光学系第２ミラー３１０ｃ及び第１光学系絞り３１０ｄは、それぞれリング形状を有する。

第１光学系第１ミラー３１０ｂは、反射望遠光学系の主鏡を構成し、第１光学系第１レンズ３１０ａを通過した光を第１光学系第２ミラー３１０ｃに向けて反射する。

第１光学系第２ミラー３１０ｃは、反射望遠光学系の副鏡を構成し、第１光学系第１ミラー３１０ｂで反射された光を共通レンズ３３０に向けて反射する。

第１光学系絞り３１０ｄは、第１光学系第２ミラー３１０ｃから共通レンズ３３０に入射する光の量を調整する。第１光学系絞り３１０ｄは、複数枚の絞り羽根をリング状に組み合わせて構成され、その外径を拡縮させて光量を調整する。

共通レンズ３３０は、最終のレンズである。第１光学系３１０に入射した光は共通レンズ３３０から出射して、イメージセンサ２１０に入射する。共通レンズ３３０は、第２光学系３２０と共用される。

図１６は、第１光学系を通る光の光線軌跡を示す図である。

同図に示すように、光は、第１光学系第１レンズ３１０ａ、第１光学系第１ミラー３１０ｂ、第１光学系第２ミラー３１０ｃ、第１光学系絞り３１０ｄ、共通レンズ３３０を介してイメージセンサ２１０に入射する。

〈第２光学系〉
第２光学系３２０は、広角の光学系で構成される。特に、本実施の形態では、第２光学系３２０が、パンフォーカスでの撮像が可能な固定焦点の光学系で構成される。

図１５に示すように、第２光学系３２０は、被写体側から順に第２光学系第１レンズ３２０ａ、第２光学系第２レンズ３２０ｂ、第２光学系絞り３２０ｃ、第２光学系第３レンズ３２０ｄ、第２光学系第４レンズ３２０ｅ、共通レンズ３３０が配置される。各光学要素は、第１光学系３１０の内周部同軸上に配置される。第２光学系３２０は固定焦点であるため、各光学要素（共通レンズ３３０を含む）は、一定位置に固定して配置される。第２光学系絞り３２０ｃも固定絞りで構成され、一定位置に固定して配置される。

図１７は、第２光学系を通る光の光線軌跡を示す図である。

光は、第２光学系第１レンズ３２０ａ、第２光学系第２レンズ３２０ｂ、第２光学系絞り３２０ｃ、第２光学系第３レンズ３２０ｄ、第２光学系第４レンズ３２０ｅ、共通レンズ３３０を介してイメージセンサ２１０に入射する。

〈撮像レンズの駆動系〉
図１８は、撮像レンズの駆動系の概略構成を示すブロック図である。

上記のように、第２光学系３２０は、固定焦点、固定絞りであるため、駆動系は、第１光学系３１０についてのみ備えられる。

第１光学系３１０は、そのフォーカス位置を調整するための機構として、第１光学系フォーカシング機構を備える。

第１光学系フォーカシング機構は、第１光学系３１０の一部の光学要素を軸に沿って前後移動させることにより、フォーカス位置を変位させる。

図１９は、第１光学系フォーカシング機構によって駆動される第１光学系の動作説明図である。同図（Ａ）は、可動部を被写体側に移動させた状態を示し、同図（Ｂ）は、可動部を像面側に移動させた状態を示している。

図１９に示すように、第１光学系フォーカシング機構は、第１光学系３１０を構成する第１光学系第１レンズ３１０ａ、第１光学系第１ミラー３１０ｂ、第１光学系第２ミラー３１０ｃ及び第１光学系絞り３１０ｄを一体的に移動させて、フォーカス位置を変位させる。

第１光学系フォーカシング機構は、第１光学系第１レンズ３１０ａ、第１光学系第１ミラー３１０ｂ、第１光学系第２ミラー３１０ｃ及び第１光学系絞り３１０ｄ（以下、第１光学系可動部という。）を軸に沿って一体的に移動自在に支持する支持部（不図示）と、その第１光学系可動部を軸に沿って移動させる第１光学系フォーカシングモータ３４０と、を備えて構成される。第１光学系フォーカシングモータ３４０は、たとえばリニアモータで構成される。カメラマイコン２３６は、第１光学系フォーカシングモータドライバ３４０ａを介して第１光学系フォーカシングモータ３４０の駆動を制御する。

第１光学系３１０は、第１光学系可動部の位置を検出する手段として、第１光学系フォトインタラプタ３４２ａ及び第１光学系ＭＲセンサ３４２ｂを備える。第１光学系フォトインタラプタ３４２ａは、第１光学系可動部が、あらかじめ定められた原点に位置したことを検出する。第１光学系ＭＲセンサ３４２ｂは、第１光学系可動部の変位量を検出する。第１光学系フォトインタラプタ３４２ａによって第１光学系可動部が原点に位置したことを検出し、原点からの変位量を第１光学系ＭＲセンサ３４２ｂで検出することにより、原点に対する第１光学系可動部の位置を検出できる。第１光学系フォトインタラプタ３４２ａ及び第１光学系ＭＲセンサ３４２ｂの検出結果は、カメラマイコン２３６に出力される。カメラマイコン２３６は、第１光学系フォトインタラプタ３４２ａ及び第１光学系ＭＲセンサ３４２ｂの出力に基づいて、第１光学系可動部の位置を検出する。

第１光学系絞り３１０ｄは、第１光学系絞りモータ３４４に駆動される。カメラマイコン２３６は、第１光学系絞りドライバ３４４ａを介して第１光学系絞りモータ３４４の駆動を制御する。

《イメージセンサ》
イメージセンサ２１０は、第１光学系３１０を通過した光と第２光学系３２０を通過した光とを選択的に受光する画素がマトリックス状に配列された指向性センサで構成される。

図２０は、イメージセンサの概略構成図である。

同図に示すように、イメージセンサ２１０は、第１光学系３１０を通過した光を選択的に受光する第１画素２１２Ａ及び第２光学系３２０を通過した光を選択的に受光する第２画素２１２Ｂを有する。第１画素２１２Ａ及び第２画素２１２Ｂは、同一平面上に交互に配置される。

図２１は、イメージセンサの各画素が対応する光学系からの光を選択的に受光する構成の概念図である。

同図に示すように、各画素は、フォトダイオード２１４と、マイクロレンズ２１６と、遮光マスク２１８と、を備えて構成される。

マイクロレンズ２１６は、フォトダイオード２１４の前方に配置される。マイクロレンズ２１６は、第１光学系３１０及び第２光学系３２０の瞳像をフォトダイオード２１４に結像させる。

遮光マスク２１８は、マイクロレンズ２１６とフォトダイオード２１４との間に配置される。遮光マスク２１８は、マイクロレンズ２１６を通過した光の一部を遮光する。第１画素２１２Ａの遮光マスク２１８は、第２光学系３２０を通過した光Ｌ２を遮光する形状を有する。具体的には、円形状を有する。第２画素２１２Ｂの遮光マスク２１８は、第１光学系３１０を通過した光Ｌ１を遮光する形状を有する。具体的には、リング形状を有する。

以上の構成により、第１画素２１２Ａは、第１光学系３１０を通過した光Ｌ１を選択的に受光し、第２画素２１２Ｂは第２光学系３２０を通過した光Ｌ２を選択的に受光する。したがって、第１画素２１２Ａの画像信号を取得することにより、第１光学系３１０を介して得られる画像Ｉｍ１の画像信号を取得でき、第２画素２１２Ｂの画像信号を取得することにより、第２光学系３２０を介して得られる画像Ｉｍ２の画像信号を取得できる。

本実施の形態の撮像レンズ３００は、第１光学系３１０が望遠の光学系で構成され、第２光学系３２０が広角の光学系で構成される。したがって、第１光学系３１０の画像Ｉｍ１は、望遠の画像となり、第２光学系３２０の画像Ｉｍ２は、広角の画像となる。また、各光学系の画像は同軸上で撮像されるため、第１光学系３１０の画像Ｉｍ１は、第２光学系３２０の画像Ｉｍ２の中央部分を拡大した画像となり、視差のない画像となる。

なお、カラー画像を取得する場合には、第１画素２１２Ａ及び第２画素２１２Ｂにカラーフィルタが備えられる。カラーフィルタは規定の配列で配置される。たとえば、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３色からなるカラーフィルタがベイヤー配列で配置される。これにより、カラー画像を取得できる。

《アナログ信号処理部》
アナログ信号処理部２３０は、イメージセンサ２１０から出力される画素ごとのアナログの画像信号を取り込み、所定の信号処理を施した後、デジタル信号に変換して出力する。アナログ信号処理部２３０から出力されたデジタルの画像信号は、カメラマイコン２３６に取り込まれる。

《記録部》
記録部２３２は、各種データの記録部である。撮像された画像データは、記録部２３２に記録される。なお、本実施の形態のカメラ２００は、一回の撮像で二つ画像が同時に撮像されるので、一回の撮像で二つの画像が記録される。具体的には、第１光学系３１０で撮像された画像データと、第２光学系３２０で撮像された画像データとが記録される。

《カメラ側有線通信部》
カメラ側有線通信部２３４は、カメラマイコン２３６による制御の下、無人航空機１０と有線で通信し、互いに各種信号を送受信する。

《カメラマイコン》
カメラマイコン２３６は、カメラ２００の全体の動作を統括制御する制御部である。カメラマイコン２３６は、ＣＰＵ、ＲＯＭ、ＲＡＭを備え、所定のプログラムを実行することにより各種機能を実現する。プログラムは、ＲＯＭに格納される。

図２２は、カメラマイコンが実現する主な機能のブロック図である。

同図に示すように、カメラマイコン２３６は、所定のプログラムを実行することにより、デジタル信号処理部２３６ａ、記録制御部２３６ｂ、カメラ側有線通信制御部２３６ｃ、撮像制御部２３６ｄ、第１光学系絞り制御部２３６ｅ、第１光学系フォーカシング制御部２３６ｆ、第１光学系レンズ位置検出部２３６ｇ等として機能する。

デジタル信号処理部２３６ａは、アナログ信号処理部２３０から出力されたアナログの画像信号を取り込み、所定の信号処理を施して、画像データを生成する。この際、デジタル信号処理部２３６ａは、イメージセンサ２１０の第１画素２１２Ａの画像信号に基づいて、第１画像データを生成し、第２画素２１２Ｂの画像信号に基づいて、第２画像データを生成する。第１画像データは、第１光学系３１０を介して撮像される第１画像の画像データであり、第２画像データは、第２光学系３２０を介して撮像される第２画像の画像データである。

記録制御部２３６ｂは、記録部２３２へのデータの読み書き制御する。撮像により得られた画像データ（第１画像データ及び第２画像データ）は、記録制御部２３６ｂにより記録部２３２に記録される。

カメラ側有線通信制御部２３６ｃは、カメラ側有線通信部２３４を介して、無人航空機１０との間の通信を制御する。

撮像制御部２３６ｄは、イメージセンサドライバ２１０ａを介してイメージセンサ２１０の駆動を制御する。より具体的には、所定のフレームレートで動画像が撮像されるように、イメージセンサ２１０の駆動を制御する。

第１光学系絞り制御部２３６ｅは、第１光学系絞りドライバ３４４ａを介して第１光学系絞りモータ３４４の駆動を制御する。

第１光学系フォーカシング制御部２３６ｆは、第１光学系フォーカシングモータドライバ３４０ａを介して第１光学系フォーカシングモータ３４０の駆動を制御する。具体的には、第１光学系３１０のフォーカス位置が周期的に走査されるように、第１光学系フォーカシングモータ３４０の駆動を制御する。本実施の形態のカメラ２００では、第１光学系３１０のフォーカス位置を至近端と無限遠端との間で正弦波状に変位させて、周期的に走査させる（図７参照）。

第１光学系レンズ位置検出部２３６ｇは、第１光学系フォトインタラプタ３４２ａ及び第１光学系ＭＲセンサ３４２ｂの出力に基づいて、第１光学系可動部の位置を検出する。

第１光学系フォーカシング制御部２３６ｆは、第１光学系可動部の位置に基づいて、第１光学系フォーカシングモータ３４０の駆動を制御し、フォーカス位置を周期的に走査させる。

［撮像装置の作用］
《基本動作》
〈無人航空機の基本動作〉
無人航空機１０は、コントローラ１２の操作に基づいて大気中を飛行する。具体的には、コントローラ１２による上昇の指示に応じて上昇し、下降の指示に応じて下降する。また、旋回の指示に応じて指示された方向に旋回する。

〈カメラの基本動作〉
カメラ２００もコントローラ１２の操作に基づいて撮像する。すなわち、コントローラ１２による撮像開始の指示に応じて、動画像の撮像を開始する。また、コントローラ１２による撮像終了の指示に応じて、動画像の撮像を終了する。撮像開始から撮像終了が指示されるまでの間、連続的に動画像が撮像される。

ここで、本実施の形態のカメラ２００では、第１光学系３１０による動画像と、第２光学系３２０による動画像とが同軸上で同時に撮像される。第１光学系３１０による動画像は望遠の動画像であり、第２光学系３２０による動画像は広角の動画像である。両者は、視差のない動画像となる。第１光学系３１０で撮像された動画像と、第２光学系３２０で撮像された動画像は、それぞれ記録部２３２に記録される。

撮像中、第１光学系３１０については、フォーカス位置が周期的に走査される。すなわち、至近端と無限遠端との間でフォーカス位置が正弦波状に変位させられて、周期的にフォーカス位置が走査される。これにより、第１光学系３１０については、一回走査するたびに少なくとも一枚、合焦したフレームの画像を撮像できる。

なお、第２光学系３２０による撮像は、固定焦点での撮像であり、パンフォーカスでの撮像である。

〈撮像中の無人航空機の動作〉
撮像中、無人航空機１０は、高度をほぼ一定に保って飛行する。したがって、撮像中の操作は旋回のみが可能になる。

移動制御部３０ａとして機能する無人航空機マイコン３０は、センサ部２４からの出力に基づいて、各プロペラ駆動モータ２０の駆動を制御し、高度をほぼ一定に保って飛行する。

また、無人航空機１０は、撮像中、次のように、速度が制御されて飛行する。すなわち、第１光学系３１０による撮像範囲分ずれた位置に移動するまでの間に少なくとも一回走査されるように、飛行速度が制御される。

図２３は、撮像中の無人航空機の飛行速度の設定の概念図である。

いま、一定の高度から真下に向けて撮像する場合を考える。この場合、第１光学系３１０によって画角θ１の範囲が撮像され、第２光学系３２０によって画角θ２の範囲が撮像される。

無人航空機１０の移動方向における第１光学系３１０の撮像範囲の幅をＸ１、第２光学系３２０の撮像範囲の幅をＸ２とする。この場合、無人航空機１０は、距離Ｘ１移動する間に少なくとも一回走査される速度に設定される。

図２３は、距離Ｘ１移動する間に二回走査される速度に設定した場合の例を示している。この場合、一回の走査に要する時間をＴとすると、無人航空機１０の速度Ｖは、Ｖ＝Ｘ／２Ｔと設定される。移動制御部３０ａとして機能する無人航空機１０の無人航空機マイコン３０は、撮像中、設定された速度で移動するように、各プロペラ駆動モータ２０の駆動を制御する。

《撮像された画像の処理》
第１光学系３１０で撮像された動画像及び第２光学系３２０で撮像された動画像は、それぞれ記録部２３２に記録される。この動画像のうち第１光学系３１０で撮像された動画像は、フォーカス位置が周期的に変動した動画像となる。フォーカス位置は、一回の走査で至近端の位置から無限遠端の位置まで変位する。したがって、一回の走査で少なくとも一枚は合焦したフレームの画像を取得できる。

第１光学系３１０で撮像された動画像については、動画像を走査単位で解析し、最も鮮鋭度の高いフレームの画像を抽出することにより、走査単位で合焦画像を抽出できる。

第２光学系３２０で撮像された動画像については、合焦画像に対応するフレームの画像を抽出する。すなわち、合焦画像として抽出されたフレームと同じタイミングで撮像されたフレームの画像を抽出する。

この合焦画像の抽出処理は、カメラ２００で行ってもよいし、専用の画像処理装置で行ってもよい。

カメラ２００で行う場合は、カメラマイコン２３６に上記処理を行う機能を実現させる。この場合、カメラマイコン２３６は、所定のプログラムを実行することにより、合焦画像抽出部として機能し、上記処理を実行する。なお、合焦画像の抽出は、リアルタイムに行ってもよいし、撮像終了後にまとめて実施してもよい。リアルタイムに実施する場合は、走査が終了するたびに合焦画像の抽出処理を実施する。

専用の画像処理装置で行う場合は、たとえば、コンピュータを画像処理装置として機能させる。すなわち、コンピュータに所定のプログラムを実行させて、上記処理を行う装置として機能させる。

［変形例］
《無人航空機の速度の設定》
上記のように、撮像中の無人航空機１０の速度は、第１光学系３１０の撮像範囲分ずれた位置に移動するまでの間に少なくとも一回走査される速度に設定される。これにより、第１光学系３１０及び第２光学系３２０の双方向において、重なりを持って合焦画像を撮像できる。

一方、撮像の効率を考慮すると、撮像中の無人航空機１０の速度は、第１光学系３１０の撮像範囲分ずれた位置に移動すると同時に一回の走査が完了する速度に設定することが好ましい。これにより、所望の範囲を短時間で撮像できる。

図２４は、走査と同時に移動を完了させる場合の無人航空機の飛行速度の設定の概念図である。

無人航空機１０の移動方向における第１光学系３１０の撮像範囲の幅をＸ１とすると、無人航空機１０が、距離Ｘ１移動すると同時に一回の走査が完了するように、無人航空機１０の速度が設定される。この場合、一回の走査にかかる時間をＴとすると、無人航空機１０の速度Ｖは、Ｖ＝Ｘ１／Ｔと設定される。

なお、ここでの「同時」は、厳密な同時性を要求するものではなく、ほぼ同時とみなせる範囲を含むものである。したがって、若干のずれは許容される。無人航空機１０の速度は、撮像範囲分ずれた位置に移動するのとほぼ同じタイミングで一回の走査が完了する速度に設定すればよい。

また、実際は、重ね合わせを考慮する必要があるので、無人航空機１０が、第１光学系３１０の撮像範囲分ずれた位置に移動するよりも若干速く一回の走査が完了する速度に設定される。

なお、無人航空機１０の移動方向における第１光学系３１０の撮像範囲の幅Ｘ１は、無人航空機１０の移動方向に応じて変化する。したがって、任意に方向転換しながら撮像する場合は、無人航空機１０の移動方向に応じて、速度を修正することが好ましい。

また、カメラ２００の向き（撮像方向）を変えた場合にも撮像範囲は変動するので、カメラ２００の向きに応じて、速度を修正することがより好ましい。

一定の速度で飛行しながら撮像する場合は、第１光学系３１０の撮像範囲の短辺方向の幅分ずれた位置に移動するまでの間に少なくとも一回の走査される速度に設定する。これにより、任意の方向に飛行しながら撮像する場合であっても、第１光学系３１０及び第２光学系３２０の双方において、重なり合う合焦画像を撮像できる。この場合の最大速度は、第１光学系３１０の撮像範囲の短辺方向の幅分ずれた位置に移動すると同時に一回の走査が完了する速度である。

《飛行速度の調整》
無人航空機１０が、高度センサ等の高度測定手段を備えている場合には、その高度測定手段から高度の情報を取得し、飛行速度を調整することが好ましい。すなわち、高度から被写体距離を推定し、推定した被写体距離及び画角から現在の撮像範囲を算出して、無人航空機１０の速度を補正することが好ましい。

なお、被写体距離及び画角から撮像範囲を算出する処理、並びに、算出した撮像範囲から速度の補正量を算出し、飛行速度を補正する処理は、たとえば、無人航空機マイコン３０が行う。この場合、無人航空機マイコン３０が、撮像範囲算出部及び飛行速度補正部として機能する。撮像範囲算出部は、現在の高度の情報を被写体距離の情報として取得し、取得した被写体距離の情報及び画角に基づいて、現在の撮像範囲を算出する。飛行速度補正部は、算出された撮像範囲に基づいて、飛行速度を補正する。たとえば、撮像範囲の変化量に応じた補正量で飛行速度を補正する。

上記のように、被写体距離は、撮像画像から求めることもできる。撮像画像から被写体距離を検出する処理は、カメラ２００で行ってもよいし、無人航空機１０で行ってもよい。カメラ２００が行う場合は、カメラマイコン２３６が被写体距離検出部として機能する。また、無人航空機１０が行う場合は、無人航空機マイコン３０が被写体距離検出部として機能する。無人航空機マイコン３０が被写体距離検出部と機能する場合は、カメラ２００から画像データを取得して処理する。

《走査の形態》
上記実施の形態では、フォーカス位置を正弦波状に変位させて周期的に走査させる構成としているが、走査の形態は、これに限定されるものではない。この他、たとえば、フォーカス位置をノコギリ波状に変位させて周期的に走査させる構成としてもよい（図１１参照）。

また、フォーカス位置は、間欠的に変位させてもよい。この場合、変位の周期と撮像の周期とを合わせることが好ましい。

《無人航空機の飛行》
無人航空機１０は、あらかじめ定められたルートを自動で飛行する構成としてもよい。この場合、コントローラ１２は不要となる。無人航空機１０は、各種センサの情報に基づいて自律制御しながら、決められたルートを飛行する。なお、この場合も飛行速度は、上記条件の下で設定される。

《カメラによる撮像》
上記実施の形態では、撮像指示に応じて動画像を連続的に撮像する構成としているが、静止画像を周期的に撮像する構成としてもよい。

《第２光学系のフォーカシング機構》
上記実施の形態では、第２光学系３２０が固定焦点の光学系で構成されているが、第２光学系３２０についてもフォーカシング機構（第２光学系フォーカシング機構）を備えてもよい。第２光学系フォーカシング機構は、たとえば、第２光学系３２０を構成するレンズ群の一部又は全部を移動させて、第２光学系３２０のフォーカス位置を変位させる。

また、第２光学系３２０にフォーカシング機構を備える場合、第２光学系３２０にオートフォーカス機能を備えてもよい。この場合、第２光学系３２０の合焦状態を検出する検出部（第２光学系合焦状態検出部）を別途備え、その第２光学系合焦状態検出部の検出結果に基づいて、第２光学系フォーカシング機構を制御する。第２光学系フォーカシング機構の制御は、カメラマイコン２３６が実施する。すなわち、カメラマイコン２３６が、第２光学系フォーカシング制御部として機能し、第２光学系合焦状態検出部の検出結果に基づいて、第２光学系フォーカシング機構を制御する。

第２光学系合焦状態検出部の構成は、特に限定されず、公知の検出機構を採用できる。たとえば、コントラスト方式による検出機構、位相差方式による検出機構、距離センサを用いた検出機構等を採用できる。

《第２光学系の絞り》
上記実施の形態では、第２光学系３２０の絞り（第２光学系絞り３２０ｃ）が固定絞りで構成されているが、光量調整可能な絞りで構成することもできる。たとえば、アイリス絞りで構成することができる。

《撮像レンズの構成》
上記実施の形態では、第１光学系３１０及び第２光学系３２０を同心状に配置した構成としているが、撮像レンズ３００の構成は、これに限定されるものではない。たとえば、上下等に二等分割した構成とすることもできる。この場合、イメージセンサ２１０も撮像レンズ３００の構成に対応した構成とされる。

また、上記実施の形態では、第１光学系３１０及び第２光学系３２０を焦点距離が異なる光学系で構成しているが、焦点距離は同じで他の性質が異なる光学系で構成してもよい。あるいは、焦点距離が異なり、他の性質も異なる光学系で構成してもよい。たとえば、互いに透過波長特性の異なる光学系で構成してもよい。「透過波長特性」とは、特定の波長域の光を透過させる性質のことをいい、「透過波長特性の異なる光学系」とは、特定の波長域の光を透過させる性質が互いに異なる光学系のことをいう。たとえば、赤外光領域の光を透過させる光学系と、可視光領域の光を透過させる光学系とで撮像レンズを構成してもよい。

《混信除去処理》
本実施の形態のカメラのように、一つのイメージセンサで二つの光学系の画像を撮像すると、混信が発生する場合がある。混信とは、他の光学系からの光が混入して受光される現象である。混信が生じると、他の光学系の画像が重畳した画像が撮像される。混信が発生する場合は、撮像により得られた画像データに混信除去処理を施すことが好ましい。

混信除去処理は、たとえば、次のように行われる。なお、ここでは、理解を容易にするため、すべての第１画素が同じ混信比率を有し、かつ、すべての第２画素が同じ混信比率を有するものとする。「混信比率」とは、各画素が各光学系から受光する光の割合のことをいう。

第１画素の混信比率をC1＝C11：C12とし、第２画素の混信比率をC2＝C21：C22とする。ここで、第１画素について、混信比率C1がC11：C12とは、第１光学系及び第２光学系から受光する光の割合が、第１光学系：第２光学系＝C11：C12、という意味である。すなわち、第１光学系からC11、第２光学系からC12の割合で光を受光する、という意味である。同様に、第２の光学系について、混信比率C2がC21：C22とは、第１光学系及び第２光学系から受光する光の割合が、第１光学系：第２光学系＝C21：C22、という意味である。

混信除去処理前の第１光学系の画像データを第１光学系一次画像データとし、混信除去処理後の第１光学系の画像データを第１光学系二次画像データとする。また、混信除去処理前の第２光学系の画像データを第２光学系一次画像データとし、混信除去処理後の第２光学系の画像データを第２光学系二次画像データとする。この場合、第１光学系一次画像データには、混信比率C1＝C11：C12の割合で混信が生じる。また、第２光学系一次画像データには、混信比率C2＝C21：C22の割合で混信が生じる。

いま、ある特定の画素位置（ｘ，ｙ）における第１光学系一次画像データの画素値（当該画素が持つ値）をA1、第２光学系一次画像データの画素値をA2とする。また、対応する画素位置における第１光学系二次画像データの画素値をB1、第２光学系二次画像データの画素値をB2とする。

第１光学系二次画像データ及び第２光学系二次画像データの各画素値B1、B2は、次の連立方程式を解いて求められる。

A1 = C11*B1 + C12*B2
A2 = C21*B1 + C22*B2
すなわち、第１光学系一次画像データは、第１光学系二次画像データの成分（第１光学系の成分と同義）と第２光学系二次画像データの成分（第２光学系の成分と同義）とをC11：C12の割合で含むデータである。したがって、この関係を式で表わすと、A1=C11*B1+C12*B2となる。同様に、第２光学系一次画像データは、第１光学系二次画像データの成分（第１光学系の成分）と第２光学系二次画像データの成分（第２光学系の成分）をC21：C22の割合で含むデータであるので、この関係を式で表わすと、A2=C21*B1+C22*B2となる。

画素単位で上記連立方程式を解くことにより、第１光学系二次画像データ及び第２光学系二次画像データの各画素値B1、B2を算出でき、混信の影響を除去した画像データ（第１光学系二次画像データ及び第２光学系二次画像データ）を生成できる。

上記連立方程式については、行列を使って解くことができる。第１光学系一次画像データ及び第２光学系一次画像データの画素値A1、A2を要素とする２行１列の行列をＡ、第１光学系二次画像データ及び第２光学系二次画像データの画素値B1、B2を要素とする２行１列の行列をＢ、第１画素の混信比率C1＝C11：C12及び第２画素の混信比率C2＝C21：C22を要素とする２行２列の行列をＣとすると、上記連立方程式は、Ａ＝Ｃ＊Ｂと表現できる。

そして、第１光学系二次画像データ及び第２光学系二次画像データの画素値B1、B2については、上記行列方程式Ａ＝Ｃ＊Ｂの両辺にＣの逆行列Ｃ-1を掛けることにより算出できる。すなわち、Ｂ＝Ｃ-1＊Ａを解くことにより算出できる。

各画素に備えられる画素の混信比率は既知なので、逆行列Ｃ-1については、あらかじめ取得できる。したがって、各一次画像データの画素値A1、A2を取得できれば、逆行列Ｃ-1を用いて、各二次画像データの画素値B1、B2を算出できる。

以上のように、一次画像データに対して所定の演算処理（混信除去処理）を施すことにより、混信の影響を除去した二次画像データを生成できる。

この処理は、たとえば、カメラマイコン２３６で実施する構成とすることができる。カメラマイコン２３６は、所定のプログラムを実行することにより、混信除去処理部として機能する。また、この処理は、撮像後に別の装置、たとえば、コンピュータで実施することもできる。

◆◆撮像装置のその他の実施の形態◆◆
上記実施の形態では、無人航空機にカメラを搭載して撮像する場合を例に説明したが、カメラを搭載する移動体の構成は、これに限定されるものではない。この他、たとえば、自動運転車等の自動で走行する移動体にカメラを搭載して撮像する場合にも適用できる。また、有人、無人の区別も問われない。また、飛行体は、航空機に限らず、人工衛星、宇宙船等の宇宙空間を飛行する飛行体であってもよい。

また、カメラは、必ずしも移動体に搭載する必要はなく、ユーザが手持ちで撮像する構成とすることもできる。

さらに、カメラを雲台等に搭載し、パンニングしながら撮像する場合にも本発明を適用することができる。

◆◆画像合成装置の第１の実施の形態◆◆
［画像合成装置の装置構成］
図２５は、画像合成装置のシステム構成図である。

同図に示すように、本実施の形態の画像合成装置２は、撮像装置１及びコンピュータ３で構成される。コンピュータ３は、撮像装置１で撮像された画像を処理して合成画像を生成する。ここで生成する合成画像は、撮像装置１で撮像された画像群を繋ぎ合わせたモザイク画像である。

《撮像装置》
本実施の形態では、単眼のカメラ１００を備えた撮像装置１を使用する。

なお、撮像装置１には、合焦画像抽出部が備えられているものとする。上記のように、合焦画像抽出部は、記録部１２４に記録された動画像を走査単位で解析し、最も鮮鋭度の高いフレームの画像を合焦画像として走査単位で抽出する。抽出された合焦画像は、記録部１２４に記録される。カメラマイコン１２８は、所定のプログラムを実行することにより、合焦画像抽出部として機能する。

《コンピュータ》
コンピュータ３は、合成画像生成部の一例である。コンピュータ３は、撮像装置１から画像群を取得し、取得した画像群を繋ぎ合わせて一枚の合成画像を生成する。なお、撮像装置１から取得する画像群は、走査単位で抽出された合焦画像群である。

コンピュータ３は、一般的なノイマン型コンピュータで構成され、入力装置、出力装置、中央処理装置（ＣＰＵ）、主記憶装置、補助記憶装置等を備えて構成される。コンピュータ３は、所定のプログラムを実行することにより、合成画像生成部として機能する。プログラムは、補助記憶装置に記憶され、主記憶装置に読み出されて中央処理装置で実行される。

コンピュータ３は、公知のモザイク合成、ステッチングなどの手法を用いて合成画像を生成する。たとえば、隣接する画像間で対応する特徴点を抽出し、対応する特徴点同士が重なるように位置合わせして結合する手法を採用できる。

［画像合成装置の作用］
《撮像》
まず、撮像装置１を用いて合成画像を生成する対象が撮像される。

図２６は、撮像の形態の一例を示す図である。同図は、太陽光発電設備５００の合成画像を生成する場合の例を示している。地上に設置された太陽光発電設備５００を撮像装置１によって上空から撮像し、太陽光発電設備５００の全体を写した一枚の合成画像を生成する。

太陽光発電設備５００は、複数の太陽光発電ユニット５１０を規則的に配列して構成される。一つの太陽光発電ユニット５１０は、複数枚の太陽電池モジュール５２０を規則的に配列して構成される。図２６に示す例では、４５枚の太陽電池モジュール５２０を縦横５×９で配列して、一つの太陽光発電ユニット５１０を構成している。また、図２６に示す例では、１２個の太陽光発電ユニットを縦横４×３で配列して、太陽光発電設備５００を構成している。

図２６に示す矢印Ｒは、撮像装置１の飛行ルートを示している。また、図２６に破線で示す枠Ｚは、所定の高度から撮像装置１で撮像した場合の撮像範囲を示している。

図２６に示すように、撮像装置１は、太陽光発電設備５００を走査するように飛行し、太陽光発電設備５００を上空から撮像する。撮像中の飛行速度は、上記のように、撮像範囲分ずれた位置に移動するまでの間に少なくとも一回走査される速度に設定される。

《合焦画像の抽出》
撮像中又は撮像が終了すると、合焦画像の抽出処理が行われる。合焦画像の抽出処理は、撮像された動画像を走査単位で解析し、最も鮮鋭度の高いフレームの画像を走査単位で抽出することにより行われる。抽出された合焦画像は、記録部１２４に記録される。

《合成画像の生成》
図２７は、合成画像の生成の概念図である。

同図（Ａ）は、撮像装置１がほぼ直線状に飛行して場合に得られる合焦画像群の一例を示している。特に、同図は、太陽光発電ユニット５１０を横方向に一列分撮像した場合に得られる合焦画像群の一例を示している。また、同図（Ｂ）は、同図（Ａ）の合焦画像群から生成される合成画像の一例を示している。

図２７（Ａ）に示すように、撮像装置１で撮像することにより、時系列順に走査単位で合焦画像Ｓ１、Ｓ２、…が得られる。得られる合焦画像群は、個々の画像が、隣接する画像間において、重複領域を備えた画像となる。隣接する画像とは、時系列順で隣り合う画像である。

コンピュータ３は、公知の手法を用いて合焦画像群を処理し、合成画像を生成する。たとえば、隣接する画像間で対応する特徴点を抽出し、対応する特徴点同士が重なるように位置合わせして結合する。これにより、図２７（Ｂ）に示すように、連続した一枚の合成画像を生成できる。

［変形例］
上記実施の形態では、単眼のカメラ１００を備えた撮像装置を使用し、得られた合焦画像群を処理して合成画像を生成する場合を例に説明したが、二眼のカメラ２００を備えた撮像装置を使用して合成画像を生成することもできる。この場合、第１光学系３１０から得られる合焦画像群を合成処理して、合成画像を生成する。第１光学系３１０は、望遠の光学系であるため、高精細の合成画像を生成できる。また、この場合、第２光学系３２０の画像を使用して、特徴点の抽出処理等を行うこともできる。第２光学系３２０は、第１光学系３１０よりも焦点距離の短い広角の光学系であるため、より広い画角の画像を撮像できる。また、第２光学系３２０は第１光学系３１０と同軸上で撮像できるため、画角のみが異なる画像を撮像できる。これにより、より多くの特徴点を抽出でき、位置合わせ等の処理を正確にできる。

◆◆画像合成装置の第２の実施の形態◆◆
本実施の形態の画像合成装置は、撮像により得られた合焦画像群を解析して、各合焦画像を撮像した際のカメラの相対的な位置及び姿勢を推定し、その推定結果に基づいて、各合焦画像を配置して合成画像を生成する。特に、本実施の形態では、ＳｆＭ（Structure from Motion）の手法を用いて、各合焦画像を撮像した際のカメラの相対的な位置及び姿勢を推定する。

［画像合成装置の装置構成］
画像合成装置の構成は、上記第１の実施の形態の画像合成装置２の構成と同じである。すなわち、撮像装置１及びコンピュータ３で構成される。

なお、本実施の形態では、撮像装置１として、二眼のカメラ２００を備えた撮像装置を使用する場合を例に説明する。撮像装置１には、合焦画像抽出部が備えられているものとする。合焦画像抽出部は、第１光学系３１０で撮像された動画像を走査単位で解析し、最も鮮鋭度の高いフレームの画像を第１光学系３１０の合焦画像として抽出する。また、第２光学系３２０の合焦画像は、第１光学系３１０で抽出された合焦画像に対応するフレームの画像を合焦画像として抽出する。

《コンピュータ》
図２８は、コンピュータが実現する機能のブロック図である。

コンピュータ３は、所定のプログラムを実行することにより、撮像条件推定部３ａ及び合成画像生成部３ｂとして機能する。

〈撮像条件推定部〉
撮像条件推定部３ａは、撮像装置１から撮像により得られた合焦画像群を取得し、取得した合焦画像群を解析して、各合焦画像を撮像した際のカメラ２００の相対的な位置及び姿勢を撮像条件として推定する。本実施の形態では、取得した合焦画像群にＳｆＭ処理を適用して、各合焦画像を撮像した際のカメラ２００の相対的な位置及び姿勢を推定する。ＳｆＭ処理とは、視点の異なる複数枚の画像から被写体の三次元形状、並びに、カメラの相対的な位置及び姿勢を復元する処理である。ＳｆＭ処理を行うプログラムとしては、「Ｂｕｎｄｌｅｒ」、「ＶｉｓｕａｌＳＦＭ」などのプログラムが知られている。これらのプログラムは、画像群を入力すると、各画像中の特徴点を抽出して画像間でのマッチングを行い、それらの特徴点の３Ｄ点座標、並びに、各カメラの相対的な位置及び姿勢を推定して出力する。

図２９は、ＳｆＭ処理によって出力される結果の一例を示す図である。なお、同図において、座標系Ｘ−Ｙ−Ｚは、Ｚ軸を高さ方向とする地上座標系であり、Ｘ−Ｙ平面が地平面を表わしている。

同図に示すように、画像群をＳｆＭ処理することにより、各画像から抽出された特徴点ＦＰの３Ｄ点座標、並びに、カメラ２００の相対的な位置及び姿勢が推定される。

ところで、上記のように、本実施の形態の画像合成装置では、二眼のカメラ２００を備えた撮像装置１が使用される。この撮像装置１では、画角の異なる二つの画像が同軸上で同時に撮像される。具体的には、第１光学系３１０で望遠の画像が撮像され、第２光学系３２０で広角の画像が撮像される。

撮像条件推定部３ａは、二つの合焦画像群のうち第２光学系３２０の合焦画像群をＳｆＭ処理して、各合焦画像を撮像した際のカメラ２００の相対的な位置及び姿勢を推定する。第２光学系３２０は、広角の光学系で構成されるため、より広域の画像を撮像できる。これにより、特徴点を抽出する際、多くの特徴点を抽出でき、相対的なカメラ２００の位置及び姿勢を高精度に推定できる。

〈合成画像生成部〉
合成画像生成部３ｂは、撮像条件推定部３ａの推定結果に基づいて、各合焦画像を配置し、合成画像を生成する。すなわち、推定したカメラ２００の相対的な位置及び姿勢に基づいて、各合焦画像を配置する位置及び姿勢を特定し、特定した位置に特定した姿勢で合焦画像を配置して、合成画像を生成する。

各合焦画像を撮像した際のカメラ２００の相対的な位置及び姿勢が特定されることにより、各合焦画像を配置する平面上での各合焦画像の配置位置及び配置姿勢を特定できる。したがって、特定した配置位置に特定した配置姿勢で画像を配置すれば、広域の合成画像を生成できる。

ここで、合成画像の生成には、第１光学系３１０の合焦画像が使用される。カメラ２００の位置及び姿勢の推定には、第２光学系３２０の合焦画像を利用したが、第１光学系３１０の画像は、第２光学系３２０と同軸上で撮像されるため、第２光学系３２０と同じ推定結果を利用できる。その一方で第１光学系３１０の合焦画像は望遠の画像であるため、より高精細の合成画像を生成できる。

［画像合成装置の作用］
《撮像》
まず、撮像装置１を用いて合成画像を生成する対象が撮像される。この際、飛行速度が、次のように制御されて撮像される。すなわち、第１光学系３１０の撮像範囲分ずれた位置に移動するまでの間に少なくとも一回走査される速度で飛行するように、飛行速度が制御される。

《合焦画像の抽出》
撮像中又は撮像が終了すると、合焦画像の抽出処理が行われる。第１光学系３１０で撮像された動画像については、動画像を走査単位で解析し、最も鮮鋭度の高いフレームの画像を合焦画像として走査単位で抽出する。第２光学系３２０の動画像については、第１光学系３１０の合焦画像に対応するフレームの画像を合焦画像として抽出する。

《合成画像の生成》
上記のように、まず、第２光学系３２０の合焦画像群をＳｆＭ処理して、各合焦画像を撮像した際のカメラ２００の相対的な位置及び姿勢を推定する。次いで、その推定結果に基づいて、第１光学系３１０の合焦画像を配置し、広域の合成画像を生成する。

広角の合焦画像群を用いてＳｆＭ処理することにより、カメラ２００の相対的な位置及び姿勢を高精度に推定できる。一方、望遠の合焦画像群を用いて合成画像を生成することにより、より高精細な合成画像を生成できる。

［変形例］
上記実施の形態では、二眼のカメラ２００を備えた撮像装置を使用する場合を例に説明したが、単眼のカメラ１００を備えた撮像装置を使用することもできる。

◆◆その他の実施の形態◆◆
上記実施の形態において、コンピュータ（マイクロコンピュータを含む）に実現させさせている機能は、各種のプロセッサに実現させることができる。各種のプロセッサには、プログラムを実行して各種の処理を行う処理部として機能する汎用的なプロセッサであるＣＰＵ、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるＰＬＤ（Programmable Logic Device）、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。

一つの機能は、同種又は異種の二つ以上のプロセッサに実現させてもよい。たとえば、複数のＦＰＧＡで実現させる構成としてもよいし、ＣＰＵ及びＦＰＧＡの組み合わせで実現させる構成としてもよい。

また、複数の機能を一つのプロセッサで構成してもよい。複数の機能を一つのプロセッサで実現する構成の例としては、第１に、クライアント、サーバなどのコンピュータに代表されるように、一つ以上のＣＰＵとソフトウェアとの組合せで一つのプロセッサを構成し、このプロセッサに複数の機能を実現させる形態がある。第２に、システムオンチップ（SoC：System On Chip）などに代表されるように、複数の機能を一つのＩＣチップ（IC：Integrated Circuit）で実現するプロセッサを使用する形態がある。このように、各種の機能は、ハードウェア的な構造として、上記各種のプロセッサを一つ以上用いて実現される。

更に、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路である。

１ 撮像装置
２ 画像合成装置
３ コンピュータ
３ａ 撮像条件推定部
３ｂ 合成画像生成部
１０ 無人航空機
１２ コントローラ
１２ａ コントローラ操作部
１２ｂ コントローラ表示部
１２ｃ コントローラ側無線通信部
１２ｄ コントローラマイコン
１４ 本体フレーム
１４Ａ 胴部
１４Ｂ アーム部
１４Ｃ 脚部
１６ プロペラ
２０ プロペラ駆動モータ
２２ モータドライバ
２４ センサ部
２６ 機体側無線通信部
２８ 機体側有線通信部
３０ 無人航空機マイコン
３０ａ 移動制御部
３０ｂ カメラ制御部
３０ｃ 機体側無線通信制御部
３０ｄ 機体側有線通信制御部
１００ カメラ
１１０ 撮像レンズ
１１０ｆ フォーカシングレンズ群
１１２ 絞り
１１４ 絞りモータ
１１４ａ 絞りモータドライバ
１１６ フォーカシングモータ
１１６ａ フォーカシングモータドライバ
１１８ａ フォトインタラプタ
１１８ｂ ＭＲセンサ
１２０ イメージセンサ
１２０ａ イメージセンサドライバ
１２２ アナログ信号処理部
１２４ 記録部
１２６ カメラ側有線通信部
１２８ カメラマイコン
１２８ａ デジタル信号処理部
１２８ｂ 記録制御部
１２８ｃ カメラ側有線通信制御部
１２８ｄ 撮像制御部
１２８ｅ 絞り制御部
１２８ｆ フォーカシング制御部
１２８ｇ レンズ位置検出部
２００ カメラ
２１０ イメージセンサ
２１０ａ イメージセンサドライバ
２１２Ａ 第１画素
２１２Ｂ 第２画素
２１４ フォトダイオード
２１６ マイクロレンズ
２１８ 遮光マスク
２３０ アナログ信号処理部
２３２ 記録部
２３４ カメラ側有線通信部
２３６ カメラマイコン
２３６ａ デジタル信号処理部
２３６ｂ 記録制御部
２３６ｃ カメラ側有線通信制御部
２３６ｄ 撮像制御部
２３６ｅ 第１光学系絞り制御部
２３６ｆ 第１光学系フォーカシング制御部
２３６ｇ 第１光学系レンズ位置検出部
３００ 撮像レンズ
３１０ 第１光学系
３１０ａ 第１光学系第１レンズ
３１０ｂ 第１光学系第１ミラー
３１０ｃ 第１光学系第２ミラー
３１０ｄ 第１光学系絞り
３２０ 第２光学系
３２０ａ 第２光学系第１レンズ
３２０ｂ 第２光学系第２レンズ
３２０ｃ 第２光学系絞り
３２０ｄ 第２光学系第３レンズ
３２０ｅ 第２光学系第４レンズ
３３０ 共通レンズ
３４０ 第１光学系フォーカシングモータ
３４０ａ 第１光学系フォーカシングモータドライバ
３４２ａ 第１光学系フォトインタラプタ
３４２ｂ 第１光学系ＭＲセンサ
３４４ 第１光学系絞りモータ
３４４ａ 第１光学系絞りドライバ
５００ 太陽光発電設備
５１０ 太陽光発電ユニット
５２０ 太陽電池モジュール
ＦＩ 動画中の各フレームの画像
ＦＩｍａｘ 動画中で最も鮮鋭度の高いフレームの画像
ＦＰ 特徴点
Ｉｍ１ 第１光学系で撮像される画像
Ｉｍ２ 第２光学系で撮像される画像
Ｌ 光軸
Ｌ１ 第１光学系を通過する光
Ｌ２ 第２光学系を通過する光Ｒ 撮像装置の飛行ルート
Ｓ１、Ｓ２、… 合焦画像
Ｚ 撮像範囲を示す枠
θ 画角
θ１ 第１光学系の画角
θ２ 第２光学系の画角

Claims (21)

1. 移動体と、
   前記移動体に備えられる撮像部と、
   前記撮像部に備えられるフォーカシング機構と、
   前記フォーカシング機構を制御して、フォーカス位置を周期的に走査させるフォーカシング制御部と、
   撮像範囲分ずれた位置に移動するまでの間に少なくとも一回走査される速度で前記移動体を移動させる移動制御部と、
   前記撮像部に動画像を連続的に撮像させ又は静止画像を周期的に撮像させる撮像制御部と、
   前記撮像部で撮像された動画像又は静止画像群を記録する記録部と、
   を備え、
   前記移動制御部は、撮像範囲分ずれた位置に移動すると同時に一回の走査が完了する速度で前記移動体を移動させる、
   撮像装置。
2. 被写体距離及び前記撮像部の画角に基づいて撮像範囲を算出する撮像範囲算出部を更に備えた、
   請求項１に記載の撮像装置。
3. 前記撮像部の出力に基づいて被写体距離を検出する被写体距離検出部を更に備えた、
   請求項２に記載の撮像装置。
4. 前記撮像部は、撮像レンズと、前記撮像レンズで結像される像を撮像するイメージセンサと、を備え、
   前記フォーカシング機構は、前記撮像レンズを構成するレンズ群の一部又は全部を移動させて、フォーカス位置を変位させる、
   請求項１から３のいずれか１項に記載の撮像装置。
5. 前記フォーカシング制御部は、フォーカス位置を正弦波状に変位させて周期的に走査させる、
   請求項１から４のいずれか１項に記載の撮像装置。
6. 前記フォーカシング制御部は、フォーカス位置をノコギリ波状に変位させて周期的に走査させる、
   請求項１から４のいずれか１項に記載の撮像装置。
7. 前記記録部に記録された動画像又は静止画像群を走査単位で解析し、最も鮮鋭度の高いフレームの画像又は最も鮮鋭度の高い静止画像を合焦画像として抽出する合焦画像抽出部を更に備えた、
   請求項１から６のいずれか１項に記載の撮像装置。
8. 移動体と、
   前記移動体に備えられる撮像部と、
   前記撮像部に備えられるフォーカシング機構と、
   前記フォーカシング機構を制御して、フォーカス位置を周期的に走査させるフォーカシング制御部と、
   撮像範囲分ずれた位置に移動するまでの間に少なくとも一回走査される速度で前記移動体を移動させる移動制御部と、
   前記撮像部に動画像を連続的に撮像させ又は静止画像を周期的に撮像させる撮像制御部と、
   前記撮像部で撮像された動画像又は静止画像群を記録する記録部と、
   を備えた撮像装置であって、
   前記撮像部は、撮像レンズと、前記撮像レンズで結像される像を撮像するイメージセンサと、を備え、
   前記フォーカシング機構は、前記撮像レンズを構成するレンズ群の一部又は全部を移動させて、フォーカス位置を変位させ、
   前記撮像レンズは、第１光学系と、前記第１光学系と同じ光軸を有し、かつ、前記第１光学系よりも短い焦点距離を有する第２光学系と、を備え、
   前記イメージセンサは、前記第１光学系を通過した光と前記第２光学系を通過した光とを選択的に受光する画素が規則的に配列されて、前記第１光学系で結像される像と前記第２光学系で結像される像とを同時に撮像し、
   前記フォーカシング機構は、前記第１光学系を構成するレンズ群の一部又は全部を移動させて、前記第１光学系のフォーカス位置を変位させる第１光学系フォーカシング機構を備え、
   前記フォーカシング制御部は、前記第１光学系フォーカシング機構を制御して、前記第１光学系のフォーカス位置を周期的に走査させる第１光学系フォーカシング制御部を備え、
   前記移動制御部は、前記第１光学系による撮像範囲分ずれた位置に移動するまでの間に少なくとも一回走査される速度で前記移動体を移動させ、
   前記撮像制御部は、前記イメージセンサに動画像を連続的に撮像させ又は静止画像を周期的に撮像させ、
   前記記録部は、前記第１光学系で撮像された動画像又は静止画像群と、前記第２光学系で撮像された動画像又は静止画像群と、を記録する、
   撮像装置。
9. 前記第２光学系が、固定焦点の光学系で構成され、パンフォーカスで撮像される、
   請求項８に記載の撮像装置。
10. 前記第２光学系の合焦状態を検出する第２光学系合焦状態検出部を更に備え、
    前記フォーカシング機構は、前記第２光学系を構成するレンズ群の一部又は全部を移動させて、前記第２光学系のフォーカス位置を変位させる第２光学系フォーカシング機構を更に備え、
    前記フォーカシング制御部は、前記第２光学系合焦状態検出部の検出結果に基づいて、前記第２光学系フォーカシング機構を制御し、前記第２光学系を被写体に合焦させる第２光学系フォーカシング制御部を更に備える、
    請求項８に記載の撮像装置。
11. 前記撮像レンズは、前記第１光学系と前記第２光学系とが同心状に配置される、
    請求項８から１０のいずれか１項に記載の撮像装置。
12. 前記第１光学系フォーカシング制御部は、前記第１光学系のフォーカス位置を正弦波状に変位させて周期的に走査させる、
    請求項８から１１のいずれか１項に記載の撮像装置。
13. 前記第１光学系フォーカシング制御部は、前記第１光学系のフォーカス位置をノコギリ波状に変位させて周期的に走査させる、
    請求項８から１１のいずれか１項に記載の撮像装置。
14. 前記第１光学系で撮像された動画像又は静止画像を走査単位で解析し、最も鮮鋭度の高いフレームの画像又は最も鮮鋭度の高い静止画像を合焦画像として抽出する合焦画像抽出部を更に備えた、
    請求項８から１３のいずれか１項に記載の撮像装置。
15. 前記移動体が飛行体で構成される、
    請求項１から１４のいずれか１項に記載の撮像装置。
16. 請求項７に記載の撮像装置と、
    前記撮像装置から複数枚の前記合焦画像を取得し、取得した複数枚の前記合焦画像を繋ぎ合わせて一枚の合成画像を生成する合成画像生成部と、
    を備えた画像合成装置。
17. 前記撮像装置から複数枚の前記合焦画像を取得し、取得した複数枚の前記合焦画像を解析して、各前記合焦画像を撮像した際の前記撮像部の相対的な位置及び姿勢を推定する撮像条件推定部を更に備え、
    前記合成画像生成部は、前記撮像条件推定部の推定結果に基づいて、各前記合焦画像を配置し、前記合成画像を生成する、
    請求項１６に記載の画像合成装置。
18. 前記撮像条件推定部は、取得した複数枚の前記合焦画像にＳｆＭ処理を適用し、各前記合焦画像を撮像した際の前記撮像部の相対的な位置及び姿勢を推定する、
    請求項１７に記載の画像合成装置。
19. 請求項１４に記載の撮像装置と、
    前記撮像装置から複数枚の前記合焦画像を取得し、取得した複数枚の前記合焦画像を繋ぎ合わせて一枚の合成画像を生成する合成画像生成部と、
    を備えた画像合成装置。
20. 各前記合焦画像に対応する前記第２光学系の画像を前記撮像装置から取得し、取得した複数枚の前記第２光学系の画像を解析して、各前記合焦画像を撮像した際の前記撮像部の相対的な位置及び姿勢を推定する撮像条件推定部を更に備え、
    前記合成画像生成部は、前記撮像条件推定部の推定結果に基づいて、各前記合焦画像を配置し、前記合成画像を生成する、
    請求項１９に記載の画像合成装置。
21. 前記撮像条件推定部は、取得した複数枚の前記第２光学系の画像にＳｆＭ処理を適用し、各前記合焦画像を撮像した際の前記撮像部の相対的な位置及び姿勢を推定する、
    請求項２０に記載の画像合成装置。