JP6611687B2 - 画像補正装置および画像補正方法 - Google Patents

Description

本発明は、撮影された画像を補正する画像補正装置および画像補正方法に関するものである。

従来、社会インフラモニタリング分野においては、トンネル、橋、ビルなどの大規模な構造物の状態を高精度に計測することが求められている。構造物の状態を高精度で計測するため、一般的に、構造物を高解像度で撮影した画像が用いられている。これらの構造物を高解像度で撮影するためには、一度の撮影では全景を捉えることができないため、移動しながら撮影を繰り返す必要がある。一方で、撮影された映像または画像は、できる限りボケが無く鮮明な状態で得ることが望ましい。特許文献１には、撮像手段の手ぶれを検出し、撮影された画像を補正する技術が開示されている。

特開２０００−２３０２４号公報

ボケを生み出す要因には、手ぶれのように、撮影時に対象と撮像装置との間に相対位置変化があり、シャッタースピードが遅い場合に起こるモーションブラーがある。上記従来の技術によれば、手ぶれのような撮像装置の小さな動きに対しては効果的であるが、対象と撮像装置との間の相対位置関係が複雑かつ大きく変化した場合には対応できないおそれがある、という問題があった。

本発明は、上記に鑑みてなされたものであって、撮影された画像に含まれるモーションブラーを補正可能な画像補正装置を得ることを目的とする。

上述した課題を解決し、目的を達成するために、本発明の画像補正装置は、測定対象を撮影する撮像部を備える。また、画像補正装置は、撮像部が測定対象を撮影中のときの撮像部の動作量および位置を求める動作量位置計算部を備える。また、画像補正装置は、測定対象の３次元形状、動作量、および位置に基づいて、撮像部が測定対象を撮影した画像にあるモーションブラーの状態を示すモーションブラー量を算出するブレ量計算部を備える。また、画像補正装置は、ブレ量計算部で算出されたモーションブラー量からモーションブラーの補正量を算出し、算出したモーションブラーの補正量を用いて画像のモーションブラーを補正する補正画像出力部を備えることを特徴とする。

本発明によれば、撮影された画像に含まれるモーションブラーを補正できる、という効果を奏する。

本発明の実施の形態１にかかる画像補正装置の構成例を示す図 実施の形態１にかかる画像補正装置の３次元形状計測部がトンネルの３次元形状を計測している様子を示す図 実施の形態１にかかる画像補正装置の撮像部がトンネルの壁面を撮影している様子を示す図 実施の形態１において、画像補正装置を搭載した移動体が移動したことによって撮像部の位置が変化したことによる撮像部の撮影範囲の変化を示す図 実施の形態１にかかる画像補正装置の画像補正処理を示すフローチャート 実施の形態１にかかる画像補正装置の処置回路をＣＰＵおよびメモリで構成する場合の例を示す図 実施の形態１にかかる画像補正装置の処置回路を専用のハードウェアで構成する場合の例を示す図 実施の形態２にかかる画像補正装置の構成例を示す図 実施の形態２にかかる撮像部が壁面を撮影したときの壁面、撮像部、および撮像面の位置関係を示す図 実施の形態２において、撮像部で撮像された撮像面の全ての像でピントが合った状態を示した図 実施の形態２にかかる画像補正装置の画像補正処理を示すフローチャート 実施の形態３にかかる画像補正装置の構成例を示す図 実施の形態３にかかる画像補正装置の画像補正処理を示すフローチャート 実施の形態４にかかる画像補正装置の構成例を示す図

以下に、本発明の実施の形態にかかる画像補正装置および画像補正方法を図面に基づいて詳細に説明する。なお、この実施の形態によりこの発明が限定されるものではない。

実施の形態１．
図１は、本発明の実施の形態１にかかる画像補正装置２０の構成例を示す図である。画像補正装置２０は、角加速度計測部１と、加速度計測部２と、動作量位置計算部３と、３次元形状計測部４と、撮像部５と、ブレ量計算部８と、補正画像出力部９と、を備える。画像補正装置２０は、自動車または列車といった移動体に搭載され、移動体が移動することで位置を移動しながら、トンネル、橋、ビルなどの測定対象の構造物の状態を測定する。画像補正装置２０は、測定対象の状態を測定するため、具体的に、測定対象の３次元形状を計測し、測定対象を撮影する。画像補正装置２０は、撮影された画像にモーションブラーがあった場合、モーションブラーの画像を画素単位で補正する。以降の説明では、具体的に、画像補正装置２０の測定対象がトンネルの場合について説明するが、画像補正装置２０の測定対象はトンネルに限定されるものではない。

角加速度計測部１は、画像補正装置２０が搭載された移動体が移動する際の、移動体の姿勢すなわち角加速度を検出する計測器である。角加速度計測部１は、例えば、ジャイロセンサーである。

加速度計測部２は、画像補正装置２０が搭載された移動体が移動する際の、移動体の加速度を検出する計測器である。加速度計測部２は、例えば、加速度センサーである。

動作量位置計算部３は、角加速度計測部１で検出された角加速度、および加速度計測部２で検出された加速度に基づいて、角加速度および加速度を各々積算することによって、移動体に搭載された画像補正装置２０の計測位置および姿勢、すなわち画像補正装置２０の移動による動作量および位置を計算する。動作量位置計算部３は、画像補正装置２０の動作量および位置を計算することによって、撮像部５が測定対象を撮影中のときの撮像部５の計測位置および姿勢、すなわち動作量および位置を求めることができる。動作量位置計算部３で計算される画像補正装置２０の動作量および位置は、撮像部５の動作量および位置と同じである。撮像部５が測定対象を撮影中のときの動作量および位置とは、撮像部５が測定対象を撮影する瞬間、すなわちシャッターを切る瞬間の移動量および移動前後の位置である。画像補正装置２０の位置については、図示しないＧＰＳ（Global Positioning System）などを用いて緯度および経度の絶対座標で表してもよいし、トンネルの入り口からの移動距離による相対的な位置情報で表してもよい。

３次元形状計測部４は、測定対象の３次元形状を取得可能な装置であり、測定対象であるトンネルの壁面までの距離および壁面の形状を計測する。３次元形状計測部４は、例えば、３次元レーザースキャナ、または距離画像取得装置である。３次元形状計測部４は、計測した３次元形状の情報を自装置で記憶してもよいし、図示しない記憶部に記憶させてもよい。以降の説明において、３次元形状の情報を単に３次元形状と称する場合がある。

撮像部５は、測定対象を撮影する装置である。撮像部５は、例えば、デジタルカメラである。撮像部５は、撮影した画像を自装置で記憶してもよいし、図示しない記憶部に記憶させてもよい。

ブレ量計算部８は、３次元形状計測部４で得られた測定対象の３次元形状、ならびに、動作量位置計算部３で得られた撮像部５の動作量の情報および位置の情報に基づいて、撮像部５が測定対象を撮影した画像にあるモーションブラーの状態を示すモーションブラー量、具体的にはモーションブラー量を表す計算式を算出する。以降の説明において、動作量の情報を単に動作量と称する場合がある。また、以降の説明において、位置の情報を単に位置と称する場合がある。ブレ量計算部８は、撮影された画像について、画素単位でモーションブラーが発生しているか否かを判定し、モーションブラーが発生している画素について、どの位置でどのようにモーションブラーが発生しているかを表す計算式を算出する。ブレ量計算部８の詳細な動作については後述する。

補正画像出力部９は、ブレ量計算部８で算出されたモーションブラー量からモーションブラーの補正量を算出する。具体的に、補正画像出力部９は、ブレ量計算部８で算出された計算式を用いて、計算式の逆算によってモーションブラーの補正量を算出する。補正画像出力部９は、算出した補正量を用いて撮像部５で撮影された画像の各画素を補正して、補正後の画像を出力する。補正画像出力部９は、補正後の画像を図示しない表示部に出力してもよいし、補正後の画像のデータを記憶媒体に出力してもよい。

図２は、実施の形態１にかかる画像補正装置２０の３次元形状計測部４がトンネル２１の３次元形状を計測している様子を示す図である。図２では、３次元形状計測部４の動作を分かり易くするため、画像補正装置２０のうち３次元形状計測部４のみを示している。また、画像補正装置２０を搭載している移動体の記載も省略している。画像補正装置２０では、トンネル２１を図の矢印２２で示す方向に移動しながら、３次元形状計測部４がスキャン平面２３をスキャンする。３次元形状計測部４は、３次元形状を測定可能なレーザースキャナ、または３次元形状を測定可能な距離画像センサーである。３次元形状計測部４がトンネル２１内を移動しながらスキャンすることで、トンネル２１全体の壁面までの距離および壁面の形状を計測することができる。

図３は、実施の形態１にかかる画像補正装置２０の撮像部５がトンネル２１の壁面を撮影している様子を示す図である。図２と同様、撮像部５の動作を分かり易くするため、画像補正装置２０のうち撮像部５のみを示している。また、画像補正装置２０を搭載している移動体の記載も省略している。画像補正装置２０では、トンネル２１を図の矢印２２で示す方向に移動しながら、撮像部５がトンネル２１の壁面の撮像範囲２４の部分を撮影する。撮像部５がトンネル２１内を移動し、また向きを変えながら撮影することで、トンネル２１全体の壁面の画像を取得することができる。なお、撮像部５については、例えば１つのデジタルカメラに限定せず、複数のデジタルカメラを備える構成でもよい。撮像部５では、複数のデジタルカメラを各々異なる複数の方向に向けて設置する。複数のデジタルカメラが同時に撮影することで、撮像部５は、一度に撮影できる範囲が増え、帯状の画像を一度に撮影することができる。

画像補正装置２０では、３次元形状計測部４がトンネル２１の３次元形状を計測するとともに、撮像部５がトンネル２１の壁面を撮影する。画像補正装置２０では、３次元形状計測部４で計測されたトンネル２１の任意の位置の３次元形状と、撮像部５で撮影されたトンネル２１の任意の位置の画像とを対応付けて記録する。任意の位置については、前述のように、ＧＰＳなどを用いて緯度および経度の絶対座標で表してもよいし、トンネル２１の入り口からの移動距離による相対的な位置情報で表してもよい。

つぎに、画像補正装置２０が画像に含まれるモーションブラーを補正する原理について詳細に説明する。図４は、実施の形態１において、画像補正装置２０を搭載した移動体が移動したことによって撮像部５の位置が変化したことによる撮像部５の撮影範囲の変化を示す図である。図４は、撮像部５が、第１の位置５１から第２の位置５２に移動しながら測定対象５３を撮影した際の様子を示したものである。デジタルカメラといった撮像部５には画角があり、一定の範囲を同時に撮影することができる。撮像部５では、第１の位置５１から撮影方向５１αおよび撮影方向５１βを同時に撮影していた場合、第２の位置５２に移動すると、撮影方向５１αは撮影方向５２αに、撮影方向５１βは撮影方向５２βに各々変化する。撮像部５では、撮影方向５１αおよび撮影方向５２αによって第１の対象５４が撮影され、撮影方向５１βおよび撮影方向５２βによって、第２の対象５５が撮影されることになる。

第１の対象５４については、撮像部５の移動に関わらず撮像部５から見れば同じ方向にあるため、第１の対象５４が撮影された撮像面の像ではモーションブラーは小さい。一方、第２の対象５５については、撮像部５の移動によって撮像部５から見た同じ方向には測定対象５３の異なる部分があるため、第２の対象５５が撮影された撮像面の像ではモーションブラーが大きい。画像補正装置２０では、モーションブラーの大きさを正確に把握できれば、モーションブラーを補正することができる。モーションブラーの大きさを正確に把握できる場合とは、測定対象５３と撮像部５との相対位置変化が把握できる場合である。測定対象５３と撮像部５との相対位置変化が把握できる場合は、例えば、（ａ）測定対象５３の３次元形状が把握でき、測定対象５３と撮像部５の位置変化が把握できる場合、または、（ｂ）測定対象５３の３次元形状が把握でき、測定対象５３または撮像部５の一方が固定で、他方の位置変化が把握できる場合、である。画像補正装置２０は、３次元形状計測部４によって測定対象５３の３次元形状が把握でき、角加速度計測部１、加速度計測部２および動作量位置計算部３によって画像補正装置２０の位置変化が把握できる。また、測定対象５３であるトンネル２１は位置が固定である。従って、画像補正装置２０は、上記（ｂ）の場合に該当する。

図４の概念をふまえた上で、ブレ量計算部８が、第２の対象５５に対応する撮像面の像で発生するモーションブラー量を示す計算式を算出する処理について説明する。図４において、撮像部５が第１の位置５１から第２の位置５２に移動するのに伴い、撮像部５で撮影されたβ方向の撮像面の像であるＸ_βは、モーションブラー量計算式である次の式（１）で表すことができる。なお、式（１）中のΣの部分については、式（２）の条件を満たすものとする。

Ｂ_kは測定対象５３の位置ｋにおける色および明るさを表し、ｉ_βkは位置ｋに対して撮影された時間の割合となる。位置ｍの撮影対象は、Ｘ_βに全く撮影されなかった場合、ｉ_βm＝０と表現できる。ｉ_βkは撮像部５の移動情報と測定対象５３の形状より求められる。Ｘ_βは実際に撮影された画像として得られる。前述のように、ブレ量計算部８は、３次元形状計測部４で計測された３次元形状、ならびに、動作量位置計算部３で計算された画像補正装置２０の計測位置および姿勢の情報を取得している。また、撮像部５が測定対象５３を撮影し、測定対象５３の画像を得ている。従って、連立一次方程式を解くことによって、具体的には式（１）の逆算によってＢ_kを求めることができる。補正画像出力部９は、ブレ量計算部８で算出されたモーションブラー量を示す計算式の式（１）を逆算することによって、撮影されたＸ_pを用いて、モーションブラー量を補正した画像を得ることが可能となる。なお、式（１）によって、測定対象５３の複数の点の加算として表現される離散的な表現としたが、一例であり、時刻毎に位置が変化することを利用して、時刻に対する積分表現にして正確な値を求めてもよい。以降の説明において、姿勢の情報を単に姿勢と称する場合がある。

つづいて、画像補正装置２０による画像補正処理について説明する。図５は、実施の形態１にかかる画像補正装置２０の画像補正処理を示すフローチャートである。まず、画像補正装置２０では、移動体によってトンネル２１内を移動し、３次元形状計測部４および撮像部５による計測位置を移動する（ステップＳ１）。動作量位置計算部３は、角加速度計測部１で検出された角加速度、および加速度計測部２で検出された加速度に基づいて、画像補正装置２０の計測位置および姿勢、すなわち動作量および位置を計算する（ステップＳ２）。

３次元形状計測部４は、測定対象、ここではトンネル２１の壁面の３次元形状を計測する（ステップＳ３）。同時に、撮像部５は、測定対象、ここではトンネル２１の壁面を撮影する（ステップＳ４）。

画像補正装置２０は、計測が終了していない場合（ステップＳ５：Ｎｏ）、ステップＳ１に戻って計測位置を移動して、ステップＳ２からステップＳ４の処理を繰り返し実施する。

計測が終了した場合（ステップＳ５：Ｙｅｓ）、ブレ量計算部８は、３次元形状計測部４で計測された３次元形状、ならびに、動作量位置計算部３で算出された画像補正装置２０の計測位置および姿勢に基づいて、モーションブラー量を示す計算式を算出する（ステップＳ６）。補正画像出力部９は、ブレ量計算部８で算出されたモーションブラー量を示す計算式を逆算してモーションブラーの補正量を算出する（ステップＳ７）。

そして、補正画像出力部９は、算出したモーションブラーの補正量によって撮像部５で撮影された画像を加工し、モーションブラーを除去すなわち補正した画像を生成して出力する（ステップＳ８）。

なお、図５では、ステップＳ１からステップＳ５までの計測処理、およびステップＳ６からステップＳ８までの補正処理が異なる流れになっているが、実際には、画像補正装置２０では、３次元形状計測部４が測定対象の３次元形状を計測する処理とともに、撮像部５が測定対象を撮影する処理を実施している。この場合、画像補正装置２０は、測定対象の３次元形状および画像を同時に取得できるため、計測処理の流れの中で、測定された箇所から順次補正する処理を実施してもよい。

つづいて、画像補正装置２０のハードウェア構成について説明する。画像補正装置２０において、角加速度計測部１は、ジャイロセンサーなどの計測器により実現される。加速度計測部２は、加速度センサーなどの計測器により実現される。３次元形状計測部４は、３次元レーザースキャナなどの計測器により実現される。撮像部５は、デジタルカメラにより実現される。動作量位置計算部３、ブレ量計算部８、および補正画像出力部９は、処理回路により実現される。すなわち、画像補正装置２０は、モーションブラー量を示す計算式を算出し、モーションブラーの補正量を算出し、モーションブラーを補正して補正した画像を出力するための処理回路を備える。処理回路は、メモリに格納されるプログラムを実行するＣＰＵ（Central Processing Unit）およびメモリであってもよいし、専用のハードウェアであってもよい。

図６は、実施の形態１にかかる画像補正装置２０の処置回路をＣＰＵおよびメモリで構成する場合の例を示す図である。処理回路がＣＰＵ９１およびメモリ９２で構成される場合、動作量位置計算部３、ブレ量計算部８、および補正画像出力部９の各機能は、ソフトウェア、ファームウェア、またはソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェアまたはファームウェアはプログラムとして記述され、メモリ９２に格納される。処理回路では、メモリ９２に記憶されたプログラムをＣＰＵ９１が読み出して実行することにより、各機能を実現する。すなわち、画像補正装置２０は、動作量位置計算部３、ブレ量計算部８、および補正画像出力部９が処理回路により実行されるときに、モーションブラー量を示す計算式を算出するステップ、モーションブラーの補正量を算出するステップ、モーションブラーを補正して補正した画像を出力するステップが結果的に実行されることになるプログラムを格納するためのメモリ９２を備える。また、これらのプログラムは、画像補正装置２０の手順および方法をコンピュータに実行させるものであるともいえる。ここで、ＣＰＵ９１は、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、プロセッサ、またはＤＳＰ（Digital Signal Processor）などであってもよい。また、メモリ９２とは、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ、ＥＰＲＯＭ（Erasable Programmable ＲＯＭ）、ＥＥＰＲＯＭ（Electrically ＥＰＲＯＭ）などの、不揮発性または揮発性の半導体メモリ、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、またはＤＶＤ（Digital Versatile Disc）などが該当する。

図７は、実施の形態１にかかる画像補正装置２０の処置回路を専用のハードウェアで構成する場合の例を示す図である。処理回路が専用のハードウェアである場合、図７に示す処理回路９３は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）、またはこれらを組み合わせたものが該当する。動作量位置計算部３、ブレ量計算部８、および補正画像出力部９の各機能を機能別に処理回路９３で実現してもよいし、各機能をまとめて処理回路９３で実現してもよい。

なお、動作量位置計算部３、ブレ量計算部８、および補正画像出力部９の各機能について、一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現するようにしてもよい。例えば、動作量位置計算部３の機能については専用のハードウェアとしての処理回路９３でその機能を実現し、ブレ量計算部８および補正画像出力部９の機能についてはＣＰＵ９１がメモリ９２に格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。このように、処理回路は、専用のハードウェア、ソフトウェア、ファームウェア、またはこれらの組み合わせによって、上述の各機能を実現することができる。

以上説明したように、本実施の形態によれば、画像補正装置２０では、画像補正装置２０すなわち撮像部５の動作量および位置を求め、測定対象の３次元形状を計測し、測定対象を撮影し、測定対象の３次元形状、ならびに、撮像部５の動作量および位置に基づいて、測定対象が撮影された画像にあるモーションブラーの状態を示すモーションブラー量を表す計算式を算出し、計算式の逆算からモーションブラーの補正量を算出し、撮影された画像のモーションブラーを補正することとした。これにより、画像補正装置２０は、移動しながら測定対象を撮影する場合において、撮影された画像に含まれるモーションブラーを補正して、モーションブラーを除去した高解像度の画像を得ることができ、正確な画像計測が可能となる。

実施の形態２．
実施の形態１では撮影された画像のモーションブラーを補正する処理について説明した。ここで、ボケを生み出す要因には、モーションブラーの他にも、例えば、対象までの距離と光学系の焦点距離が一致しないことによる合焦の不正、いわゆるピンボケがある。実施の形態２では、撮影された画像に対して、さらにピンボケを補正する処理について説明する。実施の形態１と異なる部分について説明する。

図８は、実施の形態２にかかる画像補正装置２０ａの構成例を示す図である。画像補正装置２０ａは、画像補正装置２０に対して、補正画像出力部９を補正画像出力部９ａに置き換え、さらに、合焦距離取得部６およびボケ量計算部７を追加したものである。

合焦距離取得部６は、測定対象を撮影したときの合焦距離の情報を撮像部５から取得する。以降の説明において、合焦距離の情報を単に合焦距離と称する場合がある。具体的に、合焦距離取得部６は、撮像部５で撮影される画像のピントリングの位置から、撮像部５で測定対象が撮影されたときの合焦距離を取得する。一般的に、合焦距離取得部６の機能はデジタルカメラに含まれている。そのため、撮像部５および合焦距離取得部６を併せてデジタルカメラとしてもよい。合焦距離取得部６は、合焦距離を自装置で記憶してもよいし、図示しない記憶部に記憶させてもよい。

ボケ量計算部７は、３次元形状計測部４で得られた測定対象の３次元形状、および合焦距離取得部６で得られた合焦距離に基づいて、撮像部５が測定対象を撮影した画像にあるピンボケの状態を示すピンボケ量、具体的にはピンボケ量を表す計算式を算出する。ボケ量計算部７は、撮影された画像について、画素単位でピンボケが発生しているか否かを判定し、ピンボケが発生している画素について、どの位置でどのようにピンボケが発生しているかを表す計算式を算出する。ボケ量計算部７の詳細な動作については後述する。

補正画像出力部９ａは、ブレ量計算部８で算出されたモーションブラー量からモーションブラーの補正量を算出する。さらに、補正画像出力部９ａは、ボケ量計算部７で算出されたピンボケ量からピンボケの補正量を算出する。具体的に、補正画像出力部９ａは、ボケ量計算部７で算出された計算式、およびブレ量計算部８で算出された計算式を用いて、計算式の逆算によってピンボケの補正量およびモーションブラーの補正量を算出する。補正画像出力部９ａは、算出したピンボケの補正量およびモーションブラーの補正量を用いて撮像部５で撮影された画像の各画素を補正して、補正後の画像を出力する。補正画像出力部９ａは、補正後の画像を図示しない表示部に出力してもよいし、補正後の画像のデータを記憶媒体に出力してもよい。

つぎに、画像補正装置２０ａが画像に含まれるピンボケを補正する原理について詳細に説明する。図９は、実施の形態２にかかる撮像部５が壁面３１を撮影したときの壁面３１、撮像部５、および撮像面３５の位置関係を示す図である。図９では、説明を簡単にするため、撮像部５のうちレンズ３８および撮像面３５を示している。壁面３１には、照明などの構造物３２が設置されており、壁面３１の部分の１点を撮影の第１の対象３３とし、構造物３２の１点を撮影の第２の対象３４とする。また、撮像部５によって壁面３１が撮影された撮像面３５には、第１の対象３３に対応する第１の像３６があり、第２の対象３４に対応する第２の像３７がある。壁面３１の第１の対象３３を撮影した画像は、レンズ３８を介して第１の光路３９により、撮像面３５の第１の像３６の位置に表れる。構造物３２の第２の対象３４を撮影した画像は、レンズ３８を介して第２の光路４０により、撮像面３５の第２の像３７の位置に表れる。なお、４１は撮像部５のレンズ３８の光学中心を示し、２つのＦはレンズ３８の焦点を示す。

図９は、実施の形態２において、トンネル２１の壁面３１に撮像部５のピントを合わせて撮影した状態の光路を示したものである。壁面３１の第１の対象３３が、第１の光路３９を通ってレンズ３８によって集光され、撮像面３５の第１の像３６の位置に結像されている。これは、撮像部５の撮影においてピントが合った状態を示している。一方、壁面３１の上に構造物３２がある場合、構造物３２からレンズ３８までの距離は、壁面３１からレンズ３８までの距離と異なる。この場合、壁面３１上の構造物３２の第２の対象３４が、第２の光路４０を通ってレンズ３８によって集光されるが、撮像面３５の第２の像３７の位置の１点に結像されず、広がった状態になる。これは、撮像部５の撮影においてピントがずれた状態を示している。一般的に、撮像部５の撮影対象、ここではトンネル２１の壁面３１は撮像部５のレンズ３８に対して平行な平面ではないため、ピントの合う箇所、およびピントの合わない箇所ができる。ピントが合わない箇所は、図９の第２の像３７のように、第２の対象３４の部分が広がって、すなわちピンボケの状態で撮影される。

図９ではレンズ３８から撮影対象までの距離は、ピントが合っている箇所を除き、別途計測しないと分からない。レンズ３８から撮影対象までの距離が分からず、撮像面３５においてピンボケが発生している場合、光路が不明なためボケ方が分からず正確な補正が難しい。一方で、レンズ３８から撮影対象、図９の例では構造物３２までの距離が分かる場合、光路計算ができるため、正確な補正をすることが可能となる。図１０は、実施の形態２において、撮像部５で撮像された撮像面３５の全ての像でピントが合った状態を示した図である。図１０は、光学系としてレンズ３８の光学中心４１にピンホールを設定したピンホールカメラの光学系に相当する。図１０では全ての撮像対象、ここでは壁面３１および構造物３２の点と撮像面３５の像が１対１の関係になる。図１０に示す状態にすることが、ピントを合わせる、すなわちピンボケの補正である。

図９および図１０、すなわちレイトレーシング（Ray Tracing）の概念をふまえた上で、ボケ量計算部７が、構造物３２の第２の対象３４に対応する撮像面３５の第２の像３７のピンボケ量を示す計算式を算出する処理について説明する。ボケ量計算部７は、まず、現状として撮像面３５の第２の像３７にどのように第２の対象３４が撮影されているかを把握する。ここで、第２の対象３４の色および明るさをＡ_kとし、撮影された色および明るさをＸ_pとする。ただし、ｋは第２の対象３４の位置を示し、ｐは撮像面３５上の位置を示す。図９のように、ピントが合っていない場合、第２の対象３４は撮像面３５の複数の位置に分散して投影される。この場合、撮像面３５上の第２の像３７として観測されるＸ_pは、ピンボケ量計算式である次の式（３）で表すことができる。なお、式（３）中のΣの部分については、式（４）の条件を満たすものとする。

ｈ_pkは撮像面３５において撮像される場所毎に異なるＡ_kの割合であり、ボケ量計算部７は、第２の光路４０から計算することができる。前述のように、ボケ量計算部７は、３次元形状計測部４で計測された３次元形状、および合焦距離取得部６で取得された合焦距離を取得していることから、第２の光路４０を正確に計算することができる。従って、全てのＸ_pとＡ_kは連立一次方程式の関係で示すことができる。Ｘ_pは撮影によって観測されるため、式（３）の逆算によってＡ_kを求めることができる。すなわち、補正画像出力部９ａは、ブレ量計算部８で算出されたモーションブラー量を示す計算式の式（１）、およびボケ量計算部７で算出されたピンボケ量を示す計算式の式（３）を逆算することによって、撮影されたＸ_pを用いて、モーションブラー量およびピンボケ量を補正した画像を得ることが可能となる。詳細には、補正画像出力部９ａは、図１０に示すピンホールカメラモデルに照らし合わせて、モーションブラー量およびピンボケ量を補正した像を図１０に示す撮像面３５の第２の像３７の位置に投影することによって、ピンボケおよびモーションブラーを補正することができる。

つづいて、画像補正装置２０ａによる画像補正処理について説明する。図１１は、実施の形態２にかかる画像補正装置２０ａの画像補正処理を示すフローチャートである。まず、画像補正装置２０ａでは、移動体によってトンネル２１内を移動し、３次元形状計測部４および撮像部５による計測位置を移動する（ステップＳ１１）。動作量位置計算部３は、角加速度計測部１で検出された角加速度、および加速度計測部２で検出された加速度に基づいて、画像補正装置２０ａの計測位置および姿勢、すなわち動作量および位置を計算する（ステップＳ１２）。

３次元形状計測部４は、測定対象、ここではトンネル２１の壁面３１の３次元形状を計測する（ステップＳ１３）。同時に、撮像部５は、測定対象、ここではトンネル２１の壁面３１を撮影する（ステップＳ１４）。撮像部５がトンネル２１の壁面３１を撮影すると、合焦距離取得部６は、撮像部５のピントリングの位置から合焦距離を取得する（ステップＳ１５）。

画像補正装置２０ａは、計測が終了していない場合（ステップＳ１６：Ｎｏ）、ステップＳ１１に戻って計測位置を移動して、ステップＳ１２からステップＳ１５の処理を繰り返し実施する。

計測が終了した場合（ステップＳ１６：Ｙｅｓ）、ボケ量計算部７は、３次元形状計測部４で計測された３次元形状、および合焦距離取得部６で取得された合焦距離に基づいて、ピンボケ量を示す計算式を算出する（ステップＳ１７）。補正画像出力部９ａは、ボケ量計算部７で算出されたピンボケ量を示す計算式を逆算してピンボケの補正量を算出する（ステップＳ１８）。

ブレ量計算部８は、３次元形状計測部４で計測された３次元形状、ならびに、動作量位置計算部３で算出された画像補正装置２０ａの計測位置および姿勢に基づいて、モーションブラー量を示す計算式を算出する（ステップＳ１９）。補正画像出力部９ａは、ブレ量計算部８で算出されたモーションブラー量を示す計算式を逆算してモーションブラーの補正量を算出する（ステップＳ２０）。

そして、補正画像出力部９ａは、算出したピンボケおよびモーションブラーの補正量によって撮像部５で撮影された画像を加工し、ピンボケおよびモーションブラーを除去すなわち補正した画像を生成して出力する（ステップＳ２１）。

なお、図１１では、ステップＳ１１からステップＳ１６までの計測処理、およびステップＳ１７からステップＳ２１までの補正処理が異なる流れになっているが、実際には、画像補正装置２０ａでは、３次元形状計測部４が測定対象の３次元形状を計測する処理とともに、撮像部５が測定対象を撮影する処理を実施している。この場合、画像補正装置２０ａは、測定対象の３次元形状および画像を同時に取得できるため、計測処理の流れの中で、測定された箇所から順次補正する処理を実施してもよい。

画像補正装置２０ａのハードウェア構成について説明する。画像補正装置２０ａにおいて、合焦距離取得部６は、撮像部５とともにデジタルカメラにより実現される。動作量位置計算部３、ボケ量計算部７、ブレ量計算部８、および補正画像出力部９ａは、処理回路により実現される。画像補正装置２０ａの処理回路についても、実施の形態１と同様、図６または図７に示すような構成となる。

以上説明したように、本実施の形態によれば、画像補正装置２０ａでは、画像補正装置２０の処理に加えて、さらに、測定対象が撮影されたときの合焦距離に基づいて、測定対象が撮影された画像にあるピンボケの状態を示すピンボケ量を表す計算式を算出し、計算式の逆算からピンボケの補正量を算出し、撮影された画像のピンボケを補正することとした。これにより、画像補正装置２０ａは、移動しながら測定対象を撮影する場合において、撮影された画像に含まれるピンボケとともにモーションブラーを補正して、ピンボケおよびモーションブラーを除去した高解像度の画像を得ることができ、正確な画像計測が可能となる。

実施の形態３．
実施の形態３では、画像補正装置において３次元形状計測部４を使用しないで測定対象の３次元形状を取得する方法について、実施の形態２と異なる部分について説明する。

図１２は、実施の形態３にかかる画像補正装置２０ｂの構成例を示す図である。画像補正装置２０ｂは、画像補正装置２０ａに対して、３次元形状計測部４を削除し、平面内距離計測部１０および３次元形状化処理部１１を追加したものである。

平面内距離計測部１０は、測定対象であるトンネル２１の壁面３１までの距離を計測する。平面内距離計測部１０は、例えば、２次元レーザースキャナである。

３次元形状化処理部１１は、平面内距離計測部１０で計測されたトンネル２１の壁面３１までの距離の測定結果を、動作量位置計算部３で計算された画像補正装置２０ｂの動作量および位置を用いて３次元化する。すなわち、３次元形状化処理部１１は、平面内距離計測部１０による測定結果である２次元平面のスキャン結果を積算して３次元化する。

その他の構成の動作は、実施の形態１および実施の形態２と同様である。なお、画像補正装置２０ｂの位置については、実施の形態２と同様、ＧＰＳなどを用いて緯度および経度の絶対座標で表してもよいし、トンネル２１の入り口からの移動距離による相対的な位置情報で表してもよい。

つづいて、画像補正装置２０ｂによる画像補正処理について説明する。図１３は、実施の形態３にかかる画像補正装置２０ｂの画像補正処理を示すフローチャートである。まず、画像補正装置２０ｂでは、移動体によってトンネル２１内を移動し、平面内距離計測部１０および撮像部５による計測位置を移動する（ステップＳ１１）。動作量位置計算部３は、角加速度計測部１で検出された角加速度、および加速度計測部２で検出された加速度に基づいて、画像補正装置２０ｂの動作量および位置を計算する（ステップＳ１２）。

平面内距離計測部１０は、測定対象、ここではトンネル２１の壁面３１までの距離を計測する（ステップＳ３１）。３次元形状化処理部１１は、平面内距離計測部１０で計測されたトンネル２１の壁面３１までの距離の測定結果を、動作量位置計算部３で計算された画像補正装置２０ｂの動作量および位置を用いて３次元化する（ステップＳ３２）。以降のステップＳ１４からステップＳ２１の処理は、図１１のフローチャートに示す実施の形態２のときの処理と同様である。

画像補正装置２０ｂのハードウェア構成について説明する。画像補正装置２０ｂにおいて、平面内距離計測部１０は、２次元レーザースキャナなどの計測器により実現される。動作量位置計算部３、ボケ量計算部７、ブレ量計算部８、補正画像出力部９ａ、および３次元形状化処理部１１は、処理回路により実現される。画像補正装置２０ｂの処理回路についても、実施の形態１と同様、図６または図７に示すような構成となる。

以上説明したように、本実施の形態によれば、画像補正装置２０ｂでは、３次元形状を、平面内距離計測部１０および３次元形状化処理部１１によって取得することとした。これにより、３次元形状を計測する装置を使用しなくても、実施の形態２と同様の効果を得ることができる。

なお、本実施の形態では、実施の形態２の画像補正装置２０ａから３次元形状計測部４を削除し、平面内距離計測部１０および３次元形状化処理部１１を追加した場合について説明したが、実施の形態１にも適用可能である。画像補正装置２０から３次元形状計測部４を削除し、平面内距離計測部１０および３次元形状化処理部１１を追加してもよい。この場合の画像補正装置は、図１２の画像補正装置２０ｂから、合焦距離取得部６およびボケ量計算部７を削除し、補正画像出力部９ａを補正画像出力部９に置き換えたものと同じである。

実施の形態４．
実施の形態４では、画像補正装置が列車に搭載された場合の構成について、実施の形態３と異なる部分について説明する。ここでは、一例として画像補正装置が列車に搭載された場合について説明するが、レールなどの軌道上を移動するもの、例えば、トロッコ、映画の撮影に使用される台車、またはリニアステージなどにも適用可能である。

図１４は、実施の形態４にかかる画像補正装置２０ｃの構成例を示す図である。画像補正装置２０ｃは、画像補正装置２０ｂに対して、角加速度計測部１を削除し、動作量位置計算部３を動作量位置計算部３ｃに置き換えたものである。

動作量位置計算部３ｃは、加速度計測部２で検出された加速度に基づいて、加速度を積算することによって、列車に搭載された画像補正装置２０ｃの計測位置、すなわち動作量および位置を計算する。動作量位置計算部３ｃは、画像補正装置２０ｃの動作量および位置を計算することによって、撮像部５が測定対象を撮影中のときの撮像部５の動作量および位置を求めることができる。画像補正装置２０ｃの位置については、実施の形態３と同様、ＧＰＳなどを用いて緯度および経度の絶対座標で表してもよいし、トンネル２１の入り口からの移動距離による相対的な位置情報で表してもよい。

画像補正装置２０ｃでは、列車に搭載される場合、自動車に搭載される場合と比較して移動方向が制限される。画像補正装置２０ｃを搭載した列車はレール上を移動するため、レールの敷設のされ方によっては、画像補正装置２０ｃがどのように移動するのかある程度予測できる場合がある。例えば、レールが直線上に敷設されている場合である。このような場合、画像補正装置２０ｃでは、加速度計測部２だけの情報で自装置の動きを計算することが可能である。これにより、画像補正装置２０ｃでは、画像補正装置２０ｂよりも構成を簡略化することが可能となる。

画像補正装置２０ｃによる画像補正処理については、図１３のフローチャートに示す画像補正装置２０ｂの画像補正処理のステップＳ１２において、角加速度計測部１の部分の処理を削除すればよい。画像補正装置２０ｃにおける画像補正処理のその他の処理は、画像補正装置２０ｂと同様である。

画像補正装置２０ｃのハードウェア構成について説明する。動作量位置計算部３ｃ、ボケ量計算部７、ブレ量計算部８、補正画像出力部９ａ、および３次元形状化処理部１１は、処理回路により実現される。画像補正装置２０ｃの処理回路についても、実施の形態１と同様、図６または図７に示すような構成となる。

以上説明したように、本実施の形態によれば、画像補正装置２０ｃでは、移動体が列車などの移動方向が制限される場合、角加速度計測部１を削除した構成にしてもよい。これにより、姿勢を計測する装置を使用しないことから、実施の形態３の画像補正装置２０ｂと比較して、画像補正装置２０ｃの構成を簡略化することができる。

なお、本実施の形態では、実施の形態３の画像補正装置２０ｂから角加速度計測部１を削除し、動作量位置計算部３を動作量位置計算部３ｃに置き換えた場合について説明したが、実施の形態２にも適用可能である。画像補正装置２０ａから角加速度計測部１を削除し、動作量位置計算部３を動作量位置計算部３ｃに置き換えてもよい。また、実施の形態１にも適用可能である。画像補正装置２０から角加速度計測部１、動作量位置計算部３および３次元形状計測部４を削除し、動作量位置計算部３ｃ、平面内距離計測部１０および３次元形状化処理部１１を追加してもよい。この場合の画像補正装置は、図１４の画像補正装置２０ｃから、合焦距離取得部６およびボケ量計算部７を削除し、補正画像出力部９ａを補正画像出力部９に置き換えたものと同じである。

以上の実施の形態に示した構成は、本発明の内容の一例を示すものであり、別の公知の技術と組み合わせることも可能であるし、本発明の要旨を逸脱しない範囲で、構成の一部を省略、変更することも可能である。

１ 角加速度計測部、２ 加速度計測部、３，３ｃ 動作量位置計算部、４ ３次元形状計測部、５ 撮像部、６ 合焦距離取得部、７ ボケ量計算部、８ ブレ量計算部、９，９ａ 補正画像出力部、１０ 平面内距離計測部、１１ ３次元形状化処理部、２０，２０ａ，２０ｂ，２０ｃ 画像補正装置。

Claims (7)

1. 測定対象を撮影する撮像部と、
   前記撮像部が前記測定対象を撮影中のときの前記撮像部の動作量および位置を求める動作量位置計算部と、
   前記測定対象の３次元形状、前記動作量、および前記位置に基づいて、前記撮像部が前記測定対象を撮影した画像にあるモーションブラーの状態を示すモーションブラー量を算出するブレ量計算部と、
   前記ブレ量計算部で算出された前記モーションブラー量から前記モーションブラーの補正量を算出し、算出した前記モーションブラーの補正量を用いて前記画像のモーションブラーを補正する補正画像出力部と、
   を備えることを特徴とする画像補正装置。
2. 前記ブレ量計算部は、前記モーションブラーの状態を示す前記モーションブラー量を表すモーションブラー量計算式を算出し、
   前記補正画像出力部は、前記モーションブラー量計算式の逆算から前記モーションブラーの補正量を算出する、
   ことを特徴とする請求項１に記載の画像補正装置。
3. 前記測定対象の３次元形状を計測する３次元形状計測部、
   を備えることを特徴とする請求項１または２に記載の画像補正装置。
4. 前記測定対象までの距離を計測する平面内距離計測部と、
   前記撮像部の動作量および位置に基づいて、前記平面内距離計測部で計測された測定結果を積算して３次元化し、前記測定対象の３次元形状を求める３次元形状化処理部と、
   を備えることを特徴とする請求項１または２に記載の画像補正装置。
5. 前記画像補正装置を搭載した移動体の角加速度を計測する角加速度計測部と、
   前記画像補正装置を搭載した移動体の加速度を計測する加速度計測部と、
   を備え、
   前記動作量位置計算部は、前記角加速度計測部で計測された角加速度、および前記加速度計測部で計測された加速度に基づいて、前記撮像部の動作量および位置を求める、
   ことを特徴とする請求項１から４のいずれか１つに記載の画像補正装置。
6. 前記画像補正装置を搭載した移動体の加速度を計測する加速度計測部、
   を備え、
   前記動作量位置計算部は、前記加速度計測部で計測された加速度に基づいて、前記撮像部の動作量および位置を求める、
   ことを特徴とする請求項１から４のいずれか１つに記載の画像補正装置。
7. 画像補正装置による画像補正方法であって、
   撮像部が、測定対象を撮影する撮像ステップと、
   動作量位置計算部が、前記撮像部が前記測定対象を撮影中のときの前記撮像部の動作量および位置を求める動作量位置計算ステップと、
   ブレ量計算部が、前記測定対象の３次元形状、前記動作量、および前記位置に基づいて、前記撮像部が前記測定対象を撮影した画像にあるモーションブラーの状態を示すモーションブラー量を算出するブレ量計算ステップと、
   補正画像出力部が、前記ブレ量計算部で算出された前記モーションブラー量から前記モーションブラーの補正量を算出し、算出した前記モーションブラーの補正量を用いて前記画像の前記モーションブラーを補正する補正ステップと、
   を含むことを特徴とする画像補正方法。

Images