JP6432139B2 - 画像処理装置 - Google Patents

Description

本発明は、画像処理装置に関する。

従来から、撮影の際、陽炎、即ち、大気の屈折率揺らぎによる影響で画像内に生じる像のぼけを抑制する技術が知られている。ここで、「ぼけ」とは、撮影時の露光時間内に陽炎が変化することで、像の残像が撮像されてしまい、像がぼけてしまうことである。なお、陽炎の他の影響としては、大気の屈折率揺らぎにより画像内の像の形状が歪んでしまう変形がある。

例えば、非特許文献１には、天文分野において星などを撮影する際に、露光時間を短時間とすることで、露光時間内に陽炎が変化せず、像のぼけを抑制した画像を得ることが開示されている。

しかしながら、上述したような従来技術では、露光時間については、時間経過に伴う陽炎の変化の影響を受けない時間を設定しているが、フレームレートについては、このような考慮がされていない。

このため、上述したような従来技術では、撮影された各画像における像のぼけは抑制できるが、異なる画像間、特に、動画像や、静止画像であっても連続して撮影するような場合、隣接するフレームで撮影された画像間で像の変形具合が異なってしまう。

本発明は、上記事情に鑑みてなされたものであり、撮影された画像における像のぼけを抑制するとともに、隣接するフレーム画像で撮影された画像間の像の変形具合の差異を抑えることができる画像処理装置を提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明の一態様にかかる画像処理装置は、時間経過に伴う陽炎の変化の影響を受けない露光時間かつフレームレートで画像を撮像する撮像部と、前記撮像された複数の画像を用いて、当該画像内の基準点の時間経過に伴う変化を解析する解析部と、前記フレームレートを解析結果に基づくレートに変更する第１変更部と、解析結果に応じて変更された前記フレームレートで前記撮像された画像を出力する出力部と、を備え、前記解析部は、前記基準点の時間経過に伴う変化を解析して、当該時間経過に伴う変化が略静止する周波数を特定し、前記第１変更部は、前記フレームレートを前記周波数のレートに変更する。

本発明によれば、撮影された画像における像のぼけを抑制するとともに、隣接するフレームで撮影された画像間の像の変形具合の差異を抑えることができるという効果を奏する。

図１は、第１実施形態の画像処理装置の構成の一例を示すブロック図である。 図２は、陽炎が発生する環境下で、自動車を３０ｆｐｓで撮像した場合と１０００ｆｐｓで撮像した場合との比較例を示す図である。 図３は、第１実施形態の画像処理装置で実行される処理の一例を示すフローチャート図である。 図４は、第２実施形態の画像処理装置の構成の一例を示すブロック図である。 図５は、第２実施形態の基準点の位置変化の時系列データの一例を示す図である。 図６は、第２実施形態の基準点の位置の周波数スペクトルの一例を示す図である。 図７は、第２実施形態の画像処理装置で実行される処理の一例を示すフローチャート図である。 図８は、第３実施形態の画像処理装置の構成の一例を示すブロック図である。 図９は、第３実施形態の画像処理装置で実行されるフレームレート変更処理の一例を示すフローチャート図である。 図１０は、第３実施形態の画像処理装置で実行される出力処理の一例を示すフローチャート図である。 図１１は、第４実施形態の画像処理装置の構成の一例を示すブロック図である。 図１２は、第５実施形態の画像処理装置の構成の一例を示すブロック図である。 図１３は、第５実施形態の画像処理装置で実行される処理の一例を示すフローチャート図である。 図１４は、第６実施形態の画像処理装置の構成の一例を示すブロック図である。

以下、添付図面を参照しながら、本発明にかかる画像処理装置の実施形態を詳細に説明する。以下では、動画像を例に取り説明するが、これに限定されず、例えば、静止画の連続画像などにも同様に適用できる。

（第１実施形態）
図１は、第１実施形態の画像処理装置１００の構成の一例を示すブロック図である。図１に示すように、画像処理装置１００は、撮像部１１０と、記憶部１２０と、補正部１３０と、出力部１４０とを、備える。

撮像部１１０は、画像を撮像するものであり、例えば、監視カメラなどが挙げられる。具体的には、撮像部１１０は、時間経過に伴う陽炎の変化の影響を受けない露光時間かつフレームレートで画像を撮像する。

時間経過に伴う陽炎の変化の影響を受けないフレームレートは、時間経過に伴う陽炎の変化がフレーム間で略静止されるレートであればよい。時間経過に伴う陽炎の変化がフレーム間で略静止されるとは、例えば、時間経過に伴う陽炎の変化のフレーム間での変化量が閾値以下であると説明することができる。例えば、時間経過に伴う陽炎の変化の影響を受けないフレームレートは、時間経過に伴う陽炎の変化をフレーム毎に記録し、フーリエ変換し、周波数スペクトルの値が閾値以下となる所定の周波数のレートと理解することができる。これについては、後述する。

時間経過に伴う陽炎の変化の影響を受けない露光時間は、露光時間内に陽炎が変化しない短時間であればよい。なお、露光時間は、フレームレートの１フレーム分の時間よりも短い時間であるものとする。

時間経過に伴う陽炎の変化の影響を受けない露光時間及びフレームレートは、陽炎そのものに依存するが、本実施形態では、自然界で生じる多くの陽炎に対応するため、フレームレートが１０００ｆｐｓ、露光時間が０．５ｍｓとして以下説明する。但し、これらに限定されるものではない。

ここで、本実施形態のように、露光時間を短時間化するとともにフレームレートを高速化することで、陽炎の影響が抑えられる原理について説明する。

本実施形態のように、露光時間を時間経過に伴う陽炎の変化の影響を受けない時間（例えば、０．５ｍｓ）とした場合、露光時間内で陽炎はほぼ変化しない。このため、撮像部１１０によりフレームレート毎に撮像される各画像には、陽炎が変化することに起因する像のぼけはほぼ生じず、像のぼけを抑制した画像を得ることができる。

また本実施形態のように、フレームレートが時間経過に伴う陽炎の変化の影響を受けないレート（例えば、１０００ｆｐｓ）である場合、フレーム間では陽炎の変化が静止しているとものとして扱うことができるため、隣接するフレームで撮像された画像間での像の変形具合の差異は無視できるほど小さい。このため、撮像部１１０により隣接するフレームで撮像された画像間では、陽炎が変化することに起因する像の変形はほぼ生じず、隣接するフレームで撮像された両画像における像の変形具合は、略同一とみなすことができ、両画像における像の変形具合の差異を抑えることができる。

また本実施形態のように、フレームレートが時間経過に伴う陽炎の変化の影響を受けないレート（例えば、１０００ｆｐｓ）である場合、陽炎だけでなく動体の動きの影響も受けなくなる。つまり、フレーム間では動体の動きも静止しているとものとして扱うことができる。このため、撮像部１１０により隣接するフレームで撮像された画像において、陽炎に起因する像の変形具合だけでなく動体の動きに起因する変形具合についても略同一とみなすことができ、両画像における像の変形具合の差異を抑えることができる。

図２は、陽炎が発生する環境下で、自動車を３０ｆｐｓで撮像した場合と１０００ｆｐｓで撮像した場合との比較例を示す図である。なお、露光時間は、いずれのフレームレートでも０．５ｍｓであるものとする。

図２に示すように、陽炎が発生する環境下で撮像された自動車は、いずれも形状が歪んでいる。但し、画像２１、２２が示すように、１０００ｆｐｓでの隣接するフレーム間では、フレーム間隔が時間経過に伴う陽炎の変化の影響を受けないほど短いため、画像２１、２２における自動車の変形具合は、ほぼ同一である。一方、画像１１、１２が示すように、３０ｆｐｓでの隣接するフレーム間では、フレーム間隔が時間経過に伴う陽炎の変化の影響を受けてしまう長さであるため、画像１１、１２における自動車の変形具合は、異なっている。

記憶部１２０は、撮像部１１０によりフレームレート毎に撮像される画像を順次バッファするものであり、ＤＲＡＭ（Dynamic Random Access Memory）などのメモリにより実現できる。

補正部１３０は、撮像部１１０により撮像された画像、即ち、記憶部１２０にバッファされた画像を用いて、陽炎補正を行うものであり、ＩＣ（Integrated Circuit）やＧＰＵ（Graphics Processing Unit）などにより実現できる。

陽炎補正としては、例えば、Ｌｕｃｋｙ ＩｍａｇｉｎｇやＬｕｃｋｙ Ｒｅｇｉｏｎなどが挙げられる。Ｌｕｃｋｙ Ｉｍａｇｉｎｇは、撮像部１１０により撮像された画像、即ち、記憶部１２０にバッファされた画像の中から、変形やぼけの少ない画像を選択して、出力する手法である。Ｌｕｃｋｙ Ｒｅｇｉｏｎは、撮像部１１０により撮像された画像、即ち、記憶部１２０にバッファされた画像から、変形やぼけの少ない領域の部分画像を抽出し、抽出した部分画像を合成した合成画像を出力する手法である。

なお、補正部１３０は、本実施形態において、必須の構成ではなく、省略してもよい。

出力部１４０は、撮像部１１０により撮像された画像を出力するものであり、ＣＰＵ（Central Processing Unit）などにより実現できる。具体的には、出力部１４０は、補正部１３０により陽炎補正が行われた画像を出力する。出力部１４０は、陽炎補正が行われた画像を、例えば、図示せぬ表示部（例えば、液晶ディスプレイなど）に表示出力したり、図示せぬ通信部（例えば、ネットワークインタフェースカードなど）を介して、図示せぬ外部装置（例えば、サーバ装置など）に送信したりする。

図３は、第１実施形態の画像処理装置１００で実行される処理の一例を示すフローチャート図である。

まず、撮像部１１０は、時間経過に伴う陽炎の変化の影響を受けない露光時間かつフレームレートで画像を順次撮像し、記憶部１２０にバッファする（ステップＳ１０１）。

続いて、補正部１３０は、記憶部１２０にバッファされた画像を用いて、陽炎補正を行う（ステップＳ１０３）。

続いて、出力部１４０は、補正部１３０により陽炎補正が行われた画像を出力する（ステップＳ１０５）。

以上のように第１実施形態によれば、時間経過に伴う陽炎の変化の影響を受けない露光時間かつフレームレートで画像を撮像するため、撮像された画像における像のぼけを抑制するとともに、隣接するフレームで撮像された画像間の像の変形具合の差異を抑えることができる。

特に本実施形態の画像処理装置は、隣接するフレームで撮像された画像間の陽炎に起因する像の変形具合だけでなく動体の動きに起因する変形具合についても差異が抑えられるため、監視装置など未知なる動体を追跡する装置に好適である。

これは、画像における像のぼけが抑制され、隣接するフレームで撮像された画像間の像の変形具合の差異が抑えられるため、当該像を隣接するフレームの画像間で同一物の像と認識することが容易にでき、陽炎が発生するような環境下で撮像された画像であっても、未知なる動体を容易に追跡できるためである。

（第２実施形態）
第２実施形態では、フレームレートを適応的に変更する例について説明する。以下では、第１実施形態との相違点の説明を主に行い、第１実施形態と同様の機能を有する構成要素については、第１実施形態と同様の名称・符号を付し、その説明を省略する。

図４は、第２実施形態の画像処理装置２００の構成の一例を示すブロック図である。図４に示すように、第２実施形態の画像処理装置２００は、解析部２５０及び変更部２６０（第１変更部の一例）を更に備える点、並びに撮像部２１０が第１実施形態と相違する。

解析部２５０は、撮像部２１０により撮像された画像、即ち、記憶部１２０にバッファされた画像を用いて、画像内の基準点の時間経過に伴う変化を解析するものであり、ＣＰＵなどにより実現できる。なお、画像内の基準点は、撮像部２１０の撮像エリアに予め基準物を配置することで、当該基準物の像を基準点とすればよい。具体的には、解析部２５０は、基準点の時間経過に伴う変化を解析して、当該時間経過に伴う変化が略静止する周波数を特定する。

例えば、解析部２５０は、記憶部１２０にバッファされた画像を順次解析し、図５に示すように、基準点の時間経過に伴う変化をフレーム毎に記録する。そして解析部２５０は、図５に示す基準点の位置変化の時系列データをフーリエ変換し、図６に示す基準点の位置の周波数スペクトルのエンベロープを得る。解析部２５０は、図６に示す周波数スペクトルのエンベロープの値を周波数０から順に確認し、変化率か所定値以下となる点の周波数２９１に基づいて、基準点の時間経過に伴う変化が略静止する周波数を特定する。例えば、図６中、Ａ、Ｂ点では、変化率（図中に点線で示したように、エンベロープの接線の傾きとして把握できる）が所定値を超えており、Ｃ点では、変化率が所定値以下と判断できるので、Ｃ点における周波数を周波数２９１に特定できる。解析部２５０は、例えば、所定値となった周波数２９１の２倍以上の周波数２９２を、基準点の時間経過に伴う変化が略静止する周波数に特定する。

変更部２６０は、撮像部２１０のフレームレートを解析部２５０の解析結果に基づくレートに変更するものであり、例えば、ＣＰＵなどにより実現できる。具体的には、変更部２６０は、撮像部２１０のフレームレートを、解析部２５０により特定された周波数のレートに変更する。

これにより、撮像部２１０は、変更後のフレームレートで撮像を行う。

図７は、第２実施形態の画像処理装置２００で実行される処理の一例を示すフローチャート図である。

まず、撮像部２１０は、時間経過に伴う陽炎の変化の影響を受けない露光時間かつフレームレートで画像を順次撮像し、記憶部１２０にバッファする（ステップＳ２０１）。

続いて、解析部２５０は、記憶部１２０にバッファされた画像を用いて、画像内の基準点の時間経過に伴う変化を周波数解析し（ステップＳ２０３）、解析結果から当該時間経過に伴う変化が略静止する周波数を特定する（ステップＳ２０５）。

続いて、変更部２６０は、撮像部２１０のフレームレートを解析部２５０により特定された周波数のレートに変更する（ステップＳ２０７）。

以上のように第２実施形態によれば、陽炎の揺らぎ具合に合わせて撮像部２１０のフレームレートを適応的に変更することができる。

（第３実施形態）
第３実施形態では、動体の有無に応じてフレームレートを変更する例について説明する。以下では、第１実施形態との相違点の説明を主に行い、第１実施形態と同様の機能を有する構成要素については、第１実施形態と同様の名称・符号を付し、その説明を省略する。

図８は、第３実施形態の画像処理装置３００の構成の一例を示すブロック図である。図８に示すように、第３実施形態の画像処理装置３００は、検出部３７０及び変更部３６０（第２変更部の一例）を更に備える点、並びに撮像部３１０及び補正部３３０が第１実施形態と相違する。

検出部３７０は、撮像部３１０により撮像された画像、即ち、記憶部１２０にバッファされた画像から、動体を検出するものであり、ＣＰＵなどにより実現できる。例えば、検出部３７０は、記憶部１２０にバッファされた最新の画像と過去数フレーム分の画像それぞれとの画素値（例えば、輝度値）を比較し、輝度値が一定以上変化した場合、画像内に動体が出現したと判定する。動体判定する場合、高レートでは動体の移動が把握しにくいため、高レートで撮像したフレーム中、一定周期で抜き出したフレームを用いて、動体が引き続き画像内に存在するかどうか判定し続ける。ある画像の輝度値が、動体が出現したと判定する以前の水準に戻った場合、画像内から動体がフレームアウトしたと判定する。

変更部３６０は、検出部３７０により動体が存在すると判定された場合、撮像部３１０のフレームレートを時間経過に伴う陽炎の変化の影響を受けないレートである第１レートに変更し、検出部３７０により動体が存在しないと判定された場合、撮像部３１０のフレームレートを第１レートよりも遅い第２レートに変更する。例えば、第１レートを１０００ｆｐｓ、第２レートを３０ｆｐｓとすることができるが、これに限定されるものではない。

これにより、撮像部３１０は、変更後のフレームレートで撮像を行う。

補正部３３０は、変更部３６０により撮像部３１０のフレームレートが第１レートに変更された場合、撮像部３１０により撮像された画像、即ち、記憶部１２０にバッファされた画像を用いて、陽炎補正を行う。

図９は、第３実施形態の画像処理装置３００で実行されるフレームレート変更処理の一例を示すフローチャート図である。

まず、撮像部３１０は、時間経過に伴う陽炎の変化の影響を受けない露光時間かつ動体検出時のレートである第１レート又は通常時のレートである第２レートのフレームレートで画像を順次撮像し、記憶部１２０にバッファする（ステップＳ３０１）。

続いて、検出部３７０は、記憶部１２０にバッファされた画像から、動体の有無を検出する（ステップＳ３０３）。

続いて、変更部３６０は、検出部３７０により動体が検出され（ステップＳ３０３でＹｅｓ）、撮像部３１０のフレームレートが通常時のレートである第２レートの場合（ステップＳ３０５でＹｅｓ）、撮像部３１０のフレームレートを動体検出時のレートである第１レートに変更する（ステップＳ３０７）。

なお、検出部３７０により動体が検出されても（ステップＳ３０３でＹｅｓ）、撮像部３１０のフレームレートが通常時のレートである第２レートでない場合（ステップＳ３０５でＮｏ）、ステップＳ３０７の処理は行われない。

一方、変更部３６０は、検出部３７０により動体が検出されず（ステップＳ３０３でＮｏ）、撮像部３１０のフレームレートが動体検出時のレートである第１レートの場合（ステップＳ３０９でＹｅｓ）、撮像部３１０のフレームレートを通常時のレートである第２レートに変更する（ステップＳ３１１）。

なお、検出部３７０により動体が検出されなくても（ステップＳ３０３でＮｏ）、撮像部３１０のフレームレートが動体検出時のレートである第１レートでない場合（ステップＳ３０９でＮｏ）、ステップＳ３１１の処理は行われない。

図１０は、第３実施形態の画像処理装置３００で実行される出力処理の一例を示すフローチャート図である。

まず、撮像部３１０は、時間経過に伴う陽炎の変化の影響を受けない露光時間かつ動体検出時のレートである第１レート又は通常時のレートである第２レートのフレームレートで画像を順次撮像し、記憶部１２０にバッファする（ステップＳ４０１）。

続いて、補正部３３０は、撮像部３１０のフレームレートが動体検出時のレートである第１レートであれば（ステップＳ４０３でＹｅｓ）、記憶部１２０にバッファされた画像を用いて、陽炎補正を行う（ステップＳ４０５）。

なお、撮像部３１０のフレームレートが動体検出時のレートである第１レートでなければ（ステップＳ４０３でＮｏ）、ステップＳ４０５の処理は行われない。

続いて、出力部１４０は、補正部３３０により陽炎補正が行われれば、当該陽炎補正が行われた画像を出力し、補正部３３０により陽炎補正が行われなければ、記憶部１２０にバッファされた画像をそのまま出力する（ステップＳ４０７）。

以上のように第３実施形態によれば、動体が検出されると、フレームレートが時間経過に伴う陽炎の変化の影響を受けないレートとなり、動体が検出されなければ、フレームレートが通常時のレートとなる。このため第３実施形態によれば、通常時の各種コストを抑えられ、監視装置など未知なる動体を追跡する装置により好適である。

（第４実施形態）
第４実施形態では、ユーザ操作に応じてフレームレートを変更する例について説明する。以下では、第３実施形態との相違点の説明を主に行い、第３実施形態と同様の機能を有する構成要素については、第３実施形態と同様の名称・符号を付し、その説明を省略する。

図１１は、第４実施形態の画像処理装置４００の構成の一例を示すブロック図である。図１１に示すように、第４実施形態の画像処理装置４００は、操作部４８０を更に備える点、並びに変更部４６０（第２変更部の一例）が第３実施形態と相違する。

操作部４８０は、各種操作入力を行うものであり、例えば、マウスやキーボードなどにより実現できる。

変更部４６０は、操作部４８０により第１操作入力が行われた場合、撮像部３１０のフレームレートを時間経過に伴う陽炎の変化の影響を受けないレートである第１レートに変更し、操作部４８０により第２操作入力が行われた場合、撮像部３１０のフレームレートを第１レートよりも遅い第２レートに変更する。例えば、第１レートを１０００ｆｐｓ、第２レートを３０ｆｐｓとすることができるが、これに限定されるものではない。

これにより、撮像部３１０は、変更後のフレームレートで撮像を行う。

補正部３３０は、変更部４６０により撮像部３１０のフレームレートが第１レートに変更された場合、撮像部３１０により撮像された画像、即ち、記憶部１２０にバッファされた画像を用いて、陽炎補正を行う。

以上のように第４実施形態によれば、ユーザ操作でフレームレートを時間経過に伴う陽炎の変化の影響を受けないレートとするか通常時のレートとするかを変更できる。このため第４実施形態によれば、通常時の各種コストを抑えられ、監視装置など未知なる動体を追跡する装置により好適である。

（第５実施形態）
第５実施形態では、動体の有無に応じて陽炎補正を行うか画像を間引く例について説明する。以下では、第１実施形態との相違点の説明を主に行い、第１実施形態と同様の機能を有する構成要素については、第１実施形態と同様の名称・符号を付し、その説明を省略する。

図１２は、第５実施形態の画像処理装置５００の構成の一例を示すブロック図である。図１２に示すように、第５実施形態の画像処理装置５００は、検出部３７０及び間引き部５９０を更に備える点、並びに補正部５３０が第１実施形態と相違する。

検出部３７０は、撮像部１１０により撮像された画像、即ち、記憶部１２０にバッファされた画像から、動体を検出するものであり、ＣＰＵなどにより実現できる。例えば、検出部３７０は、記憶部１２０にバッファされた最新の画像と過去数フレーム分の画像それぞれとの画素値（例えば、輝度値）を比較し、輝度値が一定以上変化した場合、画像内に動体が出現したと判定する。動体判定する場合、高レートでは動体の移動が把握しにくいため、高レートで撮像したフレーム中、一定周期で抜き出したフレームを用いて、動体が引き続き画像内に存在するかどうか判定し続ける。ある画像の輝度値が、動体が出現したと判定する以前の水準に戻った場合、画像内から動体がフレームアウトしたと判定する。

間引き部５９０は、検出部３７０により動体が存在すると判定された場合、撮像部１１０により撮像された複数の画像、即ち、記憶部１２０にバッファされた複数の画像から、少なくとも一部を間引く。例えば、間引き部５９０は、１０００ｆｐｓで入力される画像を３０ｆｐｓで出力するように画像を間引く。

補正部５３０は、検出部３７０により動体が存在しないと判定された場合、撮像部１１０により撮像された画像、即ち、記憶部１２０にバッファされた画像を用いて、陽炎補正を行う。

出力部１４０は、補正部５３０により陽炎補正が行われれば、当該陽炎補正が行われた画像を出力し、間引き部５９０により間引き処理が行われれば、間引きされた画像を出力する。

図１３は、第５実施形態の画像処理装置５００で実行される処理の一例を示すフローチャート図である。

まず、撮像部１１０は、時間経過に伴う陽炎の変化の影響を受けない露光時間かつフレームレートで画像を順次撮像し、記憶部１２０にバッファする（ステップＳ５０１）。

続いて、検出部３７０は、記憶部１２０にバッファされた画像から、動体の有無を検出する（ステップＳ５０３）。

続いて、補正部５３０は、検出部３７０により動体が検出されれば（ステップＳ５０３でＹｅｓ）、記憶部１２０にバッファされた画像を用いて、陽炎補正を行う（ステップＳ５０５）。

一方、間引き部５９０は、検出部３７０により動体が検出されなければ（ステップＳ５０３でＮｏ）、記憶部１２０にバッファされた複数の画像から、少なくとも一部を間引く間引き処理を行う（ステップＳ５０７）。

続いて、出力部１４０は、補正部１３０により陽炎補正が行われれば、当該陽炎補正が行われた画像を出力し、間引き部５９０により間引き処理が行われれば、間引きされた画像を出力する（ステップＳ５０９）。

以上のように第５実施形態によれば、動体が検出されない場合、画像の間引き処理が行われるため、画像表示に適したフレームレートで画像を出力でき、動体非検出時の画像の視認性を高めることができる。なお、動体検出時には、陽炎補正に伴い、自動的に画像は間引かれる。このため第５実施形態によれば、通常時の画像の視認性を向上でき、監視装置など未知なる動体を追跡する装置により好適である。

（第６実施形態）
第６実施形態では、ユーザ操作に応じて陽炎補正を行うか画像を間引く例について説明する。以下では、第５実施形態との相違点の説明を主に行い、第５実施形態と同様の機能を有する構成要素については、第５実施形態と同様の名称・符号を付し、その説明を省略する。

図１４は、第６実施形態の画像処理装置６００の構成の一例を示すブロック図である。図１４に示すように、第６実施形態の画像処理装置６００は、操作部６８０を更に備える点、並びに間引き部６９０及び補正部６３０が第５実施形態と相違する。

操作部６８０は、各種操作入力を行うものであり、例えば、マウスやキーボードなどにより実現できる。

間引き部６９０は、操作部６８０により第３操作入力が行われた場合、撮像部１１０により撮像された複数の画像、即ち、記憶部１２０にバッファされた複数の画像から、少なくとも一部を間引く。例えば、間引き部６９０は、１０００ｆｐｓで入力される画像を３０ｆｐｓで出力するように画像を間引く。

補正部６３０は、操作部６８０により第４操作入力が行われた場合、撮像部１１０により撮像された画像、即ち、記憶部１２０にバッファされた画像を用いて、陽炎補正を行う。

出力部１４０は、補正部６３０により陽炎補正が行われれば、当該陽炎補正が行われた画像を出力し、間引き部６９０により間引き処理が行われれば、間引きされた画像を出力する。

以上のように第６実施形態によれば、ユーザ操作で間引き処理が選択された場合、画像の間引き処理が行われるため、画像表示に適したフレームレートで画像を出力でき、画像の視認性を高めることができる。なお、ユーザ操作で陽炎補正が選択された場合、陽炎補正に伴い、自動的に画像は間引かれる。このため第６実施形態によれば、通常時の画像の視認性を向上でき、監視装置など未知なる動体を追跡する装置により好適である。

（変形例）
なお、本発明は、上記実施形態に限定されるものではなく、種々の変形が可能である。例えば、上記各実施形態を適宜組み合わせてもよい。

（ハードウェア構成）
上記各実施形態の画像処理装置は、ＣＰＵなどの制御装置と、ＲＯＭやＲＡＭなどの記憶装置と、ＨＤＤなどの外部記憶装置と、ディスプレイなどの表示装置と、キーボードやマウスなどの入力装置と、通信Ｉ／Ｆ（インタフェース）と、監視カメラなどの撮像装置と、を備えており、通常のコンピュータを利用できる。

上記各実施形態の画像処理装置で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、ＣＤ−Ｒ、メモリカード、ＤＶＤ（Digital Versatile Disk）、フレキシブルディスク（ＦＤ）等のコンピュータで読み取り可能な記憶媒体に記憶されて提供される。また、特定の製品に回路として組み込まれていてもよい。あるいは、ＡＳＩＣ（特定用途向けＩＣ）として提供されてもよい。

また、上記各実施形態の画像処理装置で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するようにしてもよい。また、上記各実施形態の画像処理装置で実行されるプログラムを、インターネット等のネットワーク経由で提供または配布するようにしてもよい。また、上記各実施形態の画像処理装置で実行されるプログラムを、ＲＯＭ等に予め組み込んで提供するようにしてもよい。

上記各実施形態の画像処理装置で実行されるプログラムは、上述した各部をコンピュータ上で実現させるためのモジュール構成となっている。実際のハードウェアとしては、ＣＰＵがＨＤＤからプログラムをＲＡＭ上に読み出して実行することにより、上記各部がコンピュータ上で実現されるようになっている。

１００、２００、３００、４００、５００、６００ 画像処理装置
１１０、２１０、３１０ 撮像部
１２０ 記憶部
１３０、３３０、５３０、６３０ 補正部
１４０ 出力部
２５０ 解析部
２６０、３６０、４６０ 変更部
３７０ 検出部
４８０、６８０ 操作部
５９０、６９０ 間引き部

Alejandro Oscoz, Rafael Rebolo, Roberto Lopez, Antonio Perez-Garrido, Jorge Andres Perez, Sergi Hildebrandt, Luis Fernando Rodriguez, Juan Jose Piqueras, Isidro Villo, Jose Miguel Gonzalez, Rafael Barrena, Gabriel Gomez, Anibal Garcia, Pilar Montanes, Alfred Rosenberg, Emilio Cadavid, Ariadna Calcines, Anastasio Diaz-Sanchez, Ralf Kohley, Yolanda Martin, Jose Penate, Vicente Sanchez, "FastCam: a new lucky imaging instrument for medium-sized telescopes" Proc. SPIE 7014, Ground-based and Airborne Instrumentation for Astronomy II, 701447 (July 11, 2008); doi:10.1117/12.788834

Claims (8)

1. 時間経過に伴う陽炎の変化の影響を受けない露光時間かつフレームレートで画像を撮像する撮像部と、
   前記撮像された複数の画像を用いて、当該画像内の基準点の時間経過に伴う変化を解析する解析部と、
   前記フレームレートを解析結果に基づくレートに変更する第１変更部と、
   解析結果に応じて変更された前記フレームレートで前記撮像された画像を出力する出力部と、
   を備え、
   前記解析部は、前記基準点の時間経過に伴う変化を解析して、当該時間経過に伴う変化が略静止する周波数を特定し、
   前記第１変更部は、前記フレームレートを前記周波数のレートに変更する、
   画像処理装置。
2. 時間経過に伴う陽炎の変化の影響を受けない露光時間かつフレームレートで画像を撮像する撮像部と、
   前記撮像された複数の画像を用いて、当該画像内の基準点の時間経過に伴う変化を解析する解析部と、
   前記撮像された画像を用いて、陽炎補正を行う補正部と、
   前記撮像された画像から動体を検出する検出部と、
   前記動体が検出された場合、前記フレームレートを前記時間経過に伴う陽炎の変化の影響を受けないレートである第１レートに変更し、前記動体が検出されなかった場合、前記フレームレートを前記第１レートよりも遅い第２レートに変更する第２変更部と、
   解析結果に応じて変更された前記フレームレートで前記陽炎補正が行われた画像を出力する出力部と、
   を備え、
   前記補正部は、前記フレームレートが前記第１レートの場合、前記撮像された画像を用いて、陽炎補正を行う、
   画像処理装置。
3. 時間経過に伴う陽炎の変化の影響を受けない露光時間かつフレームレートで画像を撮像する撮像部と、
   前記撮像された複数の画像を用いて、当該画像内の基準点の時間経過に伴う変化を解析する解析部と、
   前記撮像された画像を用いて、陽炎補正を行う補正部と、
   操作部からの第１操作入力に基づいて、前記フレームレートを前記時間経過に伴う陽炎の変化の影響を受けないレートである第１レートに変更し、前記操作部からの第２操作入力に基づいて、前記フレームレートを前記第１レートよりも遅い第２レートに変更する第２変更部と、
   解析結果に応じて変更された前記フレームレートで前記陽炎補正が行われた画像を出力する出力部と、
   を備え、
   前記補正部は、前記フレームレートが前記第１レートの場合、前記撮像された画像を用いて、陽炎補正を行う、
   画像処理装置。
4. 時間経過に伴う陽炎の変化の影響を受けない露光時間かつフレームレートで画像を撮像する撮像部と、
   前記撮像された複数の画像を用いて、当該画像内の基準点の時間経過に伴う変化を解析する解析部と、
   前記撮像された画像から動体を検出する検出部と、
   前記動体が検出されなかった場合、前記撮像された複数の画像の少なくとも一部を間引く間引き部と、
   前記撮像された画像を用いて、陽炎補正を行う補正部と、
   解析結果に応じて変更された前記フレームレートで前記陽炎補正が行われた画像を出力する出力部と、
   を備え、
   前記補正部は、前記動体が検出された場合、前記撮像された画像を用いて、陽炎補正を行う、
   画像処理装置。
5. 前記フレームレートは、前記時間経過に伴う陽炎の変化がフレーム間で略静止されるレートであり、
   前記露光時間は、前記フレームレートの１フレーム分の時間よりも短い時間である請求項１ないし４のいずれか１つに記載の画像処理装置。
6. 前記フレームレートは、前記時間経過に伴う陽炎の変化のフレーム間での変化量が閾値以下である請求項１ないし５のいずれか１つに記載の画像処理装置。
7. 操作部からの第３操作入力に基づいて、前記撮像された画像の少なくとも一部を間引く間引き部を更に備え、
   前記補正部は、前記操作部からの第４操作入力に基づいて、前記撮像された画像を用いて、陽炎補正を行う請求項２または３に記載の画像処理装置。
8. 前記陽炎補正は、Ｌｕｃｋｙ Ｉｍａｇｉｎｇ又はＬｕｃｋｙ Ｒｅｇｉｏｎである請求項２ないし４のいずれか１つに記載の画像処理装置。

Images