JP4245045B2 - 撮像装置、撮像信号処理方法及びプログラム - Google Patents

Description

本発明は、ビデオカメラとして構成された撮像装置、及びその撮像装置に適用される撮像信号処理方法、並びにその撮像信号処理方法を実行するプログラムに関し、特に空気の揺らぎにより画像が揺らぐことを補正する技術に関する。

従来、ビデオカメラなどで動画像を撮像する際には、空気の揺らぎの影響で、撮像された画像が揺らぐことがあった。即ち、温度差などが原因で空気が局所的に揺らぐことにより、光路が局所的に屈折し、その影響で撮像される画面内の像に、揺らぎが生じることがあった。特に、望遠レンズを使用して遠景の撮像を行う際には、被写体からビデオカメラまでの距離が長いため、光路が長くなり、空気の揺らぎの影響による撮像画像中のゆらぎが大きく現れて、揺らぎが目立ち易いという問題がある。

空気が原因の揺らぎがあると、撮像される画像として、本来は直線である箇所が揺れる、変形するなどの悪影響が生じる。揺らぎそのものは動画の場合の問題であるが、静止画を撮像する場合にも、揺らぎがあると、直線が歪んでしまうなどの問題がある。

特許文献１には、撮像装置で撮像して得た画像信号に対して、揺らぎの影響を排除した物体検出を行うことについての開示がある。この特許文献１に示された「揺らぎ」が、本明細書で説明している空気の揺らぎに相当する。
特開２００６−１０７４５７号公報

ところで、空気の揺らぎによる画像の揺らぎを除去することは、フィルタ処理で可能であるが、撮像される画像全てに対して常時揺らぎの除去処理を行うようにすると、画像の内容によっては適さない状態になることもある。具体的には、揺らぎそのものは、画像を構成するそれぞれの画素が、局所的な小領域内で座標位置が変動する現象である。揺らぎ除去処理としては、その座標位置の変動を補正すればよいが、そのような処理が最も有効なのは、画像中の物体の位置が、固定的に決まっている静止状態の場合である。画像中に動きのある物体がある場合には、揺らぎ除去処理のための揺らぎの検出が、揺らぎとは異なる動きがあることで、正しく行われない可能性があり、逆に画質が劣化する可能性がある。

本発明はかかる点に鑑みてなされたものであり、空気の揺らぎによる画像の揺らぎ除去処理を良好に行えるようにすることを目的とする。

本発明は、撮像して得た複数フレームの画像信号から、画像中の動体を検出する動体検出処理と、動体検出処理で動体が存在すると検出された部分をマスクするマスク処理とを行う。そして、そのマスク処理でマスクされた部分以外の領域の画像に対して、揺らぎの除去処理を行う。

このようにしたことで、撮像して得た画像信号の中の動く物体以外に対して、空気の揺らぎに対する揺らぎ除去処理が行われることになり、撮像された画像中の動きのない領域に対してだけ揺らぎ除去処理が行われるようになる。

本発明によると、撮像された画像中の動きのない領域に対してだけ揺らぎ除去処理が行われるようになる。従って、温度差などが原因で空気が局所的に揺らぐことによる光路の屈折で、画像中の像の揺れが生じた場合でも、動きのない部分に対してだけ揺らぎ除去処理が行われ、撮像画像の画質を低下させることなく、効果的に揺らぎ補正が行われる効果を有する。

以下、本発明の一実施の形態を、添付図面を参照して説明する。

図１は、本実施の形態による撮像装置の構成例を示す。本実施の形態の撮像装置１００は、例えば監視用のビデオカメラなどの、各種用途に使用される撮像装置に適用可能である。図１に基づいて構成を説明すると、撮像装置１００は、撮影用のレンズなどで構成される光学系１０１を介して、被写体の像光を撮像部１０２のイメージャ（図示せず）に結像させ、そのイメージャで像光を電気信号に変換する。光学系１０１が備える撮影用のレンズとしては、例えば比較的焦点距離の長いいわゆる望遠レンズを使用する。或いは、焦点距離を可変設定可能なズームレンズを使用してもよい。イメージャとしては、例えばＣＣＤ（Charge Coupled Devices）型の撮像素子や、ＭＯＳ（Metal Oxide Semiconductor）型の撮像素子などの各種撮像素子が適用可能である。

撮像部１０２では、イメージャで得た電気信号を、所定のフォーマットの撮像信号（画像信号）とする撮像信号処理を行う。撮像部１０２では、３０Ｈｚなどの決められたフレーム周波数で１フレームの撮像信号（画像信号）を出力する。撮像部１０２が出力する画像信号は、撮像装置１００内のバスライン１０６を介してＲＡＭ１０５に転送させ、一旦蓄積させる。ＲＡＭ１０５では、後述する揺らぎ除去処理などで必要な、複数フレーム（複数枚）の画像信号を蓄積できるようにしてある。ＲＡＭ１０５に蓄積された画像信号は、中央制御ユニット（ＣＰＵ）１０３の制御による演算処理で各種画像処理が行われる。中央制御ユニット１０３の制御で行われる画像処理は、ＲＯＭ１０４に記憶されたプログラムを実行することで行われる。

本例においては、中央制御ユニット１０３とＲＡＭ１０５とを使用して行われる画像信号の処理の１つとして、画像の揺らぎ除去処理がある。この画像の揺らぎ除去処理で除去される揺らぎは、温度差などが原因で空気が局所的に揺らぐことによる光路の屈折で、画像中の像の揺れが生じた場合の揺らぎを除去する処理であり、いわゆる手ぶれ補正処理などの画像全体に対して均一に行われる補正処理とは異なる。この揺らぎ除去処理は、例えば、時間メディアンフィルタと称されるフィルタ処理で実行される。時間メディアンフィルタによる揺らぎ除去処理の具体的な例については後述する。

ＲＡＭ１０５に蓄積されて、画像の揺らぎ除去処理などの各種画像処理が施された画像信号は、出力インターフェイス部１０７に送られ、出力端子部１０８から所定のフォーマットの画像信号（映像信号）として出力される。また、出力端子部１０８が所定の通信回線に接続される端子部である場合には、その通信回線に送出される。

図２は、図１に示した撮像装置１００について、揺らぎ除去に関する処理構成を機能から見たブロック図である。本実施の形態では、動画像を撮影する際、温度差などが原因で空気が局所的に揺らぐことにより光路が屈折し、その影響で生じた画面内の像の揺れを補正する処理を行い、揺らぎのない画像を生成する構成としてある。

その揺らぎのない画像を生成するために、図２に示すように、撮像部１０２が出力する画像信号を、画像保存部１１１に保存させる。この画像保存部１１１は、図１でのＲＡＭ１０５が使用される。そして、その画像保存部１１１に保存された画像信号で示される画像の内容を動体検出部１１２で判定し、画像中に動体が存在するか判断する。画像中に動体が存在すると判断した場合には、その動体の画像部分をマスクする処理を、動体マスク部１１３で行う。そして、その動体マスク部１１３でマスクされた部分を除いた領域の画像に対して、揺らぎ除去部１１４で揺らぎ除去処理を行う。

図３は、この撮像装置１００で行われる揺らぎ除去処理の例をフローチャートで示したものである。撮像して得た画像信号が撮像部１０２から出力されて入力されると、その入力画像中の動体の検出処理を行う（ステップＳ１１）。この動体の検出処理としては、揺らぎに対して頑健な動体検出アルゴリズムによる動体検出処理を用いる。また、動体の検出処理を行うに際しては、ある程度のサイズ（ここでのサイズとは例えば画素数で決まるサイズ）以上の動体を検出処理し、その決められたサイズ未満の動体については、動体であっても無視するようにしてもよい。また、動き量についても、予め決めた閾値以上の速さで移動する物体を動体とし、その閾値未満の低速で移動する物体については、ここでは無視するようにしてもよい。

そして、ステップＳ１１で動体の検出がある場合には、画像中のその動体が存在する部分を、後述する揺らぎ処理に使用しないためにマスクするマスク処理を行う（ステップＳ１２）。動体が存在しない画像である場合には、このステップＳ１２でのマスク処理を行わない。マスク処理される範囲は、移動する物体である動体の領域であるので、１フレームごとにマスク処理する範囲は変化する。

そして、マスク処理された画像信号に対して、揺らぎ除去処理を行う（ステップＳ１３）。このとき、マスク処理でマスクされた領域は除外して、揺らぎ除去処理が実行される。マスクされた領域が存在しない場合には、１フレームの画像全てに対して、空気の揺らぎによる画像の揺らぎを除去する、揺らぎ除去処理が行われる。揺らぎ除去処理については、例えば、時間メディアンフィルタを使用して処理される。時間メディアンフィルタを使用した揺らぎ除去処理の例については後述する。

このようにして揺らぎ除去された画像信号を撮像装置１００の出力端子部１０８が出力する。なお、ステップＳ１３での揺らぎ除去処理で、マスク処理によりマスクされている領域は、入力画像の画素値をそのまま出力する。撮像装置から出力された画像信号は、記憶媒体に記憶させる処理、通信回線で伝送する処理、モニタで表示させる処理などの、撮像装置の使用目的に応じた画像処理が行われる。

ここで、時間メディアンフィルタを使用した揺らぎ除去処理について説明する。時間メディアンフィルタは、次の［数１］式で表現される処理を行うフィルタである。

［数１］
Ｉ_Ｍ（ｘ，ｙ，ｔ）＝med Ｓ（ｘ，ｙ，ｔ）
Ｓ（ｘ_Ｎ，ｙ_Ｎ，ｔ_Ｎ）＝｛Ｉ（ｘ_Ｎ，ｙ_Ｎ，ｔ）｜ｔ_Ｎ−Ｔ≦ｔ≦ｔ_Ｎ

［数１］式において、Ｉ_Ｍは出力画像の画素値である。Ｉは入力画像の画素値、Ｔはフィルタの時定数である。また、ｘ及びｙは、画素のｘ座標値及びｙ座標値を示すものである。

時間メディアンフィルタでの処理は、それぞれの画素の画素値の統計的代表値を求め、その求まった統計的代表値で各画素データを出力させる処理である。即ち、出力画像の画素値Ｉ_Ｍ（ｘ，ｙ，ｔ）が、med Ｓ（ｘ，ｙ，ｔ）で示されるということは、その画素が、時間Ｔにおける画素値の中央値として出力されることを示している。フィルタの時定数Ｔの選定で、過去の何フレームの画像を使用して演算を行うのかが決まる。フィルタの時定数Ｔを適切な時間（フレーム数）に選定することで、時間メディアンフィルタを使用した揺らぎ除去処理が、良好に行われる。例えば過去数フレームの画像を使用して、その数フレームの間での各画素の画素値の中央値を求める処理を行う。この時間メディアンフィルタの原理を使用した揺らぎの除去演算処理を、１画像中の全ての画素について個別に行うことで、画像中の画素値の変動を補正することができ、空気の揺らぎによる画素値の変動を除去することができる。
なお、ここでの揺らぎ除去処理は、空気の揺らぎによるものを除去するものであるため、それぞれの画素ごとに、その画素の近傍の小領域内での微小な揺らぎを検出して補正するものであり、いわゆるカメラのブレ（手ブレ）を補正するような、画像全体に対して行う揺れの補正処理とは異なる。

そして本例においては、図３のフローチャートなどに示したように、動きのある部分を検出して、その検出した動きの部分についてマスクをした上で揺らぎ除去を行うようにしたので、［数１］式に示した時間メディアンフィルタを使用した揺らぎ除去処理が行われるのは、動体部分以外の領域の画素だけである。
従って、揺らぎ除去処理を行うに際して、画像中の画素値の変動が、空気の揺らぎによる画素値の変動であるのか、その他の要因（移動物体が画面内に侵入してきた場合など）によるものなのかを区別することが行われて、揺らぎの影響による像のブレを除去しつつ、移動物体などが映っている場合にも、品質を低下させることなく、良好に補正された画像を取得することが出来る。

図５は、このようにして揺らぎ除去が行われる状態の例を示した原理図である。図５（ａ）は揺らぎ補正をしない場合の例である。この場合には、遠景の建物が歪んで撮像された状態で、動体（自動車）が画像中に入った状態を示している。このような画像に対して、揺らぎ除去処理を行うことで、図５（ｂ）に示すように、遠景の建物が歪みが補正されて、揺らぎのない状態となり、その上で動体（自動車）がある画像となる。画像中を移動する動体である自動車についても、その位置によっては像に揺らぎが発生するが、移動している物体の歪みについては、静止した物体よりも目立たなく、良好な画質の像であると認識される。

なお、図３のフローチャートのステップＳ１１での移動物体の検出として、揺らぎに対して頑健な動体検出アルゴリズムを適用すると述べたが、このような揺らぎに対して頑健な動体検出アルゴリズムにより動体検出処理は、例えば特許文献１（特開２００６−１０７４５７号公報）に一例の記載がある。
即ち、現在の時刻の画像と過去数フレームの過去画像群との差分値を計算する。このように計算して、その変化を見ると、画像中のある座標位置に物体が存在しない場合は、差分値は非常に小さい状態が継続している。これに対して、画像中のある座標に物体が進入してきた場合には、差分値は大きく変化する。現在の時刻をｔとしてｔ−Δｔのときに物体が進入してきて、現在も物体が存在する場合、ｔ−Δｔ以前は差分値が大きくなり、ｔ−Δｔ以後は差分値が小さくなる。一方、空気の揺らぎがあった場合は、差分値はランダムに変動する。

従って、動く物体が進入してきたときは、一定時間の間、差分値が大きい状態が継続することである。そこで、差分値に対して閾値処理を行い、閾値を超えた状態が一定時間継続した場合に物体が存在すると決定する。例えば、過去１秒間において０．５秒以上閾値を越えていた場合に物体が存在すると決定する。空気の揺らぎのようなものがあった場合は、閾値を越えた状態が継続しないので、動く物体が存在するとは判定されない。このような処理を画像内の全画素、あるいは一部の画素に対して行うことで移動物体の存在する画素を検出し、検出された画素に対して、隣接画素との結合処理などによるラベリングを行うことで移動物体領域を抽出できる。
このようなアルゴリズムを適用することで、揺らぎの影響を排除した上で良好に動体を検出することができる。

なお、図３のフローチャートに示した処理は、一定のフレーム周期で撮像装置１００から画像信号を出力させる、動画の画像信号の例を想定したが、静止画像を撮像する場合にも適用可能である。
図４のフローチャートは、静止画像の場合の処理例を示した図である。以下、図４に基づいて説明すると、ステップＳ１１からステップＳ１３までは、図３の処理と基本的に同じである。即ち、画像信号が入力すると、画像中の動体の検出処理を行い（ステップＳ１１）、ステップＳ１１で動体の検出がある場合には、画像中のその動体が存在する部分を、後述する揺らぎ処理に使用しないためにマスクするマスク処理を行う（ステップＳ１２）。そして、マスク処理された画像信号に対して、揺らぎ除去処理を行う（ステップＳ１３）。揺らぎ除去処理についても、例えば、先に説明した時間メディアンフィルタを使用した処理を適用する。

その後、揺らぎ除去が行われた画像信号の中から、静止画として出力させる１フレームの画像信号を選択して、その１フレームの画像信号を出力端子部１０８から出力させる（ステップＳ１４）。この選択処理については、例えば撮像装置１００が備えるディスプレイなどに表示させた上で、ユーザ操作で選択させてもよいが、適切な画像を自動的に選択するようにしてもよい。また、ステップＳ１３での揺らぎ除去処理とステップＳ１４での選択処理とを連動させて、静止画像として出力させるフレームの画像信号に対してだけ、揺らぎ除去処理を行い、他のフレームの画像信号に対しては、揺らぎ除去処理をしないようにして、揺らぎ除去処理に対する演算処理量を削減するようにしてもよい。
このように静止画像に対して本例の揺らぎ除去処理を行うことで、静止画像の場合でも空気の揺らぎによる被写体の歪みを除去した高画質な画像信号を出力させることができる効果を有する。

なお、ここまで説明した実施の形態では、図１に示した構成の撮像装置に適用した例としたが、例えば、撮像装置（ビデオカメラ）が出力する画像信号に対して、上述した処理構成で揺らぎ除去処理を行う画像処理装置として構成するようにしてもよい。このように、単体の画像処理装置として構成することで、既存の撮像装置が出力する画像信号の揺らぎ補正を、高画質に行うことが可能となる。

また、上述した実施の形態では、揺らぎ除去処理として、時間メディアンフィルタを使用した処理を適用したが、その他のデータ処理で揺らぎ除去処理を行うようにしてもよい。動体の検出処理についても、上述した処理構成に限定されるものではない。

さらに、上述した実施の形態では、動体検出処理や揺らぎ除去処理などをハードウェアとして構成させた例について説明したが、同様の処理を行う画像処理プログラム（ソフトウェア）を作成して、コンピュータ装置などの情報処理装置にそのプログラムを実装させて、その情報処理装置で同様の処理が行えるようにしてもよい。この場合の画像処理プログラムは、ディスクや半導体メモリなどの各種記憶媒体を使用して配布する他に、インターネットなどの伝送路を経由してダウンロードさせてもよい。

本発明の一実施の形態による撮像装置の構成例を示すブロック図である。 本発明の一実施の形態による撮像装置の機能ブロックの例を示す構成図である。 本発明の一実施の形態による揺らぎ除去処理例（動画の場合の例）を示したフローチャートである。 本発明の一実施の形態による揺らぎ除去処理例（静止画の場合の例）を示したフローチャートである。 本発明の一実施の形態による処理画像のイメージを示した図で、（ａ）は補正前のイメージ図であり、（ｂ）は補正後のイメージ図である。

符号の説明

１００…撮像装置、１０１…光学系、１０２…撮像部、１０３…中央制御ユニット（ＣＰＵ）、１０４…ＲＯＭ、１０５…ＲＡＭ、１０６…バスライン、１０７…出力インターフェイス部、１０８…出力端子部、１１１…画像保存部、１１２…動体検出部、１１３…動体マスク部、１１４…揺らぎ除去部

Claims (5)

1. 撮像部と、
   前記撮像部で撮像された複数フレームの画像中の動体を検出する動体検出処理部と、
   前記動体検出処理部で動体が存在すると検出された部分をマスクし、マスクされた部分以外の領域の画像に対して、揺らぎの除去処理を行う揺らぎ除去処理部とを備えたことを特徴とする
   撮像装置。
2. 請求項１記載の撮像装置において、
   前記揺らぎ除去処理部での揺らぎ除去処理は、複数枚の画像データをフィルタ処理して、それぞれの画素の画素値の統計的代表値を求め、その求まった統計的代表値で各画素データを出力させる処理であることを特徴とする
   撮像装置。
3. 請求項１記載の撮像装置において、
   前記揺らぎ除去処理部は、時間メディアンフィルタを使用して除去処理することを特徴とする
   撮像装置。
4. 撮像して得た複数フレームの画像信号から、画像中の動体を検出する動体検出処理と、
   前記動体検出処理で動体が存在すると検出された部分をマスクするマスク処理と、
   前記マスク処理でマスクされた部分以外の領域の画像に対して、揺らぎの除去を行う揺らぎ除去処理とを具備したことを特徴とする
   撮像信号処理方法。
5. 情報処理装置に実装して画像処理を行うプログラムにおいて、
   撮像して得た複数フレームの画像信号から、画像中の動体を検出する動体検出処理ステップと、
   前記動体検出処理で動体が存在すると検出された部分をマスクするマスク処理ステップと、
   前記マスク処理ステップでマスクされた部分以外の領域の画像に対して、揺らぎの除去を行う揺らぎ除去処理ステップとを有することを特徴とする
   プログラム。

Images