JP4715366B2 - 複数画像合成方法及び複数画像合成装置 - Google Patents

Description

本発明は、同一の被写体を含み、時系列的（時間軸方向に連続的）に撮像された複数の画像の合成を行う複数画像合成方法及び複数画像合成装置に関するものである。

平滑化フィルタを施すことで信号に含まれるランダムノイズ成分が減衰することに着目し、動画を構成する各々の静止画像を時間軸方向に積算して、ＳＮ比を改善し、実質的に撮像感度を向上させる画像合成方法が従来から提供されている。またこの方法には、出力画像を画像合成処理の一方の入力画像とし、新規に取得した画像を他方の入力画像とし、両入力画像を平均処理する処理方法が効率的であるため用いられている。この方法は数学的には無限インパルス応答関数としてよく知られている処理方法である。この処理方法による高感度化手法を用いた映像信号処理装置が提供されている（例えば特許文献１）。

また、ビデオデッキやテレビモニタなどの動画を扱う映像機器においても、新旧のフレームの同一位置画素の信号（画素値）を平均してノイズ低減を実現する方法があり、単一フレームである一つの静止画像における二次元平滑化フィルタと組み合わせた「三次元デジタルノイズリダクション」として知られており、この三次元デジタルノイズリダクションを用いた映像信号処理装置が提供されている（例えば特許文献２）。

また更に露光量の異なる複数の画像を連続取得して、暗い部分の再現に適した画像と明るい部分の再現に適した画像とを組み合わせることで見掛け上のダイナミックレンジの拡大を実現する合成処理方法も従来からあり、この見掛け上のダイナミックレンジの拡大を実現する方法用いて画像合成を行う撮像画面合成装置が提供されている（例えば特許文献３）。
特許第２７８１９３６号公報（段落００８４，００８５） 特開２０００−１３６４３号公報（段落００４３，００４４） 特許第３１１０７９７号公報（段落００１９〜００２２）

ところで、上述の無限インパルス応答関数では、過去の情報が減衰しながらも残るので、この無限インパルス応答関数を用いる画像合成を特許文献１に開示されている映像信号処理装置のように行うと、画枠に対して動いている被写体には尾を引くような残像が発生する。このような例に限らず、時系列的に得られる複数の画像を用いて合成して新たな画像を生成する際には、被写体の動きにより何らかの不具合が生じるという課題があった。

また特許文献３に開示されている撮像画面合成装置では、画面全体を代表する一つの動きベクトルにより動きの補正を行っているので、異なる方向に移動する複数の被写体がある場合や、回転や拡大縮小などの変形を伴う場合に配置を補正しきれないという問題がある。また二つの画像を対照して動きベクトルを求める場合、動きベクトルを求める点を細かく増やしていくと、画像上の各画素の動きベクトルを求めることができるものの、処理時間の増大や局所的な精度低下という問題がある。

本発明は、上述の点に鑑みて為されたもので、その目的とするところは、時系列的に連続撮像された複数の画像を合成処理する際に、被写体の変化によって生じるぶれや残像などの不具合を避けることができる複数画像合成処理方法及び複数画像合成装置を提供することにある。

上述の目的を達成するために、請求項１の複数画像合成処理方法の発明では、時系列的に撮像された同一の被写体を含む複数の画像の間で、画素値の演算を行う画像合成処理により複数の静止画像が合成された画像である合成画像を得る複数画像合成方法であって、前記画像合成処理を伴う第一の動作状態にあるときに、撮像手段の撮像条件を制御する撮像条件制御手段と、前記被写体の変化を音声で捉える音声情報取得手段と、前記被写体の変化を被写体の動きとして捉える赤外線または超音波式の動体検知手段とのうち、前記音声情報取得手段を含む少なくとも１つからの入力に前記被写体の変化を示す情報が含まれていると、前記画像合成処理を伴わない第二の動作状態に移行することを特徴とする。

請求項１の複数画像合成処理方法の発明によれば、時系列的に連続撮像された複数の画像を用いて合成画像を生成する処理を、継続的に実施している最中に画像合成に不具合を生じるような被写体の変化を関する情報の変化があると、画像合成処理を行わない動作状態となるため、ぶれや残像などの不具合を避けることができる。

請求項２の複数画像合成処理方法の発明では、請求項１の発明において、前記音声情報取得手段からの入力において、前記被写体を撮像した動画像と同時に取得される音声信号の変化が所定値以上あると前記第二の動作状態に移行することを特徴とする。

請求項２の発明によれば、人からなる被写体の口が変化するような場合の不具合発生を回避できる。

請求項３の複数画像合成処理方法の発明では、請求項１又は２の発明において、前記撮影条件制御手段からの入力において、輝度と露出とアングルと色バランスとの少なくとも１つが変更されたことを示す情報が前記被写体の変化を示す情報であることを特徴とする。

請求項３の複数画像合成処理方法の発明によれば、撮像条件が変化して不具合が発生する場合について回避できる。

請求項４の複数画像合成処理方法の発明では、請求項１乃至３の何れかの発明において、前記動体検知手段からの入力において、動体を検知していることを示す検知信号が前記被写体の変化を示す情報であることを特徴とする。

請求項４の複数画像合成処理方法の発明によれば、被写体が移動するような場合の不具合発生を回避できる。

請求項５の複数画像合成装置の発明において、被写体を含む所定範囲を撮像する撮像手段と、出力画像を記憶する画像記憶手段と、新規に撮像された画像と前記画像記憶手段に記憶されている出力画像との画素値を演算して両画像の合成処理を行い複数の静止画像が合成された画像である合成画像を得る画像合成手段と、前記被写体の変化を音声で捉える音声情報取得手段から被写体の変化に関する情報を取得する変化情報取得手段と、該変化情報取得手段が取得した情報の変化の具合に応じて前記画像合成手段による画像合成処理を伴う第一の動作状態か、画像合成処理を伴わない第二の動作状態かを判断する処理方法判断手段とを備えていることを特徴とする。

請求項５の複数画像合成装置の発明によれば、時系列的に連続撮像された複数の画像を用いて合成画像を生成する処理を、継続的に実施している最中に画像合成に不具合を生じるような被写体の変化を関する情報の変化があると、画像合成処理を行わない動作状態となるため、ぶれや残像などの不具合を避けることができる。

本発明の複数画像合成方法及び複数画像合成装置は、時系列的に連続撮像された複数の画像を用いて合成画像を生成する処理を、継続的に実施している最中に画像合成に不具合を生じるような被写体の変化を関する情報の変化があると、画像合成処理を行わない動作状態となるため、ぶれや残像などの不具合を避けることができるという効果がある。

以下本発明を実施形態により説明する。
（実施形態１）
本実施形態の撮像装置は図１（ｂ）に示すように建築物の天井等に取り付けられ、被写体Ｍｎを含む所定撮影領域を時系列的に連続撮像する撮像手段１と、この撮像手段１で撮像された動画を取り込んで画像合成を行う画像合成処理部２とで構成され、画像合成処理部２からの出力画像を表示する画像表示手段３が接続される。

画像合成処理部２は、図１（ａ）に示すように出力画像を保存する画像記憶手段４と、画像記憶手段４で保存している保存画像と撮像手段１で得られる動画を構成する複数の静止画像の内最も最新の取得画像との画像合成を行う画像合成手段５と、撮像手段１の姿勢を制御する姿勢制御手段６と、撮像手段１の撮像条件を制御する撮像条件制御手段７と、姿勢制御手段６からの撮像手段１の姿勢情報と撮像条件制御手段７からの条件情報とから画像での動きベクトルに換算する画像動き換算手段８と、画像上の対象被写体領域を参照して動きベクトル測定点を設定し、取得画像と保存画像との間で動きベクトルを算出する画像動き算出手段９と、被写体の変化を被写体の動きとして捉える動体検知手段１０及び被写体の変化を音声で捉えるための音声情報取得手段１１からなる変化情報取得手段と、画像動き換算手段８、画像動き算出手段９、動体検知手段１０及び音声情報取得手段１１の出力に基づいて画像合成手段５での合成処理を行うか否かを判断する処理方法判断手段１２とで構成される。

ここで画像合成処理部２を構成する各手段は、マイクロコンピュータにおいてプログラムを実行することで実現される機能で構成しても良く、またハードウェア構成により個々に独立する形で構成しても良い。また画像合成処理部２は図１（ｂ）に示すように撮像手段１とは別体となっているが、撮像手段１と一体となって撮像装置を構成しても良い。更に画像表示手段３をも一体に組み込んで撮像装置を構成しても良い。

次に画像合成処理部２の各手段の動作について説明する。

まず画像動き算出手段９は、画像上から抽出した対象被写体領域に対して動きベクトル測定点を設定し、新たに撮像手段１から取得した取得画像と、画像記憶手段５に保存している保存画像との動きベクトルを算出する。図３は画像動き算出手段９において求められた動きベクトルの例を示しており、図３（ａ）は保存画像を、図４（ｂ）は取得画像を夫々示し、保存画像で抽出した対象被写体Ｍｎの画像上に複数の動きベクトル測定点を設定し、その動きベクトル測定点においてブロックマッチング法により複数の動きベクトルを測定する（図２（ｃ）において「→」で示す）。この測定結果は処理方法判断手段１２及び画像合成手段５へ出力される。尚取得画像と保存画像との間で個々の動きベクトルの差が小さい場合は画像に生じている動きが一様に近く、差が大きい場合は場所により動きが異なることを意味する。後者の場合は取得時刻の異なる画像の間で動体の陰になったり、陰から現れたりする部分があるので、画像合成を行えば不具合が生じることになる。

撮像手段１は図３に示すようにモータのような駆動手段（図示せず）が姿勢制御手段６により制御されることで、水平方向（パン）Ｈと垂直方向（チルト）Ｖの姿勢が制御されるが、画像動き換算手段８は姿勢制御手段６から撮像手段１の姿勢情報を取り込み、画像合成に使用される各画像の取得時の相対的な振れ角θを測定する。勿論撮像カメラの姿勢制御が為されない場合には姿勢情報として変位ゼロが採用される。

画像動き換算手段８は上述のように求めた振れ角θを、撮像条件制御手段７から得る撮像手段１の光学系の焦点距離ｌからなる条件情報を用いて動きベクトルに換算する。図４（ａ）、（ｂ）は換算例を示しており、この図では事象を判り易くするために、画像における中心からの座標をｘのみで表し、上述の振れ角θと、上述の焦点距離ｌとを用いて取得画像と保存画像との撮影時刻のずれによる結像面α上での像の移動量Δｘを、Δｘ＝［（ｌ^２＋ｘ^２）／ｌ]ｔａｎθと定義し、必要に応じて姿勢制御手段６からの歪曲情報も加えて動きベクトル分布を測定する。この測定結果は処理方法判断手段１２及び画像合成手段５へ出力される。

画像合成手段５は、画像動き算出手段９からの動きベクトルと、画像動き換算手段８からの動きベクトル分布とを動きベクトル候補として用いて保存画像に対する動き補正を行った上で、取得画像と保存画像との間で画像上同一座標の画素値をｍ：ｎの重み付け平均を求め、この平均した画素値による画像を合成画像として出力し、この出力した合成画像を画像記憶手段２に記憶させ、撮影手段１から取得する新たな画像と処理する際に新たな保存画像として用いる。この一連の処理は図５に示す無限長インパルス応答IIRフィルタとして示すことができ、このフィルタが平滑化フィルタとして作用してノイズの低減が図れる。ところで、時系列的に取得された個々の画像の、最新の合成画像における加算割合は図６に示すようになり、動く被写体では過去の情報が尾を引くように残るため、ぶれが生じる。尚図６中左端の棒グラフが新規に撮影した取得画像を、その右隣りから右方向に過去に遡る形で取得された画像のバーを示し、この画像のバーの長さが最新の合成画像、つまり保存画像における加算割合を示す。

動体検知手段１０は 図７（ａ）に示すように人からなる被写体Ｍｎが発する熱線（赤外線）や、超音波の反射波を用いて撮像手段１で取得する画像によらずして撮像手段１が向いている撮影範囲内で動く物体（被写体Ｍｎ）を検知するもので、検知信号を被写体Ｍｎの変化を示す信号として処理方法判断手段１２へ出力する。

マイクロフォン等からなる音声情報取得手段１１は、図７（ｂ）に示すように撮像手段１から画像を取得する時刻の前後に渡って撮像手段１の向いている方向の音声情報を取得するものであり、被写体Ｍｎの変化を検知する信号として音声情報を処理方法判断手段１２へ出力する。

処理方法判断手段１２は、画像合成手段５で取得画像と保存画像の画素値を加算して画像合成を行って合成画像を出力する第一の動作状態と、画像合成を行わず取得画像の画素値をそのまま用いた画像を出力する第二の動作状態との何れかを画像合成手段５に指示するための処理方法判断を行うもので、次のような機能が備わっている。

つまり動体検知手段１０から動体の検知信号が入力された場合には、被写体Ｍｎの移動による画像合成の不具合発生を防止するために画像合成を実施しないという判断を為し、その判断結果を画像合成手段５へ出力する機能と、音声情報取得手段１１から音声情報に人の声が含まれている場合には、撮影対象となっている被写体Ｍｎたる人が口を変形させて声を発している可能性があると判断して、被写体Ｍｎの変形による画像合成の不具合発生を防止するために画像合成を実施しないという判断を為し、その判断結果を画像合成手段５へ出力する機能と、画像動き算出手段７において求められた複数の動きベクトルにおいて次の何れかに当てはまる場合にも画像合成を実施しないという判断を為す機能とを備えている。

ここで複数の動きベクトルにおいて画像合成を実施しないと判断するのは次の何れか場合による。つまり測定された複数の動きベクトルの類似性が所定の条件より低い場合には図２（ｄ）で示すような陰の部分（腕や頭）Ｍｎ’での不具合発生が推定される場合と、複数の動きベクトルを代表する動きベクトルが所定の大きさを越え、ずれ量が大きすぎて合成の有効部分が小さくなってしまう場合と、複数の動きベクトルを代表する動きベクトルと画像動き換算手段８で求められた各動きベクトルの違いとが所定の大きさを越え、画像動き算出手段８において動きベクトルの算出を誤っている可能性が高いと推定される場合とである。尚上述の動作ベクトルの代表の求め方は、例えば求めた動きベクトルにおいて過半数以上等しい動きベクトルを代表値の動きベクトルとする。

而して本実施形態によれば、処理方法判断手段１２によって、被写体Ｍｎの変化により画像合成に不具合が発生する場合には画像合成を行わないと判断し、画像合成手段５での画像合成処理を行わず、取得画像の画素値をそのまま利用した画像を出力するので、ぶれや残像などの不具合を避けることができることになる。

また動体検知手段１０としては、熱線や超音波を利用するものに限定されるものではない、動体を検知できる手段であれば良く、例えば画像センサを用いることもできる。

また、露出、アングル、色バランスの変動などの撮像条件を、状態移行判断時の条件としもよい。また照明等の明るさの変化、つまり輝度変化を条件としても良い。

（実施形態２）
本実施形態の撮影装置は、図８（ａ）に示すように撮像手段１及び画像処理部２を可搬型の筐体１４に一体的に組み込んで構成されたもので、筐体１４を使用者Ｕが手に持って任意の方向に向けられる構成となっており、撮像手段１の姿勢を変化させる姿勢制御手段は有しないが、図８（ｂ）に示すように姿勢制御手段の代わりに、撮像手段１の変位測定手段１３が備えられている以外は図２にある実施形態１と同じである。変位測定手段１３は角速度センサ（図示せず）により合成に使用される画像の取得時点での光学系光軸の角度を測定するもので、必要であれば加速度センサを設け同じく相対位置を測定する。建造物や三脚などに固定されていて向きの変わらない撮像装置では変位測定手段１３は不要で、変位測定手段１３の出力に代わる情報として変位ゼロが採用される。

この変位情報の利用方法は実施形態１における姿勢制御手段６から出力される撮像手段１の変位情報と同じである。

尚その他の構成は実施形態１と同じであるので同じ構成要素に同じ符号を付して説明は省略する。

（ａ）は実施形態１の回路構成図、（ｂ）は実施形態１の使用例図である。 実施形態１の対象被写体領域の動きベクトル測定の説明図である。 実施形態１に用いる撮像手段の姿勢制御の説明図である。 実施形態１に用いる撮像手段の動きベクトル換算例の説明図である。 実施形態１の画像合成手段の処理動作に対応した無限長インパルス応答IIRフィルタの等価回路図である。 実施形態１における合成画像の保存画像と取得画像の加算割合の説明図である。 （ａ）は実施形態１における動体検知手段の動作説明図、（ｂ）は音声情報取得手段の動作説明図である。 （ａ）は実施形態２の使用例図、（ｂ）は実施形態３の回路構成図である。

符号の説明

１ 撮像カメラ
２ 画像合成処理部
３ 画像表示手段
４ 画像記憶手段
５ 画像合成手段
６ 姿勢制御手段
７ 撮像条件制御手段
８ 画像動き換算手段
９ 画像動き算出手段
１０ 動体検知手段
１１ 音声情報取得手段
１２ 処理方法判断手段
Ｍｎ 被写体

Claims (5)

1. 時系列的に撮像された同一の被写体を含む複数の画像の間で、画素値の演算を行う画像合成処理により複数の静止画像が合成された画像である合成画像を得る複数画像合成方法であって、前記画像合成処理を伴う第一の動作状態にあるときに、撮像手段の撮像条件を制御する撮像条件制御手段と、前記被写体の変化を音声で捉える音声情報取得手段と、前記被写体の変化を被写体の動きとして捉える赤外線または超音波式の動体検知手段とのうち、前記音声情報取得手段を含む少なくとも１つからの入力に前記被写体の変化を示す情報が含まれていると、前記画像合成処理を伴わない第二の動作状態に移行することを特徴とする複数画像合成方法。
2. 前記音声情報取得手段からの入力において、前記被写体を撮像した動画像と同時に取得される音声信号の変化が所定値以上あると前記第二の動作状態に移行することを特徴とする請求項１記載の複数画像合成方法。
3. 前記撮影条件制御手段からの入力において、輝度と露出とアングルと色バランスとの少なくとも１つが変更されたことを示す情報が前記被写体の変化を示す情報であることを特徴とする請求項１又は２記載の複数画像合成方法。
4. 前記動体検知手段からの入力において、動体を検知していることを示す検知信号が前記被写体の変化を示す情報であることを特徴とする請求項１乃至３の何れか記載の複数画像合成方法。
5. 被写体を含む所定範囲を撮像する撮像手段と、出力画像を記憶する画像記憶手段と、新規に撮像された画像と前記画像記憶手段に記憶されている出力画像との画素値を演算して両画像の合成処理を行い複数の静止画像が合成された画像である合成画像を得る画像合成手段と、前記被写体の変化を音声で捉える音声情報取得手段から被写体の変化に関する情報を取得する変化情報取得手段と、該変化情報取得手段が取得した情報の変化の具合に応じて前記画像合成手段による画像合成処理を伴う第一の動作状態か、画像合成処理を伴わない第二の動作状態かを判断する処理方法判断手段とを備えていることを特徴とする複数画像合成装置。

Images