JP5067174B2

JP5067174B2 - 動き検出装置

Info

Publication number: JP5067174B2
Application number: JP2008010118A
Authority: JP
Inventors: 正人伊澤
Original assignee: Panasonic Corp; Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Corp; Panasonic Holdings Corp
Priority date: 2008-01-21
Filing date: 2008-01-21
Publication date: 2012-11-07
Anticipated expiration: 2028-01-21
Also published as: JP2009169886A

Description

本発明は、交流電源による照明等に起因する周期的変化（以下、フリッカと称す）の影響を受けている撮像素子の出力から被写体の動きを適切に検出する装置に関する。

一般に、放送方式はその画面を形成するフレームあるいはフィールド周波数を商用電源周波数に合わせて設定される。例えば商用電源周波数が６０Ｈｚの地域で採用されているＮＴＳＣ方式はフィールド周波数がほぼ６０Ｈｚとなっており、また商用電源周波数が５０Ｈｚの地域で採用されているＰＡＬ方式はフィールド周波数が５０Ｈｚとなっている場合が多い。しかし、東日本地域のような一部の地域では商用電源の周波数（５０Ｈｚ）とフィールド周波数（６０Ｈｚ）が異なる場合もある。このような地域において、交流電源で点灯する一般的な蛍光灯は所定の周期で点滅を繰り返すため、入射光を撮像素子で電気信号に変換し、変換後の電気信号を読み出す際に、読み出す画素の位置により、特定の周期で明るい部分と暗い部分が生じる。電荷の蓄積時刻が異なるような撮像素子を用いる場合に、同一の画面内（フィールドもしくはフレーム内）においても、各画素の蓄積時間内に入射する光量の総和が異なるためである。このような現象がラインフリッカである。

図５を参照してこれを説明する。図５において、（ア）は撮像素子の出力を表し、破線がフリッカのない場合の出力で、実線はフリッカの影響を受けた出力を表している。（イ）は電源周波数５０Ｈｚを用いる蛍光灯の発光により受ける照度レベルを表している。

図５に示すように、５０Ｈｚの交流電源で点灯する一般的な蛍光灯は、５０Ｈｚを整流した１００Ｈｚで発光を繰り返すので同一画面内部においても１００Ｈｚの周期で明るい部分と暗い部分が生じる。例えばＮＴＳＣ方式では、水平走査（以下、ラインと記す）周波数は１５．７５ＫＨｚであるので１／１００ｓｅｃ＝１５７．５ライン毎に明暗を繰り返す。また、フレームの周期（１／６０ｓｅｃ）と照明の点滅周期（１／１００ｓｅｃ）との公倍数は１／２０ｓｅｃであるため、１／２０ｓｅｃ即ちほぼ３フレーム毎に同じ明暗のパターンとなる。このような現象がフリッカである。ただし、フリッカ周波数はライン周波数に対しては十分遅いため、ライン内でその影響の差異はなく図のように各ライン内では均一に影響が現れる。

このような環境下で行う一般的な動き検出方法について図６を参照してこれを説明する。図６において、（ア）は一般的な動き検出のブロック構成を表し、フレーム単位で時間を遅延する事が可能なフレームメモリ１００、入力信号を過去の信号との差分を取る引算器１１、差分出力を閾値と比較しレベル判別を行う比較器１８で構成される。（ア）〜（エ）について、（ア）は動き検出ブロックの動作説明図、（イ）は動き検出ブロックの入力波形、（ウ）は引算器１１のフレーム差分出力、（エ）は比較器１８の検出結果を表している。

図６（イ）〜（エ）に示すように、被写体の動きによって現れる前フレームに対する変化分は、引算器１１の出力に差分出力として現れる。これを比較器１８において、予め設定する閾値と比較し、これを超えるものを動きのある部分として動き検出結果とする方法が一般的である。

次に５０Ｈｚの交流電源の蛍光灯フリッカの影響下のＮＴＳＣ信号における動き検出方法について、図７を用いて説明する。図７において、（ア）は動き検出のブロック構成を表し、フレームメモリは３フレーム単位で時間を遅延する事が可能な３フレームメモリ１０となり、他は図６と同じである。

図７（イ）〜（エ）に示すように、フリッカの位相周期が３フレーム単位なので、被写体の動きを抽出するには３フレーム遅延した信号との比較を行うことで、フリッカの影響を排除できる。被写体の動きによって現れる変化分は引算器１１で差分出力として現れるので、これを比較器１８において、予め設定する閾値と比較し、これを超えるものを動きのある部分として動き検出結果とする。

ここでは３フレームとしているが、フリッカは３フレーム周期なので３の倍数フレームであれば同じ事が可能である。

また、６０Ｈｚの交流電源の蛍光灯フリッカの影響下のＰＡＬ信号における動き検出は、フリッカ位相周期が５フレーム単位となる為、同様に５の倍数フレーム前の信号との差分から検出可能となる。つまり、方式毎にフリッカ位相を同じくとするフレームとの差分から動き検出を行うことが可能となる。

上記のフリッカのような低周波ノイズの影響を軽減させて動きの検出感度を向上させる装置の提案は既にある。

例えば、特許文献１では、所定フレーム間隔で入力される複数の入力画像の加算平均処理によって参照画像を生成し、入力画像との差分結果を予め設定した閾値処理により動きを検出する画像処理装置が記載されている。

また、特許文献２では、入力画像に輪郭強調処理後、直前のフレームメモリとのフレーム差分を求め、フィルタリング処理後にブロック単位で閾値処理することで動き検出を行う動き検出方法が記載されており、ノイズとの分離のために、物体と背景のコントラストの低い場合、もしくは動き検出の結果のフィードバックにより、閾値処理の閾値を動的に変化させるものである。この場合の動的閾値制御は、ノイズ分離のために輪郭抽出前後、もしくは動き検出の前後で２種類の設定閾値の切換え制御を行う。
特開平９−５０５２５号公報特開２００３−１８９１２３号公報

しかしながら、上記の従来の構成では、机上でフリッカ位相を同じとするフレーム間で動き検出しようとしてもフリッカ残留成分が動き検出に悪影響を与える以下のような問題が発生し得る。

（問題点１）
蛍光灯発光強度を決める交流電源の整流特性がずれる場合にフリッカ残留成分となり、動き検出に悪影響を与えることとなる。

図８を参照してこれを説明する。図８は５０Ｈｚの交流電源の蛍光灯フリッカの影響下のＮＴＳＣ方式の信号において（ア）は入力信号、（イ）は蛍光灯の発光特性、（ウ）は３フレーム前のフレームとの差分出力を表す。

図８（イ）に示すように、蛍光灯内の交流電源の整流特性がばらつく場合に交互に電源波形に大小のレベル差を発生し、そのまま蛍光灯の発光強度差として現れる。３フレーム前と比べた場合、位相は同じだがレベルがちぐはぐになる為（ウ）の差分出力にフリッカ残留成分が現れてしまい、動き検出の閾値レベルはこの残留成分以上にする必要があり、蛍光灯性能に依存するようになる。６フレーム間で行えばこの問題は解消できるが、フレームメモリ数が増加してしまう。

（問題点２）
蛍光灯の発光周期を決める電源周波数がずれる場合にフリッカ残留成分となり、動き検出に悪影響を与えることとなる。

図９を参照してこれを説明する。図９は５０Ｈｚを超える交流電源の蛍光灯フリッカの影響下のＮＴＳＣ方式の信号において（ア）は入力信号、（イ）は蛍光灯の発光特性、（ウ）は３フレーム前のフレームとの差分出力を表す。

図９（イ）に示すように、電源周波数が５０Ｈｚ丁度から変化してしまうと３フレームとする位相周期がずれてしまうので、３フレーム前と比べた場合、フリッカ残留成分が（ウ）の差分出力に現れてしまい、動き検出の閾値レベルはこの残留成分以上にする必要があり、電源周波数にも依存するようになる。

６フレーム間で差分抽出する場合は、位相ズレの影響は２倍になるため、残留フリッカレベルもそれに比例する。

ちなみに商用電源周波数の出力管理精度は、±０．２〜±０．３Ｈｚである。

（問題点３）
上記の条件に加えて蛍光灯までの距離によっても受光する照度レベルが変わる為、フリッカ残留成分の変動要素になる。

図１０を参照してこれを説明する。図１０は５０Ｈｚを超える交流電源で、整流特性の良くない蛍光灯のフリッカを近距離で受けるＮＴＳＣ方式の信号において（ア）は入力信号、（イ）は蛍光灯の発光特性、（ウ）は３フレーム前のフレームとの差分出力を表す。

図１０（イ）に示すように、蛍光灯内の交流電源の整流特性のバラツキに加えて、電源周波数がずれ、且つ近距離で発光を受けるために明暗差の増大があるような場合の３フレーム前との差分は、位相はずれを起こし、且つ出力レベルのちぐはぐも拡大される為、（ウ）の差分出力にはフリッカ残留成分が大きく現れてしまい、検出用の閾値レベルはこの残留成分以上が必要条件になり、更に蛍光灯からの受光レベルにも依存するようになる。

本発明は、フリッカの影響下にあっても被写体の動きを適切に検出する装置を提供することを目的とする。

本発明の動き検出装置は、撮像素子と、撮像素子により生成されたフレームと、外部の照明により受けているフリッカの影響がフレームと同程度のフレームとの差分を算出する差分算出部と、差分算出部により算出された差分に基づいて被写体の動きを検出する動き検出部と、を備える。

本発明によれば、フリッカ影響下であっても撮像素子出力から被写体の動きを適切に検出することが可能である。

以下、本発明の実施の形態における動き検出装置について、図面を参照しながら説明する。

（実施の形態１）
図１は、本発明の実施の形態１における動き検出装置の構成例を示すブロック図である。

本実施の形態では、ＮＴＳＣ方式で駆動する撮像素子において、５０Ｈｚの交流電源で点灯する一般的な蛍光灯の影響を受けているものとする。図１に示すように、本実施の形態の動き検出装置は、３フレームメモリ１０、引算器１１、絶対値処理回路１２、最大レベル検出回路１３、レジスタ１４、引算器１５、静止判別回路１６、閾値制御回路１７、比較器１８を備えている。

３フレームメモリ１０は、入力信号をフリッカ位相周期分遅延するメモリで、ＮＴＳＣ方式で５０Ｈｚ交流電源によるフリッカ周期は３フレームなので、メモリ容量は３フレーム分とする。

引算器１１は、現フレームと３フレーム前の信号とのフレーム差分を抽出する。

絶対値処理回路１２は、正負成分を持つ差分出力を絶対値化して、一方向の信号成分とする。

最大レベル検出回路１３は、１垂直同期期間である１フレーム内で、絶対値処理回路１２の出力の最大レベルを検出し、毎フレーム更新する。

レジスタ１４は、後述の静止判別回路１６で出力レベルが安定していると判断した場合のみ、最大レベル検出回路１３の差分出力を保持する。

引算器１５は、現差分出力の最大レベルとレジスタ１４で保持する過去の最大レベルとの差分を抽出する。

静止判別回路１６は、差分出力の最大レベルの変化が予め設定された範囲内にあるか否かで静止状態の判別を行う。

閾値制御回路１７は、初期閾値と、レジスタ１４で保持する過去の最大レベルと、静止判別結果から現フレームの適応型閾値を生成する。

比較器１８は、現状のフレーム差分レベルと閾値とを比較し、動き検出結果を出力する。

以下、本実施の形態における動き検出装置の動作について図２のフローチャートを基に説明する。

イメージセンサーなどの撮像手段からの入力信号は、図１に示す動き検出装置に入力されると、３フレームメモリ１０と引算器１１に入力される。３フレームメモリ１０では現入力信号に対してフリッカ位相を同じとするフリッカ位相周期分遅延した信号を引算器１１へ出力し、引算器１１で現入力信号とフレーム差分を求める（ステップＳ２０１）。

そのフレーム差分は、零値を中心に正負の信号成分となる為、絶対値処理回路１２で負成分の信号を反転し、正方向の信号とするよう絶対値処理を行う（ステップＳ２０２）。

その絶対値化した信号は最大レベル検出回路１３でフレーム毎に差分出力の最大値を検出し、次フレームで差分出力の最大レベルとして用いる（ステップＳ２０３）。

その最大レベルの変化が小さくて安定していると静止判別回路１６が判別した場合に、その最大差分レベルをレジスタ１４に保持する。その過去の最大レベルは動きの有無を判別する参照レベルとして、引算器１５で現状の差分出力の最大レベルと差分を取る。差分結果が予め設定した範囲内にあれば静止判別回路１６は大きな変化がないことから静止状態と判別する（ステップＳ２０４でＹｅｓの場合）。

閾値制御回路１７は静止状態と判断されれば前フレームの最大差分レベルに従って、予め設定した比率を初期設定閾値に加算したものを現フレームの動き検出閾値として生成する（ステップＳ２０５）。

予め設定した比率は、例えば、差分レベルが大きい場合はその１／２レベルを、中レベルであればその１／３レベルを、小さなレベルしかない場合は加算しないよう適応的にレベル判断して加算値を設定して固定ノイズ適応型の閾値を生成する。

なお、この閾値に加算するレベルの比率は一例であり、レベルの比率は、差分レベルが大きいほど、より大きな加算値となるように設定すれば他の比率でも良い。

比較器１８は絶対値処理化された現フレーム差分信号をその適応型閾値と比較して、被写体の動きを検出するものである（ステップＳ２０６）。

図３、４を参照してこれを説明する。

図３は５０Ｈｚを超える交流電源で、整流特性の良くない蛍光灯のフリッカを近距離で受けるＮＴＳＣ方式の信号において（ア）は４フレーム目に動きのある入力信号、（イ）は蛍光灯の発光特性、（ウ）は３フレーム前のフレームとの差分出力波形で、一点鎖線は初期閾値、２点鎖線は差分出力の安定した最大値レベル、破線は生成される適応型閾値レベルを示す。（エ）は動き検出結果を表す。

図３（ア）、（イ）に示すように、蛍光灯内の交流電源の整流特性のバラツキに加えて、電源周波数がずれ、且つ近距離で発光を受けるために明暗差の増大があるような場合、３フレームとする位相周期もずれてしまい、３フレーム前と比べた場合、位相は合わず、且つ出力レベルのちぐはぐも拡大される為、（ウ）の差分出力には初期閾値を大きく超過するようなフリッカ残留成分が常時現れてしまう。そこで最大差分レベルが大きく出ているのでそのレベルの１／２を初期閾値に加えた値を適応型閾値とすることで、この閾値を超過する部分のみを検出することで被写体の動き成分の検出が可能となる。

図４は５０Ｈｚを超える交流電源の蛍光灯フリッカを通常距離で受けるＮＴＳＣ方式の信号において（ア）は同じく４フレーム目に動きのある入力信号、（イ）は蛍光灯の発光特性、（ウ）は３フレーム前のフレームとの差分出力波形で、２点鎖線は差分出力の安定した最大値レベル、破線は同レベルにある初期閾値と適応型閾値レベルを示す。（エ）は動き検出結果を表す。

図４（ウ）の差分出力には初期閾値を下回るフリッカ残留成分しかないため、閾値へのレベル加算はせずに初期閾値を適応型閾値とする事で、ノイズに対して誤動作しないよう最低レベルを確保し、この適応型閾値を超過する部分のみを検出する事で被写体の動き成分の検出が可能となる。

以上のように本実施の形態によれば、蛍光灯のフリッカを受けている信号で被写体の動きを判別する場合、被写体に動きのない場合の残留フリッカ成分レベルを検出し、そのレベルに合わせて閾値を適応的に設定することで、蛍光灯の性能や電源周波数のずれ、蛍光灯からの受光距離に依存しない適切な動き検出を行う事が可能となる。

ここでは３フレームとしたが、ＮＴＳＣ方式の場合は６フレーム以上の３の倍数フレームで可能である。偶数フレームの遅延にする場合は、蛍光灯の整流特性のバラツキの問題による影響度は下げられるが、フレームメモリの増加は回路を複雑化し、電源周波数のずれに影響され易くなる。

また、ＰＡＬ方式の場合は５の倍数フレームの遅延とすることで同様の結果を得る事が可能である。

本発明は、蛍光灯のフリッカのような影響を受ける被写体の動き検出装置として撮像装置の分野において利用可能である。

実施の形態１におけるフリッカ影響下での動き検出装置のブロック図実施の形態１における動き検出装置の動作を表すフローチャート実施の形態１の効果を説明するための波形図実施の形態１の効果を説明するための波形図ＮＴＳＣ方式でのフリッカを説明するための波形図一般的な動き検出方法を説明するための説明図従来のフリッカ影響下での動き検出方法を説明するための説明図従来のフリッカ影響下での動き検出の問題点を説明するための説明図従来のフリッカ影響下での動き検出の問題点を説明するための説明図従来のフリッカ影響下での動き検出の問題点を説明するための説明図

符号の説明

１０３フレームメモリ
１１、１５引算器
１２絶対値処理回路
１３最大レベル検出回路
１４レジスタ
１６静止判別回路
１７閾値制御回路
１８比較器
１００フレームメモリ

Claims

画素単位で蓄積時刻の異なる撮像素子と、
前記撮像素子により生成されたフレームと、外部の照明により受けているフリッカの影響が前記フレームと同程度であるフレームとの差分を算出する差分算出部と、
前記差分算出部による差分出力の最大レベルが安定状態にあると判断したとき、前記差分算出部により算出された差分のうち、前記安定状態にあると判断した前記最大レベルが示す値よりも高い閾値を超える差分成分に基づいて被写体の動きを検出する動き検出部と、を備える、
動き検出装置。
前記差分算出部がフレーム間の差分値を算出するフレーム間隔は、
ＮＴＳＣ方式駆動の場合は３ｎ（ｎは自然数）フレーム毎とし、ＰＡＬ方式駆動の場合は５ｎ（ｎは自然数）フレーム毎にする、
請求項１に記載の動き検出装置。
前記動き検出部は、
前記差分算出部による差分出力の最大レベルが、予め設定された期間で、予め設定された範囲内にある場合に、前記差分算出部による差分出力の最大レベルを安定状態と判断する、
請求項１又は２に記載の動き検出装置。
請求項１から３に記載の動き検出装置を搭載した撮像装置。