JPH09270002A - 物体強調手段 - Google Patents

Abstract

(57)【要約】 【課題】 本発明は画像中の物体の局所的な動きに起因
する画像の変動や照明などの変化に伴う画像の変動など
の影響を受けずに画像中の対象物体を強調することを目
的とする。 【解決手段】 マスク画像生成手段４が画像入力手段１
の入力する画像および画像差分手段３から入力する画像
の差分に基づいて画像中の物体の動きに起因する画像の
変動や照明などの変化に伴う画像の変動に対応する画像
を生成し、画像合成手段５がマスク画像生成手段４が生
成した画像と画像差分手段３が算出した画像の差とを用
いて新たな画像を合成することで、例えば動きのある物
体のみを画像中で強調することを実現できる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は画像情報あるいは画
像信号中において対象となる物体領域の情報あるいは信
号を強調する手段または装置またはシステムに関するも
のである。

【０００２】

【従来の技術】従来の画像中の物体強調の手法として
は、例えば「差分画像２値化方式」特開平６ー１７６１
４３号公報がある。以下、画像中から移動物体を強調す
る場合について従来例を説明する。図８（ａ）、（ｂ）
は連続する画像フレームを示している。ここで、画像中
の長方形の物体と三角形の物体は静止しており、円形の
物体は図８（ａ）、（ｂ）の両フレーム間で位置を変え
ている。両画像から移動物体を強調する場合、図１０
（ａ）に示すように図８（ａ）、（ｂ）の差分画像を求
める。次に、前記差分画像に対してしきい値処理（ある
値より差分画像を構成する画素の輝度値が小さい場合輝
度を０とし、その他の場合は輝度を１とする）を行う。
このとき、前記差分画像を構成する画素の輝度順の頻度
ヒストグラム図９を用いる。

【０００３】図９において、横軸は画像を構成する画素
の輝度値を表し、縦軸は画像中での画素の出現頻度を表
す。前記ヒストグラムにおいてヒストグラムの形状の曲
率が最大になる点Ｐでヒストグラムに接線を引き、前記
接線とヒストグラムの画素の輝度軸との交点の値をしき
い値とする。前記手続きにより画像を構成する画素の輝
度輝度の分布に応じてしきい値を決定する。前記しきい
値を用いて前記差分画像を２値化する。すなわち、前記
２値化によって１と判定された画素の集まりを移動物体
とする。

【０００４】

【発明が解決しようとする課題】しかしながら上記従来
の手法では、画像全体に対して同一のしきい値を用いて
２値化を行うため、抽出対象外の局所的な輝度値の変化
を誤って検出する場合がある。例えば、静止している物
体においても物体のエッジ近傍では画素の輝度が他の部
位に比して時間的に大きく変動する。よってしきい値処
理を行った場合でも、図１１（ａ）の長方形の物体のよ
うに静止している物体のエッジが検出される場合があ
る。同様に物体の表面を構成する素材によっては静止し
ている物体の輝度が時間的に大きくゆらぐ場合がある。
例えば、図８（ａ），（ｂ）の三角形の物体は静止して
いるが表面の輝度が時間的に大きく変化しているため、
画像の差分を求めても図１１（ａ）のように物体が検出
される。

【０００５】また、物体が静止している場合でもカメラ
がぶれた場合図８（ｃ）には、ぶれる前の画像フレーム
図８（ｂ）との差分画像が図１０（ｂ）のようになり物
体のエッジ付近が全体的に検出される。しかしながら、
前記物体のエッジや三角形の物体の面積の画像全体の面
積に占める割合が小さいため、画素の輝度値を用いたヒ
ストグラムなどのように画像全体の統計量を用いてその
存在の有無を検出することは困難である。また図１１
（ｂ）のように画像全体の２値化のしきい値を十分大き
く設定することで前記エッジ部分を除去することは可能
であるが、２値化のしきい値を大きく設定すると本来抽
出すべき対象が前記しきい値よりも低くなり、正確な対
象の抽出が困難になるという課題を有していた。

【０００６】本発明は上記従来の課題を鑑み、画像情報
あるいは画像信号中においてノイズの影響を抑えて対象
となる物体領域の情報あるいは信号を強調する手段を提
供することを目的とする。

【０００７】

【課題を解決するための手段】本発明は画像を入力する
画像入力手段と、画像を記憶する画像記憶手段と、前記
画像入力手段から入力した画像と前記画像記憶手段に記
憶する画像との差を検出する画像差分手段と、前記画像
入力手段から入力した画像およびまたは前記画像差分手
段が検出した画像の差に基づいて新たな画像を生成する
マスク画像生成手段と、前記マスク画像生成手段が生成
したマスク画像と前記画像差分手段が出力する画像の差
とを合成して新たな画像を生成する画像合成手段とを備
える物体強調手段である。

【０００８】

【発明の実施形態】以下、本発明の実施例について図面
を参照して説明する。図１は本発明の一実施例のブロッ
ク図を示すものである。図１において１は画像入力手
段、２は画像記憶手段、３は画像差分手段、４はマスク
画像生成手段、４ａは統計量算出手段、４ｂはエッジ抽
出手段、４ｃはマスク合成手段、５は画像合成手段、６
は変化量算出手段である。

【０００９】画像入力手段１はカメラあるいは画像伝送
路などから時間的に継続する画像を入力する。ここで前
記画像入力手段で入力した画像として連続する動画像フ
レーム図２（ａ），（ｂ）から移動物体領域を強調する
場合について本発明の動作を説明する。画像入力手段１
が図２（ｂ）の画像を入力したとき、画像記憶手段２は
１フレーム前の図２（ａ）の画像を記憶している。画像
差分手段３は画像入力手段１が入力した図２（ａ）の画
像と画像記憶手段２が記憶する図２（ｂ）の画像との画
素毎の輝度差を求め図３（ａ）の差分画像を生成する。

【００１０】マスク画像生成手段４では画像入力手段１
に入力した画像と画像差分手段３が算出した過去の差分
画像を用いて新たな画像を合成する。統計量算出手段４
ａは過去の画像差分手段３の出力する差分画像の時間的
変動の分散を画素毎に算出する。ここでは移動物体（図
２の円形の物体）が画像に存在しない時に統計量を算出
しておく。

【００１１】図５に統計量算出手段４ａが算出した画素
毎の輝度の分散値の例を示す。図５において分散の大き
い画素を黒で表している。図５において長方形の物体の
エッジ部分および三角形の物体の表面においては時間的
に輝度が大きく変動していることを示している。上記の
例では統計量としては分散を用いているが、他に最大値
と最小値との差や最大値と平均値との差等を用いても良
い。また、画素単位で統計量を算出するかわりに、隣接
する複数の画素を単位として算出しても良い。統計量を
逐次更新することも可能であり、画像の変化が小さいこ
とを変化量算出手段６が判断した場合に更新を行う。

【００１２】エッジ抽出手段４ｂは画像入力手段１で入
力した画像のエッジを抽出する。エッジ抽出はガウスラ
プラシアンフィルタやソーベルオペレータ、ガボールフ
ィルターなどを用いたフィルタリング手法などで行うこ
とができる。図４（ａ）に入力画像からエッジを抽出し
た例を示す。マスク合成手段４ｃは統計量算出手段４ａ
が算出した統計量とエッジ抽出手段４ｂが算出した画像
のエッジを用いて新たな画像を合成する。図６（ａ）に
マスク合成手段４ｃが合成する合成画像の例を示す。合
成する画像の画素の輝度値は、エッジ抽出手段４ｂが算
出したエッジ画像図４（ａ）と統計量算出手段４ａが算
出した分散値図５との対応する位置の輝度値どうしを重
み付けして加算して求める。加算以外に乗算や条件付の
演算や論理演算などを用いても良い。

【００１３】画像合成手段５は、画像差分手段３が出力
する差分画像とマスク合成手段４ｃが出力する画像とを
合成して新たな画像を合成する。図７（ａ）に合成した
画像の一例を示す。合成する画像の画素の輝度値は、画
像差分手段３が算出した図３（ａ）の差分画像とマスク
合成手段４ｃが算出した図６（ａ）に示す画像との対応
する位置の輝度値どうしを重み付けして減算して求め
る。減算以外に除算や条件付の演算や論理演算などを用
いても良い。図７（ａ）において移動している円形の物
体は検出されているが、静止している長方形と三角形の
物体は全て除去されており、動体のみを強調することが
できている。

【００１４】変化量算出手段６は画像合成手段５が出力
する合成画像を入力し、画像入力手段１で入力する画像
の変化量を定量化する。例えば、変化量算出手段６は画
像合成手段５が出力する合成画像の輝度値の総和を計算
する。ある基準値を超える輝度値を有するものについて
のみ総和を計算しても良い。前記画素値の総和がある基
準以下である場合は変化量算出手段６は画像の変化が小
さいと判断し、統計量算出手段４ａが統計量の更新を行
う。画像合成手段５の出力のかわりに画像差分手段３の
出力を変化量算出手段６への入力として同様な処理を行
ってもよい。

【００１５】次に、画像入力手段１が図２（ｃ）に示す
次の画像フレームを入力した場合を説明する。図２
（ｂ）の画像と図２（ｃ）の画像との間では全ての物体
が相対的位置関係を維持した状態で位置を少し変えてい
る。これは物体が全て静止した状態でカメラがブレた状
態に相当する。ここで画像記憶手段２は図２（ｂ）に示
すように１画像フレーム前の画像を記憶している。この
とき画像差分手段３の出力する差分画像は図３（ｂ）の
ようになる。図３（ｂ）において各物体のエッジ付近及
び三角形の物体が強く表れている。統計量算出手段４ａ
の出力する分散値は統計量の更新を行っていないので１
画像フレーム前の状態と同じく図５である。エッジ抽出
手段４ｂの出力するエッジ画像は図４（ｂ）となり、マ
スク合成手段４ｃの出力する合成画像は図６（ｂ）とな
る。画像合成手段５は図３（ｂ）の差分画像と図６
（ｂ）の合成画像の重み付きで差を計算し、図７（ｂ）
の合成画像を出力する。図３（ｂ）の差分画像において
画像のブレによって生じる物体のエッジ付近のノイズが
図７（ｂ）では移動と見なされずに強調されていない。

【００１６】また、エッジ抽出手段４ｂにおいて、エッ
ジ抽出を複数の解像度で行ってもよい。これは異なる空
間周波数特性を有する複数のガウスラプラシアン等のフ
ィルターを用いることに相当する。図４（ｃ）に低い空
間周波数特性を有するガウスラプラシアンフィルターで
図２（ｂ）のエッジを求めた例を示す。図４（ｃ）では
図４（ａ）に比してエッジ部分がより広い範囲に広がっ
ている。このように低い空間周波数のフィルターを用い
ることでより大きな動きやブレの影響などを除去するこ
とが可能となる。

【００１７】複数の空間周波数でエッジ抽出手段４ｂが
エッジ抽出を行い、マスク合成手段４ｃが前記複数の空
間周波数のエッジを周波数毎に統計量算出手段４ａの出
力と合成して、複数の合成画像を出力し、画像合成手段
５が前記複数の合成画像毎に画像差分手段３が出力する
差分画像との合成画像を生成することもできる。この場
合、画像入力手段１が入力する画像内の変化の大きさに
応じて画像の領域を選択的に強調することができる。例
えば、エッジ抽出手段４ｂが高・中・低の３種類の空間
周波数に対応するエッジを抽出できる場合、画像差分手
段３が出力する差分画像中で低い空間周波数成分を持つ
エッジの領域中に含まれかつ高い空間周波数成分を持つ
エッジの領域中に含まれない領域のみを画像合成手段５
が強調することで、動きが中程度の領域のみを抽出する
ことが可能である。

【００１８】このように、マスク画像生成手段４が画像
入力手段１の入力する画像および画像差分手段３から入
力する画像の差分に基づいて画像中の物体の動きに起因
する画像の変動や照明などの変化に伴う画像の変動に対
応する画像を生成し、画像合成手段５がマスク画像生成
手段４が生成した画像と画像差分手段３が算出した画像
の差とを用いて画像を合成することで、例えば動きのあ
る物体のみを画像中で強調することが可能となる。

【００１９】なお、上記実施例では画素毎の輝度の値を
計算に用いたが、輝度の代わりに色の情報や他の画素情
報を用いて同様な画像強調を行ってもよい。色を用いる
場合には各画素毎の色をベクトル表現し、ベクトル間の
演算を用いて上記実施例と同様な画像強調が可能とな
る。また、上記実施例では画像記憶手段２が１フレーム
前の入力画像を記憶していたが、背景画像の平均値など
を記憶しても良く、この場合、背景に存在しない物体を
強調することが可能となる。

【００２０】本発明の実現手段としてはハードウェアを
用いても、メモリ・記録媒体などに記憶したコンピュー
タソフトウェアを用いて実現してもよい。

【００２１】

【発明の効果】以上のように本発明は、マスク画像生成
手段が入力した画像および画像差分手段から入力する画
像の差分に基づいて画像中の変動に対応する画像を生成
し、画像合成手段が前記マスク画像生成手段が生成した
画像と前記画像差分手段が算出した画像の差とを用いて
画像を合成することで、例えば動きのある物体や背景に
存在しない物体のみを画像中で強調することが可能とな
る。

【００２２】また、動きを検出する場合においては、検
出する動きの大きさに応じて選択的に強調することも可
能であり、ブレた画像などは強調しないようにすること
が可能である。

【図面の簡単な説明】

【図１】本発明の画像強調手段の一実施例の形態を示す
ブロック図

【図２】(a)〜(c)同画像強調手段において画像入力手段
が入力する画像の例を示す図

【図３】(a),(b) 同画像強調手段において画像差分手段
が算出する差分画像の例を示す図

【図４】(a)〜(d)同画像強調手段においてエッジ抽出手
段が算出するエッジの例を示す図

【図５】同画像強調手段において統計量算出手段が算出
する画素毎の分散の例を示す図

【図６】(a),(b)同画像強調手段においてマスク合成手
段が算出する合成画像の例を示す図

【図７】(a),(b)同画像強調手段において画像合成手段
が算出する合成画像の例を示す図

【図８】(a)〜(c)従来の画像強調手段での入力画像の例
を示す図

【図９】従来の画像強調手段におけるしきい値の決定法
を示す図

【図１０】(a),(b)従来の画像強調手段において連続す
る画像フレーム間の差分画像を示す図

【図１１】(a),(b)従来の画像強調手段において差分画
像にしきい値処理を施した結果の画像を示す図

【符号の説明】

１ 画像入力手段 ２ 画像記憶手段 ３ 画像差分手段 ４ マスク画像生成手段 ４ａ 統計量算出手段 ４ｂ エッジ抽出手段 ４ｃ マスク合成手段 ５ 画像合成手段 ６ 変化量算出手段

Claims (7)

【特許請求の範囲】
1. 【請求項１】画像を入力する画像入力手段と、画像を記
   憶する画像記憶手段と、前記画像入力手段から入力した
   画像と前記画像記憶手段に記憶する画像との差を検出す
   る画像差分手段と、前記画像入力手段から入力した画像
   およびまたは前記画像差分手段が検出した画像の差に基
   づいて新たな画像を生成するマスク画像生成手段と、前
   記マスク画像生成手段が生成したマスク画像と前記画像
   差分手段が出力する画像の差とを合成して新たな画像を
   生成する画像合成手段とを備えることを特徴とする物体
   強調手段。
2. 【請求項２】画像入力手段が、入力する画像中のエッジ
   を抽出するエッジ抽出手段を備えてマスク画像生成手段
   を構成し、前記マスク画像生成手段が前記エッジ抽出手
   段の抽出するエッジに基づいて画像を生成することを特
   徴とする請求項１記載の物体強調手段。
3. 【請求項３】エッジ抽出手段が、複数の異なる空間フィ
   ルタもしくは複数の異なる空間周波数特性を有する空間
   フィルタを用いてエッジ抽出を行うことを特徴とする請
   求項２記載の物体強調手段。
4. 【請求項４】画像差分手段が、検出する画像の差の時間
   変化の統計量を算出する統計量算出手段を備えてマスク
   画像生成手段を構成し、前記マスク画像生成手段が前記
   統計量算出手段の記憶する画像の差の統計量に基づいて
   画像を生成することを特徴とする請求項１〜３のいづれ
   かに記載の物体強調手段。
5. 【請求項５】統計量算出手段が、画像の差の時間変化を
   画素単位に算出することを特徴とする請求項４記載の物
   体強調手段。
6. 【請求項６】変化量評価手段を備え、画像合成手段の出
   力または画像差分手段の出力を用いて画像入力手段が入
   力する画像の時間的変化の量を前記変化量評価手段が評
   価し、前記評価結果に基づいて統計量算出手段が統計量
   の更新を行うか否かを切り替えることを特徴とする請求
   項４または５記載の物体強調手段。
7. 【請求項７】画像入力手段が、過去に入力した画像また
   は画像入力手段が過去に入力した画像の平均画像を画像
   記憶手段が記憶することを特徴とする請求項１〜６のい
   づれかに記載の物体強調手段。