WO2003001452A1

WO2003001452A1 - Dispositif et procede de traitement d'images, et imageur

Info

Publication number: WO2003001452A1
Application number: PCT/JP2002/006088
Authority: WO
Inventors: Tetsujiro Kondo; Junichi Ishibashi; Takashi Sawao; Takahiro Nagano; Naoki Fujiwara; Toru Miyake; Seiji Wada
Original assignee: Sony Corporation
Priority date: 2001-06-20
Filing date: 2002-06-19
Publication date: 2003-01-03
Also published as: CA2419670C; EP1408451B1; CN1471691A; EP1408451A1; CN1313974C; JP4596216B2; KR20030028577A; EP1408451A4; US7612909B2; KR100864338B1; US20040081335A1; CA2419670A1; JP2003006650A

Description

明細書

画像処理装置および方法、並びに撮像装置技術分野

本発明は、画像処理装置および方法、並びに撮像装置に関し、特に、センサにより検出した信号と現実世界との違いを考慮した画像処理装置およぴ方法、並びに撮像装置に関する。背景技術

現実世界における事象をセンサで検出し、画像センサが出力するサンプリングデータを処理する技術が広く利用されている。

例えば、静止している所定の背景の前で移動する物体をビデオカメラで撮像して得られる画像には、物体の移動速度が比較的速い場合、動きボケが生じることになる。

し力しながら、諍止している背景の前で物体が移動するとき、移動する物体の画像自身の混ざり合いによる動きボケのみならず、背景の画像と移動する物体の画像との混ざり合いが生じる。従来は、背景の画像と移動する物体の画像との混ざり合いの状態に対応する処理は、考えられていなかった。発明の開示

本発明はこのような状況に鑑みてなされたものであり、混ざり合いが生じている領域を検出することができるようにすることを目的とする。

本発明の画像処理装置は、画像データの各フレームを動き補償する動き捕償手段と、動き補償された各フレームの互いに対応する位置の画素データの差分に基づいて、混合領域を検出する領域検出手段とを含むことを特徴とする。

領域検出手段は、差分が閾値以上である場合、少なくとも画素データが属する混合領域を検出するようにすることができる。領域検出手段は、検出された混合領域の時間変化に基づいて、時間の変化とともに前景となるオブジェクトの成分が増加する力バードバックグラウンド領域と、時間の変化とともに背景となるオブジェクトの成分が増加するァンカバードバックダラゥンド領域とをさらに検出するようにすることができる。

領域検出手段は、各フレームの画素データに対応する動きベクトルに基づいて、時間の変化とともに前景となるオブジェクトの成分が増加するカバードバックグラウンド領域と、時間の変化とともに背景となるオブジェクトの成分が増加するァンカバードバックグラウンド領域とをさらに検出するようにすることができる画像処理装置は、動きべクトルを検出する動きべクトル検出手段をさらに設けることができる。

画像処理装置は、才ブジェクトの画素データにおける混合状態を示す混合比を算出する混合比算出手段をさらに設けることができる。

画像処理装置は、混合比を基に、混合領域の画素データから少なくとも前景となるオブジェクトの成分を分離する分離手段をさらに設けることができる。

画像処理装置は、分離された前景となるオブジェクトの成分の動きボケの量を調整する動きボケ調整手段をさらに設けることができる。

画像処理装置は、混合比を基に、所望の他のオブジェクトと分離された前景となるオブジェクトの成分とを合成する合成手段をさらに設けることができる。

動き捕償手段は、注目している注目フレームの複数のオブジェクトのうちの背景オブジェクトと、注目フレームの周辺の周辺フレームの背景オブジェクトとの画素位置が同位置となるように、周辺フレームをシフトすることにより動き捕償し、領域検出手段は、動き補償された周辺フレームと注目フレームとの差分に基づいて、少なくとも混合領域を検出するようにすることができる。

領域検出手段に、動き補償された周辺フレームと注目フレームとの対応する画素位置の画素データ同士の差分に基づいて、静動判定を行う静動判定手段をさらに設け、領域検出手段は、静動判定手段の判定結果に基づいて、画素位置に対して、複数のオブジェクトのうちの前景ォブジェクトを構成する前景オブジェクト成分のみからなる前景領域、背景オブジェクトを構成する背景オブジェクト成分のみからなる背景領域、または混合領域を検出するようにすることができる。領域検出手段は、静動判定手段の判定結果に基づいて、混合領域における前景オブジェクトの動き方向後端側に形成されるァンカバードバックグラウンド領域を特定すると共に、前景オブジェクトの動き方向先端側に形成されるカバードバックグラウンド領域を特定するようにすることができる。

本発明の画像処理方法は、画像データの各フレームを動き補償する動き補償ステツプと、動き捕償された各フレームの互いに対応する位置の画素データの差分に基づいて、混合領域を検出する領域検出ステップとを含むことを特徴とする。領域検出ステップは、差分が閾値以上である場合、少なくとも画素データが属する混合領域を検出するようにすることができる。

領域検出ステップは、検出された混合領域の時間変化に基づいて、時間の変化とともに前景となるオブジェクトの成分が増加するカバードバックグラウンド領域と、時間の変化とともに背景となるオブジェクトの成分が増加するアンカパードバックグラウンド領域とをさらに検出するようにすることができる。

領域検出ステップは、各フレームの画素データに対応する動きべクトルに基づいて、時間の変化とともに前景となるオブジェクトの成分が増加するカバードパックグラウンド領域と、時間の変化とともに背景となるオブジェクトの成分が増加するアンカバードバックグラウンド領域とをさらに検出するようにすることができる。

画像処理方法は、動きべクトルを検出する動きべクトル検出ステップをさらに設けることができる。

画像処理方法は、オブジェクトの画素データにおける混合状態を示す混合比を算出する混合比算出ステップをさらに設けることができる。

画像処理方法は、混合比を基に、混合領域の画素データから少なくとも前景となるオブジェクトの成分を分離する分離ステップをさらに設けることができる。画像処理方法は、分離された前景となるォブジェクトの成分の動きボケの量を調整する動きボケ調整ステップをさらに設けることができる。

画像処理方法は、混合比を基に、所望の他のオブジェクトと分離された前景となるオブジェクトの成分とを合成する合成ステップをさらに設けることができる _c 動き補償ステップは、注目している注目フレームの複数のオブジェクトのうちの背景オブジェクトと、注目フレームの周辺の周辺フレームの背景オブジェクトとの画素位置が同位置となるように、周辺フレームをシフトすることにより動き補償し、領域検出ステップは、動き補償された周辺フレームと注目フレームとの差分に基づいて、少なくとも混合領域を検出するようにすることができる。

領域検出ステップに、動き捕償された周辺フレームと注目フレームとの対応する画素位置の画素データ同士の差分に基づいて、静動判定を行う静動判定ステツプをさらに設け、領域検出ステップは、静動判定ステップの判定結果に基づいて、画素位置に対して、複数のオブジェクトのうちの前景ォブジェクトを構成する前景ォブジェクト成分のみからなる前景領域、背景オブジェクトを構成する背景ォプジクト成分のみからなる背景領域、または混合領域を検出するようにすることができる。

領域検出ステップは、静動判定ステップの判定結果に基づいて、混合領域における前景ォブジェクトの動き方向後端側に形成されるアンカバードバックグラウンド領域を特定すると共に、前景オブジェクトの動き方向先端側に形成される力バードバックグラウンド領域を特定するようにすることができる。

本発明の記録媒体のプログラムは、画像データの各フレームを動き補償する動き補償ステップと、動き補償された各フレームの互いに対応する位置の画素データの差分に基づいて、混合領域を検出する領域検出ステップとを含むことを特徴とする。

領域検出ステップは、差分が閾値以上である場合、少なくとも画素データが属する混合領域を検出するようにすることができる。

領域検出ステップは、検出された混合領域の時間変化に基づいて、時間の変化とともに前景となるオブジェクトの成分が増加するカバードバックグラウンド領域と、時間の変化とともに背景となるオブジェクトの成分が増加するアンカバードバックグラウンド領域とをさらに検出するようにすることができる。

領域検出ステップは、各フレームの画素データに対応する動きべクトルに基づいて、時間の変化とともに前景となるオブジェクトの成分が増加するカバードバックグラウンド領域と、時間の変化とともに背景となるオブジェクトの成分が增加するアンカバードバックグラウンド領域とをさらに検出するようにすることができる。

プログラムは、動きべクトルを検出する動きべクトル検出ステップをさらに設けることができる。

プログラムは、オブジェクトの画素データにおける混合状態を示す混合比を算出する混合比算出ステップをさらに設けることができる。

プログラムは、混合比を基に、混合領域の画素データから少なくとも前景となるォブジェクトの成分を分離する分離ステップをさらに設けることができる。

プログラムは、分離された前景となるオブジェクトの成分の動きボケの量を調整する動きボケ調整ステップをさらに設けることができる。

プログラムは、混合比を基に、所望の他のオブジェクトと分離された前景となるオブジェクトの成分とを合成する合成ステップをさらに設けることができる。動き捕償ステップは、注目している注目フレームの複数のオブジェクトのうちの背景ォブジェクトと、注目フレームの周辺の周辺フレームの背景ォブジェクトとの画素位置が同位置となるように、周辺フレームをシフトすることにより動き補償し、領域検出ステップは、動き補償された周辺フレームと注目フレームとの差分に基づいて、少なくとも混合領域を検出するようにすることができる。

領域検出ステップに、動き捕償された周辺フレームと注目フレームとの対応する画素位置の画素データ同士の差分に基づいて、静動判定を行う静動判定ステツプをさらに設け、領域検出ステップは、静動判定ステップの判定結果に基づいて. 画素位置に対して、複数のオブジェク卜のうちの前景オブジェクトを構成する前景ォブジェクト成分のみからなる前景領域、背景オブジェクトを構成する背景ォブジェクト成分のみからなる背景領域、または混合領域を検出するようにすることができる。

領域検出ステップは、静動判定ステップの判定結果に基づいて、混合領域における前景ォプジェクトの動き方向後端側に形成されるアンカバードパックグラウンド領域を特定すると共に、前景オブジェクトの動き方向先端側に形成される力バ一ドバックグラウンド領域を特定するようにすることができる。本発明のプログラムは、コンピュータに、画像データの各フレームを動き補償する動き補償ステップと、動き補償された各フレームの互いに対応する位置の画素データの差分に基づいて、混合領域を検出する領域検出ステップとを実行させることを特徴とする。

領域検出ステップは、検出された混合領域の時間変化に基づいて、時間の変化とともに前景となるオブジェクトの成分が増加する力バードバックグラウンド領域と、時間の変化とともに背景となるォブジェクトの成分が增加するアンカバードバックグラウンド領域とをさらに検出するようにすることができる。

領域検出ステップは、各フレームの画素データに対応する動きべクトルに基づいて、時間の変化とともに前景となるオブジェクトの成分が増加するカバードバックグラウンド領域と、時間の変化とともに背景となるオブジェクトの成分が增加するァンカバードバックグラウンド領域とをさらに検出するようにすることができる。

プログラムは、混合比を基に、混合領域の画素データから少なくとも前景となるオブジェクトの成分を分離する分離ステップをさらに設けることができる。プログラムは、分離された前景となるオブジェクトの成分の動きボケの量を調整する動きボケ調整ステップをさらに設けることができる。

プログラムは、混合比を基に、所望の他のオブジェクトと分離された前景となるオブジェクトの成分とを合成する合成ステップをさらに設けることができる。動き補償ステップは、注目している注目フレームの複数のオブジェクトのうちの背景ォブジェクトと、注目フレームの周辺の周辺フレームの背景オブジェクトとの画素位置が同位置となるように、周辺フレームをシフトすることにより動き補償し、領域検出ステップは、動き補償された周辺フレームと注目フレームとの差分に基づいて、少なくとも混合領域を検出するようにすることができる。

領域検出ステップに、動き補償された周辺フレームと注目フレームとの対応する画素位置の画素データ同士の差分に基づいて、静動判定を行う静動判定ステツプをさらに設け、領域検出ステップは、静動判定ステップの判定結果に基づいて、画素位置に対して、複数のオブジェクトのうちの前景オブジェクトを構成する前景オブジェクト成分のみからなる前景領域、背景オブジェクトを構成する背景ォブジェクト成分のみからなる背景領域、または混合領域を検出するようにすることができる。

領域検出ステップは、静動判定ステップの判定結果に基づいて、混合領域における前景オブジェクトの動き方向後端側に形成されるアンカバ一ドバックグラウンド領域を特定すると共に、前景オブジェクトの動き方向先端側に形成される力バードバックグラウンド領域を特定するようにすることができる。

本発明の撮像装置は、時間積分効果を有する所定数の画素を有する撮像素子によって撮像された被写体画像を、所定数の画素データからなる画像データとして出力する撮像手段と、画像データの各フレームを動き補償する動き捕償手段と、動き捕償された各フレームの互いに対応する位置の画素データの差分に基づいて、画像データから現実世界における複数のォブジェタトが混ざり合つて画素データとして取得された混合領域を検出する領域検出手段とを含むことを特徴とする。領域検出手段は、差分が閾値以上である場合、少なくとも画素データが属する混合領域を検出するようにすることができる。

領域検出手段は、検出された混合領域の時間変化に基づいて、時間の変化とともに前景となるオブジェクトの成分が増加するカバードバックグラウンド領域と. 時間の変化とともに背景となるオブジェクトの成分が増加するアンカバードパックグラウンド領域とをさらに検出するようにすることができる。

領域検出手段は、各フレームの画素データに対応する動きべクトルに基づいて. 時間の変化とともに前景となるオブジェクトの成分が増加するカバードバックグラウンド領域と、時間の変化とともに背景となるオブジェクトの成分が増加するアンカバードバックグラウンド領域とをさらに検出するようにすることができる _c 撮像装置は、動きべクトルを検出する動きべクトル検出手段をさらに設けることができる。

撮像装置は、才ブジェクトの画素データにおける混合状態を示す混合比を算出する混合比算出手段をさらに設けることができる。

撮像装置は、混合比を基に、混合領域の画素データから少なくとも前景となるオブジェクトの成分を分離する分離手段をさらに設けることができる。

撮像装置は、分離された前景となるオブジェクトの成分の動きボケの量を調整する動きボケ調整手段をさらに設けることができる。

撮像装置は、混合比を基に、所望の他のオブジェクトと分離された前景となるオブジェクトの成分とを合成する合成手段をさらに設けることができる。

動き補償手段は、注目している注目フレームの複数のオブジェクトのうちの背景ォブジェクトと、注目フレームの周辺の周辺フレームの背景オブジェクトとの画素位置が同位置となるように、周辺フレームをシフトすることにより動き補償し、領域検出手段は、動き補償された周辺フレームと注目フレームとの差分に基づいて、少なくとも混合領域を検出するようにすることができる。

領域検出手段に、動き補償された周辺フレームと注目フレームとの対応する画素位置の画素データ同士の差分に基づいて、静動判定を行う静動判定手段をさらに設け、領域検出手段は、静動判定手段の判定結果に基づいて、画素位置に対して、複数のオブジェクトのうちの前景オブジェクトを構成する前景オブジェクト成分のみからなる前景領域、背景オブジェクトを構成する背景ォブジェクト成分のみからなる背景領域、または混合領域を検出するようにすることができる。領域検出手段は、静動判定手段の判定結果に基づいて、混合領域における前景オブジェクトの動き方向後端側に形成されるアンカバードバックグラウンド領域を特定すると共に、前景オブジェクトの動き方向先端側に形成されるカバードバックグラウンド領域を特定するようにすることができる。

画像データの各フレームが動き補償され、動き補償された各フレームの互いに対応する位置の画素データの差分に基づいて、混合領域が検出される。

これにより、混ざり合いが生じている領域である混合領域を検出することができるようになる。図面の簡単な説明

図 1は、本発明に係る信号処理装置の一実施の形態を示す図である。

図 2は、信号処理装置を示すブロック図である。

図 3は、センサによる撮像を説明する図である。

図 4は、画素の配置を説明する図である。

図 5は、検出素子の動作を説明する図である。

図 6 Aは、動いている前景に対応するオブジェクトと、静止している背景に対応するオブジェクトとを撮像して得られる画像を説明する図である。

図 6 Bは、動いている前景に対応するオブジェクトと、静止している背景に対応するオブジェクトとを撮像して得られる画像に対応するモデルを説明する図である。

図 7は、背景領域、前景領域、混合領域、カバードバックグラウンド領域、およびアンカバードバックグラウンド領域を説明する図である。

図 8は、静止している前景に対応するオブジェクトおよび静止している背景に対応するォブジェクトを撮像した画像における、隣接して 1列に並んでいる画素の画素値を時間方向に展開したモデル図である。

図 9は、画素値を時間方向に展開し、シャツタ時間に対応する期間を分割したモデル図である。

図 1 0は、画素値を時間方向に展開し、シャツタ時間に対応する期間を分割したモデル図である。

図 1 1は、画素値を時間方向に展開し、シャツタ時間に対応する期間を分割したモデル図である。

図 1 2は、前景領域、背景領域、および混合領域の画素を抽出した例を示す図である。

図 1 3は、画素と画素値を時間方向に展開したモデルとの対応を示す図である, 図 1 4は、画素値を時間方向に展開し、シャツタ時間に対応する期間を分割したモデル図である。

図 1 5は、画素値を時間方向に展開し、シャツタ時間に対応する期間を分割したモデル図である。

図 1 6は、画素値を時間方向に展開し、シャツタ時間に対応する期間を分割したモデル図である。

図 1 7は、画素値を時間方向に展開し、シャツタ時間に対応する期間を分割したモデル図である。

図 1 8は、画素値を時間方向に展開し、シャツタ時間に対応する期間を分割したモデル図である。

'図 1 9は、動きボケの量の調整の処理を説明するフローチャートである。

図 2 0は、領域特定部 1 0 3の構成を示すブロック図である。 ' 図 2 1は、領域特定部 1 0 3のより詳細な構成を示すブロック図である。

図 2 2は、動き取得部 2 2 2の処理を説明する図である。

図 2 3は、前景に対応するオブジェクトが移動しているときの画像を説明する図である。

図 2 4は、画素値を時間方向に展開し、シャツタ時間に対応する期間を分割したモデル図である。

図 2 5は、画素値を時間方向に展開し、シャツタ時間に対応する期間を分割したモデル図である。

図 2 6は、画素値を時間方向に展開し、シャツタ時間に対応する期間を分割したモデル図である。

図 2 7は、領域判定の条件を説明する図である。

図 2 8 Aは、領域特定部 1 0 3の領域の特定の結果の例を示す図である。図 2 8 Bは、領域特定部 1 0 3の領域の特定の結果の例を示す図である。図 2 8 Cは、領域特定部 1 0 3の領域の特定の結果の例を示す図である。図 2 8 Dは、領域特定部 1 0 3の領域の特定の結果の例を示す図である。図 2 9は、領域特定部 1 0 3の領域の特定の結果の例を示す図である。

図 3 0は、領域特定の処理を説明するフローチャートである。

図 3 1は、領域特定の処理を説明するフローチャートである。

図 3 2は、領域特定部 1 0 3の他の構成を示すプロック図である。

図 3 3は、画素値を時間方向に展開し、シャツタ時間に対応する期間を分割したモデノレ図である。

図 3 4は、領域特定オブジェクトの例を示す図である。

図 3 5は、動き捕償された領域特定オブジェクトの例を示す図である。

図 3 6は、しきい値処理部 2 5 5の処理の例を説明する図である。

図 3 7は、時間変化検出部 2 5 6の構成を説明するプロック図である。

図 3 8は、時間変化検出部 2 5 6の判定の処理を説明する図である。

図 3 9は、時間変化検出部 2 5 6の判定の処理を説明する図である。

図 4 0は、混合領域の判定の条件を説明する図である。

図 4 1は、領域特定部 1 0 3の領域特定の処理を説明するフローチャートである。

図 4 2は、カバードバックグラウンド領域またはアンカバードバックグラウンド領域を検出する処理の詳細を説明するフローチャートである。図 4 3は、領域特定部 1 0 3のさらに他の構成を示すブロック図である。図 4 4は、識別部 2 8 1の判定の処理を説明する図である。

図 4 5は、カバードバックグラウンド領域またはァンカパードバックグラウンド領域を検出する処理の詳細を説明するフローチャートである。

図 4 6は、混合比算出部 1 0 4の構成の一例を示すブロック図である。

図 4 7は、理想的な混合比の例を示す図である。

図 4 8は、画素値を時間方向に展開し、シャッタ時間に対応する期間を分割したモデル図である。

図 4 9は、画素値を時間方向に展開し、シャツタ時間に対応する期間を分割したモデル図である。

図 5 0は、前景の成分の相関を利用した近似を説明する図である。

図 5 1は、 C, N、および Pの関係を説明する図である。

図 5 2は、推定混合比処理部 4 0 1の構成を示すプロック図である。

図 5 3は、推定混合比の例を示す図である。

図 5 4は、混合比算出部 1 0 4の他の構成を示すブロック図である。

図 5 5は、混合比の算出の処理を説明するフローチャートである。

図 5 6は、推定混合比の演算の処理を説明するフローチヤ一トである。

図 5 7は、混合比 αを近似する直線を説明する図である。

図 5 8は、混合比 θίを近似する平面を説明する図である。

図 5 9は、混合比 αを算出するときの複数のフレームの画素の対応を説明する図である。

図 6 0は、混合比推定処理部 4 0 1の他の構成を示すプロック図である。図 6 1は、推定混合比の例を示す図である。

図 6 2は、カバードバックグラウンド領域に対応するモデルによる混合比推定の処理を説明するフローチャートである。

図 6 3は、前景背景分離部 1 0 5の構成の一例を示すブロック図である。図 6 4 Αは、入力画像、前景成分画像、および背景成分画像を示す図である。図 6 4 Bは、入力画像、前景成分画像、および背景成分画像のモデルを示す図である。

図 6 5は、画素値を時間方向に展開し、シャツタ時間に対応する期間を分割したモデル図である。

図 6 6は、画素値を時間方向に展開し、シャツタ時間に対応する期間を分割したモデル図である。

図 6 7は、画素値を時間方向に展開し、シャツタ時間に対応する期間を分割したモデル図である。

図 6 8は、分離部 6 0 1の構成の一例を示すプロック図である。

図 6 9 Aは、分離された前景成分画像の例を示す図である。

図 6 9 Bは、分離された背景成分画像の例を示す図である。

図 7 0は、前景と背景との分離の処理を説明するフローチャートである。図 7 1は、動きボケ調整部 1 0 6の構成の一例を示すプロック図である。図 7 2は、処理単位を説明する図である。

図 7 3は、前景成分画像の画素値を時間方向に展開し、シャッタ時間に対応する期間を分割したモデル図である。

図 7 4は、前景成分画像の画素値を時間方向に展開し、シャツタ時間に対応する期間を分割したモデル図である。

図 7 5は、前景成分画像の画素値を時間方向に展開し、シャツタ時間に対応する期間を分割したモデル図である。

図 7 6は、前景成分画像の画素値を時間方向に展開し、シャツタ時間に対応する期間を分割したモデル図である。

図 7 7は、動きボケ調整部 1 0 6の他の構成を示す図である。

図 7 8は、動きボケ調整部 1 0 6による前景成分画像に含まれる動きボケの量の調整の処理を説明するフローチャートである。

図 7 9は、動きポケ調整部 1 0 6の構成の他の一例を示すブロック図である。図 8 0は、画素値と前景の成分のとの対応を指定するモデルの例を示す図である。

図 8 1は、前景の成分の算出を説明する図である。

図 8 2は、前景の成分の算出を説明する図である。

図 8 3は、前景の動きボケの除去の処理を説明するフローチャートである。

図 8 4は、信号処理装置の機能の他の構成を示すプロック図である。

図 8 5は、合成部 1 0 0 1の構成を示す図である。

図 8 6は、信号処理装置の機能のさらに他の構成を示すブロック図である。

図 8 7は、混合比算出部 1 1 0 1の構成を示すブロック図である。

図 8 8は、前景背景分離部 1 1 0 2の構成を示すプロック図である。

図 8 9は、信号処理装置の機能のさらに他の構成を示すブロック図である。

図 9 0は、合成部 1 2 0 1の構成を示す図である。発明を実施するための最良の形態

図 1は、本発明に係る信号処理装置の一実施の形態を示す図である。 CPU (Central Processing Unit) 2 1は、 ROM (Read Only Memory) 2 2、または記憶部 2 8に記憶されているプログラムに従って各種の処理を実行する。 RAM

(Random Access Memory) 2 3には、 CPU 2 1が実行するプログラムやデータなどが適宜記憶される。これらの CPU 2 1、 ROM 2 2 および RAM 2 3は、バス 2 4により相互に接続されている。

CPU 2 1にはまた、バス 2 4を介して入出力ィンタフェース 2 5が接続されている。入出力インタフェース 2 5には、キーボード、マウス、マイク口ホンなどよりなる入力部 2 6、ディスプレイ、スピーカなどよりなる出力部 2 7が接続されている。 CPU 2 1は、入力部 2 6から入力される指令に対応して各種の処理を実行する。そして、 CPU 2 1は、処理の結果得られた画像や音声等を出力部 2 7 に出力する。

入出力インタフェース 2 5に接続されている記憶部 2 8は、例えばハードディスクなどで構成され、 CPU 2 1が実行するプログラムや各種のデータを記憶する, 通信部 2 9は、インターネット、その他のネットワークを介して外部の装置と通信する。この例の場合、通信部 2 9はセンサの出力を取り込む取得部として働くまた、通信部 2 9を介してプログラムを取得し、記憶部 2 8に記憶してもよい入出力インタフェース 2 5に接続されているドライブ 3 0は、磁気ディスク 5 1、光ディスク 5 2、光磁気ディスク 5 3、或いは半導体メモリ 5 4などが装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記憶部 2 8に転送され、記憶される。

図 2は、信号処理装置を示すブロック図である。

なお、信号処理装置の各機能をハードウェアで実現するか、ソフトウェアで実現するかは問わない。つまり、本明細書の各ブロック図は、ハードウエアのプロック図と考えても、ソフトウエアによる機能プロック図と考えても良い。

この明細書では、撮像の対象となる、現実世界におけるォブジェクトに対応する画像を、画像オブジェクトと称する。

信号処理装置に供給された入力画像は、オブジェクト抽出部 1 0 1、領域特定部 1 0 3、混合比算出部 1 0 4、および前景背景分離部 1 0 5に供給される。オブジェクト抽出部 1 0 1は、入力画像に含まれる前景のオブジェクトに対応する画像オブジェクトを粗く抽出して、抽出した画像オブジェクトを動き検出部 1 0 2に供給する。オブジェクト抽出部 1 0 1は、例えば、入力画像に含まれる前景のオブジェクトに対応する画像オブジェクトの輪郭を検出することで、前景のオブジェクトに対応する画像オブジェクトを粗く抽出する。

オブジェクト抽出部 1 0 1は、入力画像に含まれる背景のオブジェクトに対応する画像オブジェクトを粗く抽出して、抽出した画像ォブジェクトを動き検出部

1 0 2に供給する。オブジェクト抽出部 1 0 1は、例えば、入力画像と、抽出された前景のオブジェクトに対応する画像オブジェクトとの差から、背景のォブジエタトに対応する画像オブジェクトを粗く抽出する。

また、例えば、オブジェクト抽出部 1 0 1は、内部に設けられている背景メモリに記憶されている背景の画像と、入力画像との差から、前景のオブジェクトに対応する画像ォブジェクト、および背景のオブジェクトに対応する画像オブジェクトを粗く抽出するようにしてもよい。

動き検出部 1 0 2は、例えば、プロックマッチング法、勾配法、位相相関法、およびペルリカーシブ法などの手法により、粗く抽出された前景のオブジェクトに対応する画像オブジェクトの動きべクトルを算出して、算出した動きべクトルおよび動きべクトルの位置情報（動きべクトルに対応する画素の位置を特定する情報）を領域特定部 1 0 3および動きボケ調整部 1 0 6に供給する。

動き検出部 1 0 2が出力する動きべクトルには、動き量 Vに対応する情報が含まれるている。

また、例えば、動き検出部 1 0 2は、画像オブジェクトに画素を特定する画素位置情報と共に、画像オブジェクト毎の動きべクトルを動きボケ調整部 1 0 6に出力するようにしてもよい。

動き量 Vは、動いているオブジェクトに対応する画像の位置の変化を画素間隔を単位として表す値である。例えば、前景に対応するオブジェクトの画像が、あるフレームを基準として次のフレームにおいて 4画素分離れた位置に表示されるように移動しているとき、前景に対応するオブジェクトの画像の動き量 V は、 4とされる。

なお、オブジェクト抽出部 1 0 1および動き検出部 1 0 2は、動いているォプジェクトに対応した動きボケ量の調整を行う場合に必要となる。

領域特定部 1 0 3は、入力された画像の画素のそれぞれを、前景領域、背景領域、または混合領域のいずれかに特定し、画素毎に前景領域、背景領域、または混合領域のいずれかに属するかを示す情報（以下、領域情報と称する）を混合比算出部 1 0 4、前景背景分離部 1 0 5、および動きボケ調整部 1 0 6に供給する c 混合比算出部 1 0 4は、入力画像、および領域特定部 1 0 3から供給された領域情報を基に、混合領域 6 3に含まれる画素に対応する混合比（以下、混合比 a と称する）を算出して、算出した混合比を前景背景分離部 1 0 5に供給する _c 混合比は、後述する式（3 ) に示されるように、画素値における、背景のオブジェクトに対応する画像の成分（以下、背景の成分とも称する）の割合を示す値である。

前景背景分離部 1 0 5は、領域特定部 1 0 3から供給された領域情報、および混合比算出部 1 0 4から供給された混合比 aを基に、前景のォブジェクトに対応する画像の成分（以下、前景の成分とも称する）のみから成る前景成分画像と背景の成分のみから成る背景成分画像とに入力画像を分離して、前景成分画像を動きボケ調整部 1 0 6および選択部 1 0 7に供給する。なお、分離された前景成分画像を最終的な出力とすることも考えられる。従来の混合領域を考慮しないで前景と背景だけを特定し、分離していた方式に比べ正確な前景と背景を得ることが出来る。

動きボケ調整部 1 0 6は、動きべクトルからわかる動き量 Vおよび領域情報を基に、前景成分画像に含まれる 1以上の画素を示す処理単位を決定する。処理単位は、動きボケの量の調整の処理の対象となる 1群の画素を指定するデータである。

動きボケ調整部 1 0 6は、信号処理装置に入力された動きボケ調整量、前景背景分離部 1 0 5から供給された前景成分画像、動き検出部 1 0 2から供給された動きべクトルおょぴその位置情報、並びに処理単位を基に、前景成分画像に含まれる動きボケを除去する、動きボケの量を減少させる、または動きボケの量を增加させるなど前景成分画像に含まれる動きボケの量を調整して、動きボケの量を調整した前景成分画像を選択部 1 0 7に出力する。動きべクトルとその位置情報は使わないこともある。

ここで、動きボケとは、撮像の対象となる、現実世界におけるオブジェクトの動きと、センサの撮像の特性とにより生じる、動いているオブジェクトに対応する画像に含まれている歪みをいう。

選択部 1 0 7は、例えば使用者の選択に対応した選択信号を基に、前景背景分離部 1 0 5から供給された前景成分画像、および動きボケ調整部 1 0 6から供給された動きボケの量が調整された前景成分画像のいずれか一方を選択して、選択した前景成分画像を出力する。

次に、図 3乃至図 1 8を参照して、信号処理装置に供給される入力画像について説明する。

図 3は、センサによる撮像を説明する図である。センサは、例えば、固体撮像素子である CCD (Charge-Coupled Device) エリアセンサを備えた CCDビデオ力メラなどで構成される。現実世界における、前景に対応するオブジェクト 1 1 1 は、現実世界における、背景に対応するォブジェクト 1 1 2と、センサとの間を、例えば、図中の左側から右側に水平に移動する。

センサは、前景に対応するォブジェクト 1 1 1を、背景に対応するォブジェクト 1 1 2と共に撮像する。センサは、撮像した画像を 1フレーム単位で出力する。例えば、センサは、 1秒間に 3 0フレームから成る画像を出力する。センサの露光時間は、 1 / 3 0秒とすることができる。露光時間は、センサが入力された光の電荷への変換を開始してから、入力された光の電荷への変換を終了するまでの期間である。以下、露光時間をシャツタ時間とも称する。

図 4は、画素の配置を説明する図である。図 4中において、 A乃至 Iは、個々の画素を示す。画素は、画像に対応する平面上に配置されている。 1つの画素に対応する 1つの検出素子は、センサ上に配置されている。センサが画像を撮像するとき、 1つの検出素子は、画像を構成する 1つの画素に対応する画素値を出力する。例えば、検出素子の X方向の位置は、画像上の横方向の位置に対応し、検出素子の Y方向の位置は、画像上の縦方向の位置に対応する。

図 5に示すように、例えば、 CCDである検出素子は、シャツタ時間に対応する期間、入力された光を電荷に変換して、変換された電荷を蓄積する。電荷の量は、入力された光の強さと、光が入力されている時間にほぼ比例する。検出素子は、シャツタ時間に対応する期間において、入力された光から変換された電荷を、既に蓄積されている電荷に加えていく。すなわち、検出素子は、シャツタ時間に対応する期間、入力される光を積分して、積分された光に対応する量の電荷を蓄積する。検出素子は、時間に対して、積分効果があるとも言える。

検出素子に蓄積された電荷は、図示せぬ回路により、電圧値に変換され、電圧値は更にデジタルデータなどの画素値に変換されて出力される。従って、センサから出力される個々の画素値は、前景または背景に対応するオブジェクトの空間的に広がりを有するある部分を、シャツタ時間について積分した結果である、 1 次元の空間に射影された値を有する。

信号処理装置は、このようなセンサの蓄積の動作により、出力信号に埋もれてしまった有意な情報、例えば、混合比ひを抽出する。信号処理装置は、前景の画像オブジェクト自身が混ざり合うことによる生ずる歪みの量、例えば、動きポケの量などを調整する。また、信号処理装置は、前景の画像オブジェクトと背景の画像オブジェタトとが混ざり合うことにより生ずる歪みの量を調整する。

図 6 Aおよび図 6 Bは、動いている前景に対応するオブジェクトと、静止している背景に対応するオブジェクトとを撮像して得られる画像を説明する図である, 図 6 Aは、動きを伴う前景に対応するオブジェクトと、静止している背景に対応するオブジェクトとを撮像して得られる画像を示している。図 6 Aに示す例において、前景に対応するオブジェクトは、画面に対して水平に左から右に動いている。

図 6 Bは、図 6 Aに示す画像の 1つのラインに対応する画素値を時間方向に展開したモデル図である。図 6 Bの横方向は、図 6 Aの空間方向 Xに対応している, 背景領域の画素は、背景の成分、すなわち、背景のオブジェクトに対応する画像の成分のみから、その画素値が構成されている。前景領域の画素は、前景の成分、すなわち、前景のオブジェクトに対応する画像の成分のみから、その画素値が構成されている。

混合領域の画素は、背景の成分、および前景の成分から、その画素値が構成されている。混合領域は、背景の成分、および前景の成分から、その画素値が構成されているので、歪み領域ともいえる。混合領域は、更に、カバードバックダラゥンド領域およびアンカバードバックグラウンド領域に分類される。カバードバックグラウンド領域は、前景領域に対して、前景のオブジェクトの進行方向の前端部に対応する位置の混合領域であり、時間の経過に対応して背景成分が前景に覆い隠される領域をいう。

これに対して、アンカバードバックグラウンド領域は、前景領域に対して、前景のオブジェクトの進行方向の後端部に対応する位置の混合領域であり、時間の経過に対応して背景成分が現れる領域をいう。

このように、前景領域、背景領域、またはカバードバックグラウンド領域若しくはァンカバードバックグラウンド領域を含む画像が、領域特定部 1 0 3、混合比算出部 1 0 4、および前景背景分離部 1 0 5に入力画像として入力される。図 7は、以上のような、背景領域、前景領域、混合領域、カバードパックダラゥンド領域、およびアンカバードパックグラウンド領域を説明する図である。図 6 Aに示す画像に対応する場合、背景領域は、静止部分であり、前景領域は、動き部分であり、混合領域の力パードバックグラウンド領域は、背景から前景に変化する部分であり、混合領域のアンカバードバックグラウンド領域は、前景から背景に変化する部分である。

図 8は、静止している前景に対応するォブジェクトおよび静止している背景に対応するォブジェクトを撮像した画像における、隣接して 1列に並んでいる画素の画素値を時間方向に展開したモデル図である。例えば、隣接して 1列に並んでいる画素として、画面の 1つのライン上に並んでいる画素を選択することができる。

図 8に示す F01乃至 F04の画素値は、静止している前景のオブジェクトに対応する画素の画素値である。図 8に示す B01乃至 B04の画素値は、静止している背景のオブジェクトに対応する画素の画素値である。

図 8における縦方向は、図中の上から下に向かって時間が経過する。図 8中の矩形の上辺の位置は、センサが入力された光の電荷への変換を開始する時刻に対応し、図 8中の矩形の下辺の位置は、センサが入力された光の電荷への変換を終了する時刻に対応する。すなわち、図 8中の矩形の上辺から下辺までの距離は、シャッタ時間に対応する。

以下において、シャッタ時間とフレーム間隔とが同一である場合を例に説明する。

図 8における横方向は、図 6 Aで説明した空間方向 Xに対応する。より具体的には、図 8に示す例において、図 8中の" F01 " と記載された矩形の左辺から" B04" と記載された矩形の右辺までの距離は、画素のピッチの 8倍、すなわち、連続している 8つの画素の間隔に対応する。

前景のォブジェクトおよび背景のオブジェクトが静止している場合、シャツタ時間に対応する期間において、センサに入力される光は変化しない。

ここで、シャツタ時間に対応する期間を 2つ以上の同じ長さの期間に分割する。例えば、仮想分割数を 4とすると、図 8に示すモデル図は、図 9に示すモデルとして表すことができる。仮想分割数は、前景に対応するオブジェクトのシャツタ時間内での動き量 Vなどに対応して設定される。例えば、 4である動き量に対応して、仮想分割数は、 4とされ、シャツタ時間に対応する期間は 4つに分割される。

図中の最も上の行は、シャツタが開いて最初の、分割された期間に対応する。図中の上から 2番目の行は、シャツタが開いて 2番目の、分割された期間に対応する。図中の上から 3番目の行は、シャツタが開いて 3番目の、分割された期間に対応する。図中の上から 4番目の行は、シャツタが開いて 4番目の、分割された期間に対応する。

以下、動き量 Vに対応して分割されたシャツタ時間をシャツタ時間/ Vとも称する。

前景に対応するォブジェクトが静止しているとき、センサに入力される光は変ィ匕しないので、前景の成分 FO l/vは、画素値 F01を仮想分割数で除した値に等しい。同様に、前景に対応するオブジェクトが静止しているとき、前景の成分

F02/v は、画素値 F02 を仮想分割数で除した値に等しく、前景の成分 F0³/v は、画素値 F03を仮想分割数で除した値に等しく、前景の成分 F04/vは、画素値 F04を仮想分割数で除した値に等しい。

背景に対応するォブジェクトが静止しているとき、センサに入力される光は変化しないので、背景の成分 BO l/vは、画素値 B01を仮想分割数で除した値に等しい。同様に、背景に対応するオブジェクトが静止しているとき、背景の成分 B02/vは、画素値 B02を仮想分割数で除した値に等しく、 B03/Vは、画素値 B03 を仮想分割数で除した値に等しく、 B04/Vは、画素値 B04を仮想分割数で除した値に等しい。

すなわち、前景に対応するオブジェクトが静止している場合、シャツタ時間に対応する期間において、センサに入力される前景のオブジェクトに対応する光が変化しないので、シャツタが開いて最初の、シャツタ時間/ Vに対応する前景の成分 FOl/vと、シャツタが開いて 2番目の、シャツタ時間/ Vに対応する前景の成分 FO l/vと、シャツタが開いて 3番目の、シャツタ時間/ Vに対応する前景の成分 FOl/vと、シャツタが開いて 4番目の、シャツタ時間/ Vに対応する前景の成分 FO l/vとは、同じ値となる。 F02/v乃至 F04/vも、 FO l/vと同様の関係を有する。

背景に対応するオブジェクトが静止している場合、シャツタ時間に対応する期間において、センサに入力される背景のオブジェクトに対応する光は変化しないので、シャツタが開いて最初の、シャツタ時間/ Vに対応する背景の成分 BOl/v と、シャツタが開いて 2番目の、シャツタ時間/ Vに対応する背景の成分 BO l/v と、シャツタが開いて 3番目の、シャツタ時間/ Vに対応する背景の成分 BOl/v と、シャツタが開いて 4番目の、シャツタ時間/ Vに対応する背景の成分 BO l/v とは、同じ値となる。 B02/V乃至 B04/Vも、同様の関係を有する。

次に、前景に対応するォブジェクトが移動し、背景に対応するォブジェクトが静止している場合について説明する。

図 1 0は、前景に対応するオブジェクトが図中の右側に向かって移動する場合の、カバードバックグラウンド領域を含む、 1つのライン上の画素の画素値を時間方向に展開したモデル図である。図 1 0において、前景の動き量 Vは、 4である。 1フレームは短い時間なので、前景に対応するオブジェクトが剛体であり等速で移動していると仮定することができる。図 1 0において、前景に対応するォブジェクトの画像は、あるフレームを基準として次のフレームにおいて 4画素分右側に表示されるように移動する。

図 1 0において、最も左側の画素乃至左から 4番目の画素は、前景領域に属する。図 1 0において、左から 5番目乃至左から 7番目の画素は、カバードバックグラウンド領域である混合領域に属する。図 1 0において、最も右側の画素は、背景領域に属する。

前景に対応するォブジェクトが時間の経過と共に背景に対応するオブジェクトを覆い隠すように移動しているので、カバードバックグラウンド領域に属する画素の画素値に含まれる成分は、シャツタ時間に対応する期間のある時点で、背景の成分から、前景の成分に替わる。

例えば、図 1 0中に太線枠を付した画素値 Mは、式（1 ) で表される。

M=B02/v+B02/v+F07/v+F06/v ( 1 )

例えば、左から 5番目の画素は、 1つのシャツタ時間/ Vに対応する背景の成分を含み、 3つのシャツタ時間/ Vに対応する前景の成分を含むので、左から 5 番目の画素の混合比は、 1/4である。左から 6番目の画素は、 2つのシャツタ時間 /vに対応する背景の成分を含み、 2つのシャツタ時間/ Vに対応する前景の成分を含むので、左から 6番目の画素の混合比は、 1/2である。左から 7 番目の画素は、 3つのシャツタ時間/ Vに対応する背景の成分を含み、 1つのシャッタ時間/ Vに対応する前景の成分を含むので、左から 7番目の画素の混合比は、 3/4である。

前景に対応するオブジェクトが、剛体であり、前景の画像が次のフレームにおいて 4画素右側に表示されるように等速で移動すると仮定できるので、例えば、図 1 0中の左から 4番目の画素の、シャツタが開いて最初の、シャツタ時間/ V の前景の成分 F07/vは、図 1 0中の左から 5番目の画素の、シャツタが開いて 2番目のシャツタ時間 /vに対応する前景の成分に等しい。同様に、前景の成分 F07/vは、図 1 0中の左から 6番目の画素の、シャツタが開いて 3番目のシャツタ時間 /vに対応する前景の成分と、図 1 0中の左から 7番目の画素の、シャツタが開いて 4番目のシャツタ時間 /vに対応する前景の成分とに、それぞれ等しい。

前景に.対応するオブジェクトが、剛体であり、前景の画像が次のフレームにおいて 4画素右側に表示されるように等速で移動すると仮定できるので、例えば、図 1 0中の左から 3番目の画素の、シャツタが開いて最初のシャツタ時間/ Vの前景の成分 F06/vは、図 1 0中の左から 4番目の画素の、シャツタが開いて 2 番目のシャツタ時間/ Vに対応する前景の成分に等しい。同様に、前景の成分 F06/vは、図 1 0中の左から 5番目の画素の、シャツタが開いて 3番目のシャツタ時間/ Vに対応する前景の成分と、図 1 0中の左から 6番目の画素の、シャツタが開いて 4番目のシャッタ時間/ Vに対応する前景の成分とに、それぞれ等しい。

前景に対応するオブジェクトが、剛体であり、前景の画像が次のフレームにおいて 4画素右側に表示されるように等速で移動すると仮定できるので、例えば、図 1 0中の左から 2番目の画素の、シャツタが開いて最初のシャツタ時間/ Vの前景の成分 F05/vは、図 1 0中の左から 3番目の画素の、シャツタが開いて 2 番目のシャツタ時間 /vのに対応する前景の成分に等しい。同様に、前景の成分 F05/vは、図 1 0中の左から 4番目の画素の、シャツタが開いて 3番目のシャツタ時間/ Vに対応する前景の成分と、図 1 0中の左から 5番目の画素の、シャツタが開いて 4番目のシャツタ時間/ Vに対応する前景の成分とに、それぞれ等しい。

前景に対応するオブジェクトが、剛体であり、前景の画像が次のフレームにおいて 4画素右側に表示されるように等速で移動すると仮定できるので、例えば、図 1 0中の最も左側の画素の、シャツタが開いて最初のシャツタ時間/ Vの前景の成分 F04/vは、図 1 0中の左から 2番目の画素の、シャツタが開いて 2番目のシャツタ時間/ Vに対応する前景の成分に等しい。同様に、前景の成分 F04/v は、図 1 0中の左から 3番目の画素の、シャツタが開いて 3番目のシャツタ時間 /vに対応する前景の成分と、図 1 0中の左から 4番目の画素の、シャツタが開いて 4番目のシャッタ時間/ Vに対応する前景の成分とに、それぞれ等しい。

動いているオブジェクトに対応する前景の領域は、このように動きボケを含むので、歪み領域とも言える。

図 1 1は、前景が図中の右側に向かって移動する場合の、アンカバードバックグラウンド領域を含む、 1つのライン上の画素の画素値を時間方向に展開したモデル図である。図 1 1において、前景の動き量 Vは、 4である。 1フレームは短い時間なので、前景に対応するオブジェクトが剛体であり、等速で移動していると仮定することができる。図 1 1において、前景に対応するオブジェクトの画像は、あるフレームを基準として次のフレームにおいて 4画素分右側に移動する ₍ 図 1 1において、最も左側の画素乃至左から 4番目の画素は、背景領域に属する。図 1 1において、左から 5番目乃至左から 7番目の画素は、アンカバードバックグラウンドである混合領域に属する。図 1 1において、最も右側の画素は、前景領域に属する。

背景に対応するォブジェクトを覆っていた前景に対応するオブジェクトが時間の経過と共に背景に対応するオブジェクトの前から取り除かれるように移動しているので、アンカバードバックグラウンド領域に属する画素の画素値に含まれる成分は、シャツタ時間に対応する期間のある時点で、前景の成分から、背景の成分に替わる。

例えば、図 1 1中に太線枠を付した画素値 M'は、式（2 ) で表される。

M， =F02/v+F01/v+B26/v+B26/v ( 2 )

例えば、左から 5番目の画素は、 3つのシャツタ時間/ Vに対応する背景の成分を含み、 1つのシャツタ時間/ Vに対応する前景の成分を含むので、左から 5 番目の画素の混合比びは、 3/4である。左から 6番目の画素は、 2つのシャツタ時間/ Vに対応する背景の成分を含み、 2つのシャツタ時間 /vに対応する前景の成分を含むので、左から 6番目の画素の混合比は、 1/2である。左から 7 番目の画素は、 1つのシャツタ時間/ Vに対応する背景の成分を含み、 3つのシャッタ時間/ Vに対応する前景の成分を含むので、左から 7番目の画素の混合比 aは、 1/4である。

式（1 ) および式（2 ) をより一般化すると、画素値 Mは、式（3 ) で表される。

M= a -B +∑Fi/v (3)

i

ここで、は、混合比である。 Bは、背景の画素値であり、 Fi/vは、前景の成分である。

前景に対応するオブジェクトが剛体であり、等速で動くと仮定でき、かつ、動き量 Vが 4であるので、例えば、図 1 1中の左から 5番目の画素の、シャツタが開いて最初の、シャツタ時間/ Vの前景の成分 FOl/vは、図 1 1中の左から 6 番目の画素の、シャツタが開いて 2番目のシャツタ時間/ Vに対応する前景の成分に等しい。同様に、 FO l/vは、図 1 1中の左から 7番目の画素の、シャツタが開いて 3番目のシャツタ時間/ Vに対応する前景の成分と、図 1 1中の左から 8 番目の画素の、シャツタが開いて 4番目のシャツタ時間/ Vに対応する前景の成分とに、それぞれ等しい。

前景に対応するオブジェクトが剛体であり、等速で動くと仮定でき、かつ、仮想分割数が 4であるので、例えば、図 1 1中の左から 6番目の画素の、シャツタが開いて最初の、シャツタ時間/ Vの前景の成分 F02/vは、図 1 1中の左から 7 番目の画素の、シャツタが開いて 2番目のシャツタ時間/ Vに対応する前景の成分に等しい。同様に、前景の成分 F02/v は、図 1 1中の左から 8番目の画素の. シャツタが開いて 3番目のシャツタ時間 / に対応する前景の成分に等しい。

前景に対応するオブジェクトが剛体であり、等速で動くと仮定でき、かつ、動き量 Vが 4であるので、例えば、図 1 1中の左から 7番目の画素の、シャツタが開いて最初の、シャツタ時間/ Vの前景の成分 F03/vは、図 1 1中の左から 8 番目の画素の、シャッタが開いて 2番目のシャッタ時間 /vに対応する前景の成分に等しい。図 9乃至図 1 1の説明において、仮想分割数は、 4であるとして説明したが、仮想分割数は、動き量 Vに対応する。動き量 Vは、一般に、前景に対応するォブジェクトの移動速度に対応する。例えば、前景に対応するオブジェクトが、あるフレームを基準として次のフレームにおいて 4画素分右側に表示されるように移動しているとき、動き量 Vは、 4とされる。動き量 Vに対応し、仮想分割数は、 4とされる。同様に、例えば、前景に対応するオブジェクトが、あるフレームを基準として次のフレームにおいて 6画素分左側に表示されるように移動しているとき、動き量 Vは、 6とされ、仮想分割数は、 6とされる。

図 1 2およぴ図 1 3に、以上で説明した、前景領域、背景領域、カバードバックグラウンド領域若しくはアンカパードバックグラウンド領域から成る混合領域と、分割されたシャツタ時間に対応する前景の成分および背景の成分との関係を示す。

図 1 2は、静止している背景の前を移動しているオブジェクトに対応する前景を含む画像から、前景領域、背景領域、および混合領域の画素を抽出した例を示す。図 1 2において Aで例を示す、前景に対応するォブジェクトは、画面に対して水平に移動している。

フレーム #_n+lは、フレーム #ιιの次のフレームであり、フレーム #n+2は、フレ —ム #n+ lの次のフレームである。

フレーム乃至フレーム #n+2 のいずれかから抽出した、前景領域、背景領域、および混合領域の画素を抽出して、動き量 Vを 4として、抽出された画素の画素値を時間方向に展開したモデ^/を図 1 3に示す。

前景領域の画素値は、前景に対応するオブジェクトが移動するので、シャツタ時間/ Vの期間に対応する、 4つの異なる前景の成分から構成される。例えば、図 1 3に示す前景領域の画素のうち最も左側に位置する画素は、

F01/v, F02/v, F03/v、および F04/vから構成される。すなわち、前景領域の画素は、動きボケを含んでいる。

背景に対応するォブジェクトが静止しているので、シャツタ時間に対応する期間において、センサに入力される背景に対応する光は変化しない。この場合、背景領域の画素値は、動きボケを含まない。

力バードバックグラウンド領域若しくはアンカバードバックグラウンド領域から成る混合領域に属する画素の画素値は、前景の成分と、背景の成分とから構成される。

次に、オブジェクトに対応する画像が動いているとき、複数のフレームにおける、隣接して 1列に並んでいる画素であって、フレーム上で同一の位置の画素の画素値を時間方向に展開したモデルについて説明する。例えば、オブジェクトに対応する画像が画面に対して水平に動いているとき、隣接して 1列に並んでいる画素として、画面の 1つのライン上に並んでいる画素を選択することができる。図 1 4は、静止している背景に対応するォブジェクトを撮像した画像の 3つのフレームの、隣接して 1列に並んでいる画素であって、フレーム上で同一の位置の画素の画素値を時間方向に展開したモデル図である。フレーム #nは、フレーム #n- 1の次のフレームであり、フレーム #n+l は、フレーム #nの次のフレームである。他のフレームも同様に称する。

図 1 4に示す B01乃至 B12の画素値は、静止している背景のォブジェクトに対応する画素の画素値である。背景に対応するオブジェクトが静止しているので、フレーム #n- l乃至フレーム 11+1において、対応する画素の画素値は、変化しない。例えば、フレーム ίίη-lにおける B05の画素値を有する画素の位置に対応する、フレーム #η における画素、およびフレーム #η+1 における画素は、それぞれ、 Β05の画素値を有する。

図 1 5は、静止している背景に対応するオブジェクトと共に図中の右側に移動する前景に対応するォブジェクトを撮像した画像の 3つのフレームの、隣接して 1列に並んでいる画素であって、フレーム上で同一の位置の画素の画素値を時間方向に展開したモデル図である。図 1 5に示すモデルは、カバードバックグラウンド領域を含む。

図 1 5において、前景に対応するオブジェクトが、剛体であり、等速で移動すると仮定でき、前景の画像が次のフレームにおいて 4画素右側に表示されるように移動するので、前景の動き量 Vは、 4であり、仮想分割数は、 4である。

例えば、図 1 5中のフレームの最も左側の画素の、シャツタが開いて最初のシャツタ時間/ Vの前景の成分は、 F12/vとなり、図 1 5中の左から 2番目の画素の、シャツタが開いて 2番目のシャツタ時間/ Vの前景の成分も、 F12/v となる。図 1 5中の左から 3番目の画素の、シャツタが開いて 3番目のシャツタ時間 /vの前景の成分、および図 1 5中の左から 4番目の画素の、シャツタが開いて 4番目のシャツタ時間/ Vの前景の成分は、 F12/vとなる。

図 1 5中のフレーム #n- 1の最も左側の画素の、シャッタが開いて 2番目のシャッタ時間/ Vの前景の成分は、 Fl l/vとなり、図 1 5中の左から 2番目の画素の、シャツタが開いて 3番目のシャツタ時間/ V の前景の成分も、 Fll/v となる, 図 1 5中の左から 3番目の画素の、シャッタが開いて 4番目のシャッタ時間/ V の前景の成分は、 Fl l/vとなる。

図 1 5中のフレーム #n- 1の最も左側の画素の、シャッタが開いて 3番目のシャッタ時間/ Vの前景の成分は、 FlO/vとなり、図 1 5中の左から 2番目の画素の、シャツタが開いて 4番目のシャツタ時間/ V の前景の成分も、 FlO/v となる, 図 1 5中のフレーム fe- 1の最も左側の画素の、シャッタが開いて 4番目のシャッタ時間/ Vの前景の成分は、 F09/_Vとなる。

背景に対応するォブジェクトが静止しているので、図 1 5中のフレーム 1 の左から 2番目の画素の、シャツタが開いて最初のシャツタ時間/ Vの背景の成分は、 BO l/vとなる。図 1 5中のフレーム - 1の左から 3番目の画素の、シャッタが開いて最初および 2番目のシャツタ時間/ Vの背景の成分は、 B02/vとなる。図 1 5中のフレーム #n-lの左から 4番目の画素の、シャツタが開いて最初乃至 3番目のシャツタ時間/ Vの背景の成分は、 B03/vとなる。

図 1 5中のフレーム #n- 1において、最も左側の画素は、前景領域に属し、左側から 2番目乃至 4番目の画素は、カバードバックグラウンド領域である混合領域に属する。図 1 5中のフレーム #n-lの左から 5番目の画素乃至 1 2番目の画素は、背景領域に属し、その画素値は、それぞれ、 B04乃至 B11 となる。

図 1 5中のフレーム #nの左から 1番目の画素乃至 5番目の画素は、前景領域に属する。フレーム #nの前景領域における、シャツタ時間/ Vの前景の成分は、 F05/v乃至 F12/vのいずれかである。

前景に対応するオブジェクトが、剛体であり、等速で移動すると仮定でき、前景の画像が次のフレームにおいて 4画素右側に表示されるように移動するので、図 1 5中のフレーム #nの左から 5番目の画素の、シャツタが開いて最初のシャッタ時間/ V の前景の成分は、 F12/v となり、図 1 5中の左から 6番目の画素の. シャツタが開いて 2番目のシャツタ時間/ Vの前景の成分も、 F12/vとなる。図 1 5中の左から 7番目の画素の、シャツタが開いて 3番目のシャツタ時間/ Vの前景の成分、およぴ図 1 5中の左から 8番目の画素の、シャツタが開いて 4番目のシャツタ時間/ Vの前景の成分は、 F12/vとなる。

図 1 5中のフレーム #nの左から 5番目の画素の、シャツタが開いて 2番目のシャツタ時間/ Vの前景の成分は、 Fl l/vとなり、図 1 5中の左から 6番目の画素の、シャツタが開いて 3番目のシャツタ時間/ Vの前景の成分も、 Fl l/vとなる。図 1 5中の左から 7番目の画素の、シャツタが開いて 4番目のシャツタ時間 /vの前景の成分は、 Fl l/vとなる。

図 1 5中のフレーム #nの左から 5番目の画素の、シャッタが開いて 3番目のシャツタ時間/ Vの前景の成分は、 FlO/vとなり、図 1 5中の左から 6番目の画素の、シャツタが開いて 4番目のシャツタ時間/ Vの前景の成分も、 FlO/vとなる。図 1 5中のフレーム toの左から 5番目の画素の、シャツタが開いて 4番目のシャツタ時間/ Vの前景の成分は、 F09/vとなる。

背景に対応するォブジェクトが静止しているので、図 1 5中のフレーム #nの左から 6番目の画素の、シャツタが開いて最初のシャツタ時間/ Vの背景の成分は、 B05/vとなる。図 1 5中のフレーム #nの左から 7番目の画素の、シャツタが開いて最初および 2番目のシャツタ時間 /vの背景の成分は、 B06/vとなる。図 1 5中のフレーム #nの左から 8番目の画素の、シャツタが開いて最初乃至 3 番目の、シャツタ時間/ Vの背景の成分は、 B07/ となる。

図 1 5中のフレーム #ηにおいて、左側から 6番目乃至 8番目の画素は、カバ一ドバックグラウンド領域である混合領域に属する。

図 1 5中のフレーム #ηの左から 9番目の画素乃至 1 2番目の画素は、背景領域に属し、画素値は、それぞれ、 Β08乃至 B11となる。

図 1 5中のフレーム #η+1の左から 1番目の画素乃至 9番目の画素は、前景領域に属する。フレーム #η+1の前景領域における、シャツタ時間/ Vの前景の成分は、 FOl/v乃至 F12/ のいずれかである。

前景に対応するオブジェクトが、剛体であり、等速で移動すると仮定でき、前景の画像が次のフレームにおいて 4画素右側に表示されるように移動するので、図 1 5中のフレーム #n+lの左から 9番目の画素の、シャツタが開いて最初のシャッタ時間/ Vの前景の成分は、 F12/vとなり、図 1 5中の左から 1 0番目の画素の、シャツタが開いて 2番目のシャツタ時間/ Vの前景の成分も、 F12/vとなる。図 1 5中の左から 1 1番目の画素の、シャツタが開いて 3番目のシャツタ時間/ Vの前景の成分、および図 1 5中の左から 1 2番目の画素の、シャツタが開いて 4番目のシャッタ時間/ Vの前景の成分は、 F12/vとなる。

図 1 5中のフレーム #n+lの左から 9番目の画素の、シャツタが開いて 2番目のシャツタ時間 /_vの期間の前景の成分は、 Fl l/vとなり、図 1 5中の左から 1 0番目の画素の、シャツタが開いて 3番目のシャツタ時間/ Vの前景の成分も、

Fl l /v となる。図 1 5中の左から 1 1番目の画素の、シャツタが開いて 4番目の. シャツタ時間/ Vの前景の成分は、 Fl l/vとなる。

図 1 5中のフレーム #n+lの左から 9番目の画素の、シャッタが開いて 3番目の、シャツタ時間/ Vの前景の成分は、 FlO/vとなり、図 1 5中の左から 1 0番目の画素の、シャツタが開いて 4番目のシャツタ時間/ Vの前景の成分も、 FlO/v となる。図 1 5中のフレーム #n+lの左から 9番目の画素の、シャツタが開いて

4番目のシャツタ時間 /vの前景の成分は、 F09/vとなる。背景に対応するォブジェクトが静止しているので、図 1 5中のフレーム ί|η+1 の左から 1 0番目の画素の、シャッタが開いて最初のシャッタ時間/ Vの背景の成分は、 Β09/νとなる。図 1 5中のフレームの左から 1 1番目の画素の、シャッタが開いて最初おょぴ 2番目のシャッタ時間/ Vの背景の成分は、 BlO/v となる。図 1 5中のフレーム #n+lの左から 1 2番目の画素の、シャツタが開いて最初乃至 3番目の、シャツタ時間/ Vの背景の成分は、 Bl l/vとなる。

図 1 5中のフレーム #n+l において、左側から 1 0番目乃至 1 2番目の画素は、カバードバックグラウンド領域である混合領域に対応する。

図 1 6は、図 1 5に示す画素値から前景の成分を抽出した画像のモデル図である。

図 1 7は、静止している背景と共に図中の右側に移動するオブジェクトに対応する前景を撮像した画像の 3つのフレームの、隣接して 1列に並んでいる画素であって、フレーム上で同一の位置の画素の画素値を時間方向に展開したモデル図である。図 1 7において、アンカバードバックグラウンド領域が含まれている。図 1 7において、前景に対応するオブジェクトは、剛体であり、かつ等速で移動していると仮定できる。前景に対応するオブジェクトが、次のフレームにおいて 4画素分右側に表示される'ように移動しているので、動き量 V は、 4である。例えば、図 1 7中のフレーム #n-lの最も左側の画素の、シャツタが開いて最初の、シャツタ時間/ Vの前景の成分は、 F13/vとなり、図 1 7中の左から 2番目の画素の、シャツタが開いて 2番目のシャツタ時間/ Vの前景の成分も、 F13/v となる。図 1 7中の左から 3番目の画素の、シャツタが開いて 3番目のシャツタ時間/ Vの前景の成分、およぴ図 1 7中の左から 4番目の画素の、シャツタが開いて 4番目のシャツタ時間/ Vの前景の成分は、 F13/vとなる。

図 1 7中のフレーム #n-lの左から 2番目の画素の、シャッタが開いて最初のシャツタ時間/ Vの前景の成分は、 F14/vとなり、図 1 7中の左から 3番目の画素の、シャツタが開いて 2番目のシャツタ時間/ Vの前景の成分も、 F14/vとなる。図 1 7中の左から 3番目の画素の、シャツタが開いて最初の、シャツタ時間 /vの前景の成分は、 F15/vとなる。

背景に対応するォブジェクトが静止しているので、図 1 7中のフレーム #n - 1 の最も左側の画素の、シャツタが開いて 2番目乃至 4番目の、シャツタ時間/ V の背景の成分は、 B25/vとなる。図 1 7中のフレームの左から 2番目の画素の、シャツタが開いて 3番目および 4番目の、シャツタ時間/ Vの背景の成分は、 B26/vとなる。図 1 7中のフレーム #n - 1の左から 3番目の画素の、シャツタが開いて 4番目のシャツタ時間/ Vの背景の成分は、 B27/vとなる。

図 1 7中のフレーム #n- 1において、最も左側の画素乃至 3番目の画素は、ァンカバードバックグラウンド領域である混合領域に属する。

図 1 7中のフレーム #n-lの左から 4番目の画素乃至 1 2番目の画素は、前景領域に属する。フレームの前景の成分は、 F1I3/V乃至 F24/vのいずれかである。図 1 7中のフレーム #nの最も左側の画素乃至左から 4番目の画素は、背景領域に属し、画素値は、それぞれ、 B25乃至 B28となる。

前景に対応するオブジェクトが、剛体であり、等速で移動すると仮定でき、前景の画像が次のフレームにおいて 4画素右側に表示されるように移動するので、図 1 7中のフレーム #ηの左から 5番目の画素の、シャッタが開いて最初のシャッタ時間/ V の前景の成分は、 F13/v となり、図 1 7中の左から 6番目の画素の、シャツタが開いて 2番目のシャツタ時間/ Vの前景の成分も、 F13/vとなる。図 1 7中の左から 7番目の画素の、シャッタが開いて 3番目のシャッタ時間/ Vの前景の成分、および図 1 7中の左から 8番目の画素の、シャツタが開いて 4番目のシャツタ時間/ Vの前景の成分は、 F13/vとなる。

図 1 7中のフレーム #ηの左から 6番目の画素の、シャツタが開いて最初のシャッタ時間/ Vの前景の成分は、 F14/vとなり、図 1 7中の左から 7番目の画素の、シャツタが開いて 2番目のシャツタ時間 /ν の前景の成分も、 F14/v となる _c 図 1 7中の左から 8番目の画素の、シャツタが開いて最初のシャツタ時間/ Vの前景の成分は、 F15/vとなる。

背景に対応するォブジェクトが静止しているので、図 1 7中のフレームの左から 5番目の画素の、シャツタが開いて 2番目乃至 4番目のシャツタ時間/ V の背景の成分は、 B29 Vとなる。図 1 7中のフレーム #nの左から 6番目の画素の、シャッタが開いて 3番目および 4番目のシャッタ時間/ Vの背景の成分は、 B30/vとなる。図 1 7中のフレーム #nの左から 7番目の画素の、シャツタが開いて 4番目のシャツタ時間/ Vの背景の成分は、 B31/vとなる。

図 1 7中のフレーム #nにおいて、左から 5番目の画素乃至 7番目の画素は、アンカバードバックグラウンド領域である混合領域に属する。

図 1 7中のフレーム #nの左から 8番目の画素乃至 1 2番目の画素は、前景領域に属する。フレームの前景領域における、シャツタ時間/ Vの期間に対応する値は、 F13/v乃至 F20/vのいずれかである。

図 1 7中のフレーム #η+1の最も左側の画素乃至左から 8番目の画素は、背景領域に属し、画素値は、それぞれ、 Β25乃至 Β32となる。

前景に対応するオブジェクトが、剛体であり、等速で移動すると仮定でき、前景の画像が次のフレームにおいて 4画素右側に表示されるように移動するので、図 1 7中のフレームの左から 9番目の画素の、シャツタが開いて最初のシャッタ時間/ Vの前景の成分は、 F13/vとなり、図 1 7中の左から 1 0番目の画素の、シャツタが開いて 2番目のシャツタ時間/ Vの前景の成分も、 F13/vとなる。図 1 7中の左から 1 1番目の画素の、シャツタが開いて 3番目のシャツタ時間/ Vの前景の成分、および図 1 7中の左から 1 2番目の画素の、シャツタが開いて 4番目のシャツタ時間/ Vの前景の成分は、 F13/vとなる。

図 1 7中のフレーム #n+ lの左から 1 0番目の画素の、シャツタが開いて最初のシャツタ時間/ Vの前景の成分は、 F14/vとなり、図 1 7中の左から 1 1番目の画素の、シャツタが開いて 2番目のシャツタ時間/ Vの前景の成分も、 F14/v となる。図 1 7中の左から 1 2番目の画素の、シャツタが開いて最初のシャツタ時間/ Vの前景の成分は、 F15/vとなる。

背景に対応するォブジェクトが静止しているので、図 1 7中のフレームの左から 9番目の画素の、シャツタが開いて 2番目乃至 4番目の、シャツタ時間 /vの背景の成分は、 B33/vとなる。図 1 7中のフレーム fe+1の左から 1 0番目の画素の、シャッタが開いて 3番目および 4番目のシャッタ時間/ Vの背景の成分は、 B34/vとなる。図 1 7中のフレーム #n+lの左から 1 1番目の画素の、シャッタが開いて 4番目のシャッタ時間/ Vの背景の成分は、 B35/vとなる。

図 1 7中のフレーム #n+lにおいて、左から 9番目の画素乃至 1 1番目の画素は、ァンカバードバックグラウンド領域である混合領域に属する。

図 1 7中のフレーム #n+lの左から 1 2番目の画素は、前景領域に属する。フレーム #n+ lの前景領域における、シャツタ時間/ Vの前景の成分は、 F13/v乃至 F16/vのいずれかである。

図 1 8は、図 1 7に示す画素値から前景の成分を抽出した画像のモデル図である。

図 2に戻り、領域特定部 1 0 3は、複数のフレームの画素値を用いて、前景領域、背景領域、カバードバックグラウンド領域、またはアンカバードバックダラゥンド領域に属することを示すフラグを画素毎に対応付けて、領域情報として、混合比算出部 1 0 4および動きボケ調整部 1 0 6に供給する。

混合比算出部 1 0 4は、複数のフレームの画素値、および領域情報を基に、混合領域に含まれる画素について画素毎に混合比 Of を算出し、算出した混合比ひを前景背景分離部 1 0 5に供給する。

前景背景分離部 1 0 5は、複数のフレームの画素値、領域情報、および混合比を基に、前景の成分のみからなる前景成分画像を抽出して、動きボケ調整部 1 0 6に供給する。

動きボケ調整部 1 0 6は、前景背景分離部 1 0 5から供給された前景成分画像、動き検出部 1 0 2から供給された動きべクトル、および領域特定部 1 0 3から供給された領域情報を基に、前景成分画像に含まれる動きボケの量を調整して、動きボケの量を調整した前景成分画像を出力する。

図 1 9のフローチャートを参照して、信号処理装置による動きボケの量の調整の処理を説明する。ステップ S 1 1において、領域特定部 1 0 3は、入力画像を基に、入力画像の画素毎に前景領域、背景領域、カバードバックグラウンド領域、またはアンカバードバックグラウンド領域の/、ずれかに属するかを示す領域情報を生成する領域特定の処理を実行する。領域特定の処理の詳細は、後述する。領域特定部 1 0 3は、生成した領域情報を混合比算出部 1 0 4に供給する。

なお、ステップ S 1 1において、領域特定部 1 0 3は、入力画像を基に、入力画像の画素毎に前景領域、背景領域、または混合領域（カバードバックグラウンド領域、またはアンカバードバックグラウンド領域の区別をしない）のいずれかに属するかを示す領域情報を生成するようにしてもよい。この場合において、前景背景分離部 1 0 5および動きボケ調整部 1 0 6は、動きべクトルの方向を基に、混合領域がカバードバックグラウンド領域であるか、またはアンカバードバックグラウンド領域であるかを判定する。例えば、動きべクトルの方向に対応して、前景領域、混合領域、および背景領域と順に並んでいるとき、その混合領域は、カバードバックグラウンド領域と判定され、動きべクトルの方向に対応して、背景領域、混合領域、および前景領域と順に並んでいるとき、その混合領域は、ァンカバードバックグラウンド領域と判定される。

ステップ S 1 2において、混合比算出部 1 0 4は、入力画像および領域情報を基に、混合領域に含まれる画素毎に、混合比 α を算出する。混合比算出の処理の詳細は、後述する。混合比算出部 1 0 4は、算出した混合比を前景背景分離部 1 0 5に供給する。

ステップ S 1 3において、前景背景分離部 1 0 5は、領域情報、および混合比を基に、入力画像から前景の成分を抽出して、前景成分画像として動きボケ調整部 1 0 6に供給する。

ステップ S 1 4において、動きボケ調整部 1 0 6は、動きべクトルおよび領域情報を基に、動き方向に並ぶ連続した画素であって、アンカバードバックグラウンド領域、前景領域、およびカバードバックグラウンド領域のいずれかに属するものの画像上の位置を示す処理単位を生成し、処理単位に対応する前景成分に含まれる動きボケの量を調整する。動きボケの量の調整の処理の詳細については、後述する。

ステップ S I 5において、信号処理装置は、画面全体について処理を終了したか否かを判定し、画面全体について処理を終了していないと判定された場合、ステツプ S 1 4に進み、処理単位に対応する前景の成分を対象とした動きボケの量の調整の処理を繰り返す。

ステップ S 1 5において、画面全体について処理を終了したと判定された場合、処理は終了する。

このように、信号処理装置は、前景と背景を分離して、前景に含まれる動きボケの量を調整することができる。すなわち、信号処理装置は、前景の画素の画素値であるサンプルデータに含まれる動きボケの量を調整することができる。

以下、領域特定部 1 0 3、混合比算出部 1 0 4、前景背景分離部 1 0 5、および動きボケ調整部 1 0 6のそれぞれの構成について説明する。

図 2 0は、領域特定部 1 0 3の構成を示すブロック図である。図 2 0に構成を示す領域特定部 1 0 3は、動きべクトルを利用しない。

背景動き補償部 2 0 1は、入力画像の背景の動きを検出して、検出した背景の動きに対応して、入力画像を平行移動する。背景動き補償部 2 0 1は、背景の動きに対応して、平行移動した入力画像を領域特定処理部 2 0 2に供給する。

領域特定処理部 2 0 2に供給される画像は、画面上の背景の位置が一致している。

領域特定処理部 2 0 2は、背景動き補償部 2 0 1から供給された、画面上の背景の位置が一致している画像を基に、各画素毎に、アンカバードバックグラウンド領域、静止領域、動き領域、およびカバードバックグラウンド領域のいずれかに属することを示す領域情報を生成し、生成した領域情報を出力する。

図 2 1は、領域特定部 1 0 3のより詳細な構成を示すプロック図である。

背景動き補償部 2 0 1は、フレームメモリ 2 2 1、動き取得部 2 2 2— 1乃至 2 2 2— 4、および画像シフト部 2 2 3— 1乃至 2 2 3— 4から構成される。

領域特定処理部 2 0 2は、フレームメモリ 2 2 4、静動判定部 2 2 5— 1乃至 2 2 5— 4、領域判定部 2 2 6— 1乃至 2 2 6— 3、判定フラグ格納フレームメモリ 2 2 7、合成部 2 2 8、および判定フラグ格納フレームメモリ 2 2 9から構成される。

フレームメモリ 2 2 1は、入力された画像をフレーム単位で記億する。フレームメモリ 2 2 1は、処理の対象がフレーム #nであるとき、フレ^ ~ム¾の 2つ前のフレームであるフレーム #n - 2、フレーム #ιιの 1つ前のフレームであるフレーム #n_l、フレーム #n、フレーム #nの 1つ後のフレームであるフレーム #n+l、およびフレーム #nの 2つ後のフレームであるフレーム #n+2を記憶する。

動き取得部 2 2 2— 1は、フレームメモリ 2 2 1に記憶されているフレーム #n+2から、所定の数の画素からなる注目ブロックを取得する。動き取得部 2 2 2— 1は、取得した注目プロックを基に、フレームメモリ 2 2 1に記憶されているフレーム #_nの画像から、注目プロックとパターンが一致する画像の部分を検索する。動き取得部 2 2 2— 1は、フレーム #n+2の注目ブロックの位置、およぴ注目プロックとパターンが一致する、フレーム to の画像の部分の位置を基に動きべクトルを生成する。

動き取得部 2 2 2— 2は、フレームメモリ 2 2 1に記憶されているフレーム #n+lから、所定の数の画素からなる注目ブロックを取得する。動き取得部 2 2 2— 2は、取得した注目プロックを基に、フレームメモリ 2 2 1に記憶されているフレーム #nの画像から、注目プロックとパターンが一致する画像の部分を検索する。動き取得部 2 2 2— 2は、フレーム #n+lの注目ブロックの位置、および注目ブロックとパターンが一致する、フレームの画像の部分の位置を基に動きべクトルを生成する。

動き取得部 2 2 2— 3は、フレームメモリ 2 2 1に記憶されているフレーム #n - 1から、所定の数の画素からなる注目ブロックを取得する。動き取得部 2 2 2— 3は、取得した注目ブロックを基に、フレームメモリ 2 2 1に記憶されているフレーム toの画像から、注目プロックとパターンが一致する画像の部分を検索する。動き取得部 2 2 2— 3は、フレーム #n-lの注目ブロックの位置、および注目ブロックとパターンが一致する、フレーム #n の画像の部分の位置を基に- 動きべクトルを生成する。

動き取得部 2 2 2— 4は、フレームメモリ 2 2 1に記憶されているフレーム #n-2から、所定の数の画素からなる注目プロックを取得する。動き取得部 2 2 2— 4は、取得した注目ブロックを基に、フレームメモリ 2 2 1に記憶されているフレーム #nの画像から、注目プロックとパターンが一致する画像の部分を検索する。動き取得部 2 2 2— 4は、フレーム #n- 2の注目ブロックの位置、およぴ注目ブロックとパターンが一致する、フレームの画像の部分の位置を基に. 動きべクトルを生成する。

以下、動き取得部 2 2 2— 1乃至 2 2 2— 4を個々に区別する必要がないとき. 単に、動き取得部 2 2 2と称する。

例えば、図 2 2に示すように、動き取得部 2 2 2は、 1つのフレームの画像を. 図 2 2において Aで示す、 m画素 X n画素からなる分割領域に分割し、分割された分割領域毎に、図 2 2において Bで示す、 M画素 X N画素からなる注目プロックを選択する。

動き取得部 2 2 2は、各分割領域の注目ブロック毎に、対応するフレームの画像から、注目ブロックとパターンが一致する画像の部分を検索し、各注目ブロック毎に、動きべクトルを生成する。動き取得部 2 2 2は、注目ブロック毎に生成された動きべクトルを基に、 2つのフレームに対応する動きべクトルを生成する _c 例えば、動き取得部 2 2 2は、注目ブロック毎に生成された動きべクトルの平均値を算出して、算出された動きベクトルを、 2つのフレームに対応する動きべク卜ノレとする。

一般的に、入力画像の背景の画像オブジェクトが前景の画像オブジェクトに比較して大きいので、動き取得部 2 2 2は、背景の画像オブジェクトの動きに対応する動きベクトルを出力することができる。

なお、動き取得部 2 2 2は、 2つのフレームの画像を全画面ブロックマツチングを行うことにより、背景の画像オブジェクトの動きに対応する動きべクトルを生成するようにしてもよい。

また、動き取得部 2 2 2は、入力画像から背景の画像オブジェクトを抽出し、抽出された画像オブジェクトを基に、背景の画像オブジェクトの動きに対応する動きべクトルを生成するようにしてもよい。

画像シフト部 2 2 3— 1は、動き取得部 2 2 2 _ 1から供給された背景の画像オブジェクトに対応する動きべクトルを基に、フレームメモリ 2 2 1に記憶されているフレーム #n+2を平行移動して、平行移動したフレーム #n+2の画像を領域特定処理部 2 0 2のフレームメモリ 2 2 4に供給する。

画像シフト部 2 2 3— 2は、動き取得部 2 2 2— 2から供給された背景の画像オブジェクトに対応する動きべクトルを基に、フレームメモリ 2 2 1に記憶されているフレーム #η+1を平行移動して、平行移動したフレーム #η+1の画像を領域特定処理部 2 0 2のフレームメモリ 2 2 4に供給する。

画像シフト部 2 2 3— 3は、動き取得部 2 2 2— 3から供給された背景の画像オブジェクトに対応する動きべクトルを基に、フレームメモリ 2 2 1に記憶されているフレーム #η-1を平行移動して、平行移動したフレーム #η-1の画像を領域特定処理部 2 0 2のフレームメモリ 2 2 4に供給する。

画像シフト部 2 2 3— 4は、動き取得部 2 2 2— 4から供給された背景の画像オブジェクトに対応する動きべクトルを基に、フレームメモリ 2 2 1に記憶されているフレーム #η-2を平行移動して、平行移動したフレーム #η- 2の画像を領域特定処理部 2 0 2のフレームメモリ 2 2 4に供給する。

フレームメモリ 2 2 1は、フレーム #ηの画像を領域特定処理部 2 0 2のフレームメモリ 2 2 4に供給する。

画像シフト部 2 2 3— 1乃至 2 2 3— 4およびフレームメモリ 2 2 1が領域特定処理部 2 0 2のフレームメモリ 2 2 4に供給する画像は、画面上の背景の位置がー致している。

領域特定処理部 2 0 2のフレームメモリ 2 2 4は、画像シフト部 2 2 3— 1乃至 2 2 3— 4またはフレームメモリ 2 2 1から供給された画像をフレーム単位で記憶する。

静動判定部 2 2 5— 1は、フレーム #nの領域特定の対象である画素の画像上の位置と同一の位置にあるフレーム #n+2の画素の画素値、およびフレーム #nの領域特定の対象である画素の画像上の位置と同一の位置にあるフレーム #n+lの画素の画素値をフレームメモリ 2 2 4から読み出して、読み出した画素値の差の絶対値を算出する。静動判定部 2 2 5— 1は、フレーム #n+2の画素値とフレーム Hn+1の画素値との差の絶対値が、予め設定している閾値 Thより大きいか否かを判定し、差の絶対値が閾値 Thより大きいと判定された場合、動きを示す静動判定を領域判定部 2 2 6— 1に供給する。フレーム #n+2の画素の画素値とフレ —ム #n+lの画素の画素値との差の絶対値が閾値 Th以下であると判定された場合、静動判定部 2 2 5— 1は、静止を示す静動判定を領域判定部 2 2 6— 1に供給する。 ' 静動判定部 2 2 5— 2は、フレーム thの領域特定の対象である画素の画像上の位置と同一の位置にあるフレーム #n+lの画素の画素値、およびフレームの対象となる画素の画素値をフレームメモリ 2 2 4から読み出して、画素値の差の絶対値を算出する。静動判定部 2 2 5— 2は、フレーム #n+lの画素値とフレーム #nの画素値との差の絶対値が、予め設定している閾値 Thより大きいか否かを判定し、画素値の差の絶対値が、閾値 Thより大きいと判定された場合、動きを示す静動判定を領域判定部 2 2 6— 1および領域判定部 2 2 6— 2に供給する。フレーム #n+lの画素の画素値とフレーム #ηの画素の画素値との差の絶対値が、閾値 Th以下であると判定された場合、静動判定部 2 2 5— 2は、静止を示す静動判定を領域判定部 2 2 6— 1および領域判定部 2 2 6— 2に供給する。

静動判定部 2 2 5— 3は、フレーム #n の領域特定の対象である画素の画素値、およぴフレーム #nの領域特定の対象である画素の画像上の位置と同一の位置にあるフレーム #n - 1の画素の画素値をフレームメモリ 2 2 4から読み出して、画素値の差の絶対値を算出する。静動判定部 2 2 5— 3は、フレームの画素値とフレーム #_n- 1の画素値との差の絶対値が、予め設定している閾値 Thより大きいか否かを判定し、画素値の差の絶対値が、閾値 Thより大きいと判定された場合、動きを示す静動判定を領域判定部 2 2 6— 2およぴ領域判定部 2 2 6— 3に供給する。フレーム #nの画素の画素値とフレーム #n - 1の画素の画素値との差の絶対値が、閾値 Th以下であると判定された場合、静動判定部 2 2 5— 3は、静止を示す静動判定を領域判定部 2 2 6— 2および領域判定部 2 2 6— 3に供給する。

諍動判定部 2 2 5—4は、フレームの領域特定の対象である画素の画像上の位置と同一の位置にあるフレーム #n-lの画素の画素値、およぴフレームの領域特定の対象である画素の画像上の位置と同一の位置にあるフレーム #n- 2の画素の画素値をフレームメモリ 2 2 4から読み出して、画素値の差の絶対値を算出する。静動判定部 2 2 5— 4は、フレーム #n-lの画素値とフレーム #n-2の画素値との差の絶対値が、予め設定している閾値 Thより大きいか否かを判定し、画素値の差の絶対値が、閾値 Thより大きいと判定された場合、動きを示す静動判定を領域判定部 2 2 6— 3に供給する。フレーム #n-lの画素の画素値とフレーム #n-2の画素の画素値との差の絶対値が、閾値 Th以下であると判定された場合、静動判定部 2 2 5 _ 4は、静止を示す静動判定を領域判定部 2 2 6— 3に供給する。

領域判定部 2 2 6— 1は、静動判定部 2 2 5— 1から供給された静動判定が静止を示し、かつ、静動判定部 2 2 5— 2から供給された静動判定が動きを示しているとき、フレーム #nにおける領域特定の対象である画素がアンカバードバックグラウンド領域に属すると判定し、領域の判定される画素に対応するアンカバ一ドバックグラウンド領域判定フラグに、ァンカバードバックダラゥンド領域に属することを示す" 1 " を設定する。

領域判定部 2 2 6— 1は、静動判定部 2 2 5— 1から供給された静動判定が動きを示すか、または、静動判定部 2 2 5— 2から供給された静動判定が静止を示しているとき、フレーム #nにおける領域特定の対象である画素がアンカバードバックグラウンド領域に属しないと判定し、領域の判定される画素に対応するァンカバードパックグラウンド領域判定フラグに、アンカバードバックグラウンド領域に属しないことを示す" 0 " を設定する。

領域判定部 2 2 6— 1は、このように" 1 " または" 0 " が設定されたアンカバードバックグラウンド領域判定フラグを判定フラグ格納フレームメモリ 2 2 7 に供給する。

領域判定部 2 2 6 - 2は、静動判定部 2 2 5— 2から供給された静動判定が静止を示し、かつ、静動判定部 2 2 5— 3から供給された静動判定が静止を示しているとき、フレームにおける領域特定の対象である画素が静止領域に属すると判定し、領域の判定される画素に対応する静止領域判定フラグに、静止領域に属することを示す" 1 " を設定する。

領域判定部 2 2 6— 2は、静動判定部 2 2 5 - 2から供給された静動判定が動きを示すか、または、静動判定部 2 2 5— 3から供給された静動判定が動きを示しているとき、フレームにおける領域特定の対象である画素が静止領域に属しないと判定し、領域の判定される画素に対応する静止領域判定フラグに、静止領域に属しないことを示す" 0 " を設定する。

領域判定部 2 2 6— 2は、このように" 1 " または" 0 " が設定された静止領域判定フラグを判定フラグ格納フレームメモリ 2 2 7に供給する。

領域判定部 2 2 6 _ 2は、静動判定部 2 2 5— 2から供給された静動判定が動きを示し、かつ、静動判定部 2 2 5— 3から供給された静動判定が動きを示しているとき、フレーム #nにおける領域特定の対象である画素が動き領域に属すると判定し、領域の判定される画素に対応する動き領域判定フラグに、動き領域に属することを示す" 1 " を設定する。

領域判定部 2 2 6— 2は、静動判定部 2 2 5— 2から供給された静動判定が静止を示すか、または、静動判定部 2 2 5— 3から供給された静動判定が静止を示しているとき、フレーム #nにおける領域特定の対象である画素が動き領域に属しないと判定し、領域の判定される画素に対応する動き領域判定フラグに、動き領域に属しないことを示す" 0 " を設定する。領域判定部 2 2 6— 2は、このように" 1 " または" 0 " が設定された動き領域判定フラグを判定フラグ格納フレームメモリ 2 2 7に供給する。

領域判定部 2 2 6— 3は、静動判定部 2 2 5— 3から供給された静動判定が動きを示し、かつ、静動判定部 2 2 5— 4から供給された静動判定が静止を示しているとき、フレームにおける領域特定の対象である画素がカバードバックグラウンド領域に属すると判定し、領域の判定される画素に対応するカバードバックグラウンド領域判定フラグに、カバードバックグラウンド領域に属することを示す" 1 " を設定する。

領域判定部 2 2 6— 3は、静動判定部 2 2 5— 3から供給された静動判定が静止を示すか、または、静動判定部 2 2 5— 4から供給された静動判定が動きを示しているとき、フレーム #nにおける領域特定の対象である画素がカバードバックグラウンド領域に属しないと判定し、領域の判定される画素に対応するカバードバックグラウンド領域判定フラグに、カバードバックグラウンド領域に属しないことを示す" 0 " を設定する。

領域判定部 2 2 6— 3は、このように" 1 " または" 0 " が設定された力パードバックグラウンド領域判定フラグを判定フラグ格納フレームメモリ 2 2 7に供給する。

判定フラグ格納フレームメモリ 2 2 7は、領域判定部 2 2 6— 1から供給されたアンカバードバックグラウンド領域判定フラグ、領域判定部 2 2 6— 2から供給された静止領域判定フラグ、領域判定部 2 2 6一 2から供給された動き領域判定フラグ、およぴ領域判定部 2 2 6— 3から供給された力バードバックグラウンド領域判定フラグをそれぞれ記憶する。

判定フラグ格納フレームメモリ 2 2 7は、記憶しているアンカバ一ドバックグラウンド領域判定フラグ、静止領域判定フラグ、動き領域判定フラグ、および力バードバックグラウンド領域判定フラグを合成部 2 2 8に供給する。合成部 2 2 8は、判定フラグ格納フレームメモリ 2 2 7から供給された、アンカバードバックグラウンド領域判定フラグ、静止領域判定フラグ、動き領域判定フラグ、およびカバードバックグラウンド領域判定フラグを基に、各画素が、アンカバードバックグラウンド領域、静止領域、動き領域、およびカバードバックグラウンド領域のいずれかに属することを示す領域情報を生成し、判定フラグ格納フレームメモリ 2 2 9に供給する。

判定フラグ格納フレームメモリ 2 2 9は、合成部 2 2 8カゝら供給された領域情報を記憶すると共に、記憶している領域情報を出力する。

次に、領域特定部 1. 0 3の処理の例を図 2 3乃至図 2 7を参照して説明する。前景に対応するォブジェクトが移動しているとき、ォブジェクトに対応する画像の画面上の位置は、フレーム毎に変化する。図 2 3に示すように、フレーム #nにおいて、画像内のある領域について、 Yn (xl，yl)で示される位置に位置するオブジェクトに対応する画像は、次のフレームであるフレーム #n+l において. Yn+ l (x2, y2)に位置する。

前景のオブジェクトに対応する画像の動き方向に隣接して 1列に並ぶ画素の画素値を時間方向に展開したモデル図を図 2 4に示す。例えば、前景のオブジェクトに対応する画像の動き方向が画面に対して水平であるとき、図 2 4におけるモデル図は、 1つのライン上の瞵接する画素の画素値を時間方向に展開したモデルを示す。

図 2 4において、フレーム #nにおけるラインは、フレーム #n+lにおけるラインと同一である。

フレーム toにおいて、左から 2番目の画素乃至 1 3番目の画素に含まれているオブジェクトに対応する前景の成分は、フレーム #n+lにおいて、左から 6番目乃至 1 7番目の画素に含まれる。

フレーム #_nにおいて、カバードバックグラウンド領域に属する画素は、左から 1 1番目乃至 1 3番目の画素であり、アンカバードパックグラウンド領域に属する画素は、左から 2番目乃至 4番目の画素である。フレーム #n+lにおいて、カバードバックグラウンド領域に属する画素は、左から 1 5番目乃至 1 7番目の画素であり、アンカバードバックグラウンド領域に属する画素は、左から 6番目乃至 8番目の画素である。

図 2 4に示す例において、フレーム #ηに含まれる前景の成分が、フレーム #η+ 1 において 4画素移動しているので、動き量 V は、 4である。仮想分割数は、動き量 Vに対応し、 4である。

次に、注目しているフレームの前後における混合領域に属する画素の画素値の変化について説明する。

図 2 5に示す、背景が静止し、前景の動き量 Vが 4であるフレーム #ηにおいて、カバードバックグラウンド領域に属する画素は、左から 1 5番目乃至 1 7番目の画素である。動き量 Vが 4であるので、 1つ前のフレーム #η- 1において、左から 1 5番目乃至 1 7番目の画素は、背景の成分のみを含み、背景領域に属する。また、更に 1つ前のフレーム #η - 2において、左から 1 5番目乃至 1 7番目の画素は、背景の成分のみを含み、背景領域に属する。

ここで、背景に対応するオブジェクトが静止しているので、フレーム #η-1の左から 1 5番目の画素の画素値は、フレーム #η - 2の左から 1 5番目の画素の画素値から変化しない。同様に、フレーム #η-1の左から 1 6番目の画素の画素値は、フレーム #η-2の左から 1 6番目の画素の画素値から変化せず、フレーム #η - 1の左から 1 7番目の画素の画素値は、フレーム #η_2の左から 1 7番目の画素の画素値から変化しない。

すなわち、フレーム #ηにおけるカバードバックグラウンド領域に属する画素に対応する、フレーム #η-1およびフレーム #η- 2の画素は、背景の成分のみから成り、画素値が変化しないので、その差の絶対値は、ほぼ 0の値となる。従って、フレーム #_ηにおける混合領域に属する画素に対応する、フレーム - 1およびフレーム #n- 2の画素に対する静動判定は、静動判定部 2 2 5— 4により、静止と判定される。

フレーム #nにおけるカバードパックグラウンド領域に属する画素は、前景の成分を含むので、フレーム #η-1における背景の成分のみから成る場合と、画素値が異なる。従って、フレーム #ηにおける混合領域に属する画素、および対応するフレーム #_n - 1の画素に対する静動判定は、静動判定部 2 2 5— 3により、動きと判定される。

このように、領域判定部 2 2 6— 3は、静動判定部 2 2 5— 3から動きを示す静動判定の結果が供給され、静動判定部 2 2 5— 4から静止を示す静動判定の結果が供給されたとき、対応する画素がカバードバックグラウンド領域に属すると判定する。

図 2 6に示す、背景が静止し、前景の動き量 Vが 4であるフレーム #nにおいて、アンカバードバックグラウンド領域に含まれる画素は、左から 2番目乃至 4 番目の画素である。動き量 V が 4であるので、 1つ後のフレーム #n+l において- 左から 2番目乃至 4番目の画素は、背景の成分のみを含み、背景領域に属する。また、更に 1つ後のフレーム #n+2 において、左から 2番目乃至 4番目の画素は、背景の成分のみを含み、背景領域に属する。

ここで、背景に対応するオブジェクトが静止しているので、フレームの左から 2番目の画素の画素値は、フレーム #n+lの左から 2番目の画素の画素値から変化しない。同様に、フレーム #n+2の左から 3番目の画素の画素値は、フレーム #n+lの左から 3番目の画素の画素値から変化せず、フレーム #n+2の左力、ら 4番目の画素の画素値は、フレーム #n+lの左から 4番目の画素の画素値から変化しない。

すなわち、フレームにおけるアンカバードバックグラウンド領域に属する画素に対応する、フレーム #n+lおよびフレーム #n+2の画素は、背景の成分のみから成り、画素値が変化しないので、その差の絶対値は、ほぼ 0の値となる。従つて、フレーム #nにおける混合領域に属する画素に対応する、フレーム #_n+lおよびフレーム _#n+2の画素に対する静動判定は、静動判定部 2 2 5 _ 1により、静止と判定される。

フレーム #nにおけるアンカバードバックグラウンド領域に属する画素は、前景の成分を含むので、フレーム #n+lにおける背景の成分のみから成る場合と、画素値が異なる。従って、フレーム #nにおける混合領域に属する画素、および対応するフレーム #n+lの画素に対する静動判定は、静動判定部 2 2 5— 2により、動きと判定される。

このように、領域判定部 2 2 6— 1は、静動判定部 2 2 5 _ 2から動きを示す静動判定の結果が供給され、静動判定部 2 2 5— 1から静止を示す静動判定の結果が供給されたとき、対応する画素がアンカバードバックグラウンド領域に属すると判定する。

図 2 7は、フレームにおける領域特定部 1 0 3の判定条件を示す図であるフレーム #nの判定の対象となる画素の画像上の位置と同一の位置にあるフレーム #n- 2の画素と、フレーム #nの判定の対象となる画素の画像上の位置と同一の位置にあるフレーム #n-lの画素とが静止と判定され、フレーム #nの判定の対象となる画素の画像上の位置と同一の位置にあるフレーム #n - 1の画素と、フレーム #ηの画素とが動きと判定されたとき、領域特定部 1 0 3は、フレーム #ηの判定の対象となる画素がカバードバックグラウンド領域に属すると判定する。

フレーム #ηの判定の対象となる画素の画像上の位置と同一の位置にあるフレーム #η- 1の画素と、フレーム #ηの画素とが静止と判定され、フレーム #ηの画素と、フレーム #ηの判定の対象となる画素の画像上の位置と同一の位置にあるフレーム #η+1の画素とが静止と判定されたとき、領域特定部 1 0 3は、フレーム #ηの判定の対象となる画素が静止領域に属すると判定する。

フレーム #ηの判定の対象となる画素の画像上の位置と同一の位置にあるフレ一ム¾ - 1の画素と、フレーム #nの画素とが動きと判定され、フレーム #nの画素と、フレーム #_nの判定の対象となる画素の画像上の位置と同一の位置にあるフレーム #n+lの画素とが動きと判定されたとき、領域特定部 1 0 3は、フレーム #nの判定の対象となる画素が動き領域に属すると判定する。

フレーム #nの画素と、フレームの判定の対象となる画素の画像上の位置と同一の位置にあるフレーム #n+lの画素とが動きと判定され、フレーム #nの判定の対象となる画素の画像上の位置と同一の位置にあるフレーム #n+lの画素と、フレームの判定の対象となる画素の画像上の位置と同一の位置にあるフレーム #n+2の画素とが静止と判定されたとき、領域特定部 1 0 3は、フレームでの判定の対象となる画素がアンカバードバックグラウンド領域に属すると判定する, 図 2 8 A乃至図 2 8 Dは、領域特定部 1 0 3の領域の特定の結果の例を示す図である。図 2 8 Aにおいて、カバードバックグラウンド領域に属すると判定された画素は、白で表示されている。図 2 8 Bにおいて、アンカバードバックグラウンド領域に属すると判定された画素は、白で表示されている。

図 2 8 Cにおいて、動き領域に属すると判定された画素は、白で表示されている。図 2 8 Dにおいて、静止領域に属すると判定された画素は、白で表示されている。

図 2 9は、判定フラグ格納フレームメモリ 2 2 9が出力する領域情報の内、混合領域を示す領域情報を画像として示す図である。図 2 9において、カバードバックグラウンド領域またはアンカバードパックグラウンド領域に属すると判定された画素、すなわち混合領域に属すると判定された画素は、白で表示されている _t 判定フラグ格納フレームメモリ 2 2 9が出力する混合領域を示す領域情報は、混合領域、および前景領域内のテクスチャの無い部分に囲まれたテクスチャの有る部分を示す。

次に、図 3 0および図 3 1のフローチャートを参照して、領域特定部 1 0 3の領域特定の処理を説明する。ステップ S 2 0 1において、フレームメモリ 2 2 1 は、判定の対象となるフレーム #nを含むフレーム #n - 2乃至フレーム #n+2の画像を取得する。フレームメモリ 2 2 1は、フレーム nをフレームメモリ 2 2 4に供給する。

ステップ S 2 0 2において、動き取得部 2 2 2— 1は、フレームメモリ 2 2 1 に記憶されているフレーム #n+2の画像およびフレーム #nの画像を基に、フレーム #n+2とフレーム #nとの間の背景の動きべクトルを取得する。動き取得部 2 2 2— 1は、動きベクトルを画像シフト部 2 2 3— 1に供給する。

ステップ S 2 0 3において、画像シフト部 2 2 3— 1は、動き取得部 2 2 2 - 1から供給された動きべクトルを基に、フレームメモリ 2 2 1に記憶されているフレーム #n+2の画像を平行移動し、平行移動したフレーム #n+2の画像をフレームメモリ 2 2 4に供給する。

ステップ S 2 0 4において、動き取得部 2 2 2— 2は、フレームメモリ 2 2 1 に記憶されているフレーム #n+l の画像おょぴフレームの画像を基に、フレーム ttn+1とフレーム #nとの間の背景の動きべクトルを取得する。動き取得部 2 2 2— 2は、動きべクトルを画像シフト部 2 2 3— 2に供給する。

ステップ S 2 0 5において、画像シフト部 2 2 3— 2は、動き取得部 2 2 2— 2から供給された動きべクトルを基に、フレームメモリ 2 2 1に記憶されているフレーム #n+lの画像を平行移動し、平行移動したフレーム #n+lの画像をフレームメモリ 2 2 4に供給する。

ステップ S 2 0 6において、動き取得部 2 2 2— 3は、フレームメモリ 2 2 1 に記憶されているフレーム #n-lの画像およびフレーム #nの画像を基に、フレーム#0 - 1 とフレーム #nとの間の背景の動きべクトルを取得する。動き取得部 2 2 2 _ 3は、動きべクトルを画像シフト部 2 2 3 _ 3に供給する。

ステップ S 2 0 7において、画像シフト部 2 2 3— 3は、動き取得部 2 2 2— 3から供給された動きべクトルを基に、フレームメモリ 2 2 1に記憶されているフレーム #n-lの画像を平行移動し、平行移動したフレームの画像をフレームメモリ 2 2 4に供給する。

ステップ S 2 0 8において、動き取得部 2 2 2— 4は、フレームメモリ 2 2 1 に記憶されているフレーム #n- 2の画像およびフレーム #nの画像を基に、フレーム #n- ²とフレーム #ηとの間の背景の動きべクトルを取得する。動き取得部 2 2 2— 4は、動きべクトルを画像シフト部 2 2 3— 4に供給する。

ステップ S 2 0 9において、画像シフト部 2 2 3— 4は、動き取得部 2 2 2— 4から供給された動きべクトルを基に、フレームメモリ 2 2 1に記憶されているフレーム #η- 2の画像を平行移動し、平行移動したフレーム #η- 2の画像をフレームメモリ 2 2 4に供給する。

ステップ S 2 1 0において、静動判定部 2 2 5— 3は、フレーム #η_1の画素とフレーム #nの同一位置の画素とで、静止か否かを判定し、静止と判定された場合、ステップ S 2 1 1に進み、静動判定部 2 2 5— 2は、フレーム #nの画素とフレーム #_n+lの同一位置の画素とで、静止か否かを判定する。

ステップ S 2 1 1において、フレーム #nの画素とフレーム #n+lの同一位置の画素とで、静止と判定された場合、ステップ S 2 1 2に進み、領域判定部 2 2 6 — 2は、領域の判定される画素に対応する静止領域判定フラグに、静止領域に属することを示す" 1 " を設定する。領域判定部 2 2 6— 2は、静止領域判定フラグを判定フラグ格納フレームメモリ 2 2 7に供給し、手続きは、ステップ S 2 1 3に進む。

ステップ S 2 1 0において、フレーム #n-lの画素とフレーム #nの同一位置の画素とで、動きと判定された場合、または、ステップ S 2 1 1において、フレームの画素とフレーム #n+lの同一位置の画素とで、動きと判定された場合、フレーム #ηの画素が静止領域には属さないので、ステップ S 2 1 2の処理はスキップされ、手続きは、ステップ S 2 1 3に進む。

ステップ S 2 1 3において、静動判定部 2 2 5— 3は、フレームの画素とフレーム #nの同一位置の画素とで、動きか否かを判定し、動きと判定された場合、ステップ S 2 1 4に進み、静動判定部 2 2 5— 2は、フレーム #nの画素とフレーム #n+lの同一位置の画素とで、動きか否かを判定する。

ステップ S 2 1 4において、フレーム #nの画素とフレーム #η+1の同一位置の画素とで、動きと判定された場合、ステップ S 2 1 5に進み、領域判定部 2 2 6 一 2は、領域の判定される画素に対応する動き領域判定フラグに、動き領域に属することを示す'' 1 " を設定する。領域判定部 2 2 6 _ 2は、動き領域判定フラグを判定フラグ格納フレームメモリ 2 2 7に供給し、手続きは、ステップ S 2 1 6に進む。

ステップ S 2 1 3において、フレーム #η-1の画素とフレーム #ηの同一位置の画素とで、静止と判定された場合、または、ステップ S 2 1 4において、フレーム #_ηの画素とフレーム #_η+1の同一位置の画素とで、静止と判定された場合、フレーム #nの画素が動き領域には属さないので、ステップ S 2 1 5の処理はスキップされ、手続きは、ステップ S 2 1 6に進む。

ステップ S 2 1 6において、静動判定部 2 2 5— 4は、フレーム #n- 2の画素とフレーム #_n-lの同一位置の画素とで、静止か否かを判定し、静止と判定された場合、ステップ S 2 1 7に進み、静動判定部 2 2 5— 3は、フレーム #n- 1の画素とフレーム #nの同一位置の画素とで、動きか否かを判定する。

ステップ S 2 1 7において、フレーム #n- 1の画素とフレーム #nの同一位置の画素とで、動きと判定された場合、ステップ S 2 1 8に進み、領域判定部 2 2 6 一 3は、領域の判定される画素に対応するカバードバックグラウンド領域判定フラグに、カバードバックグラウンド領域に属することを示す" 1 " を設定する。領域判定部 2 2 6— 3は、カバードバックグラウンド領域判定フラグを判定フラグ格納フレームメモリ 2 2 7に供給し、手続きは、ステップ S 2 1 9に進む。ステップ S 2 1 6において、フレーム #n-2の画素とフレーム #n-lの同一位置の画素とで、動きと判定された場合、または、ステップ S 2 1 7において、フレーム #n-lの画素とフレーム #nの同一位置の画素とで、静止と判定された場合、フレームの画素がカバードパックグラウンド領域には属さないので、ステツプ S 2 1 8の処理はスキップされ、手続きは、ステップ S 2 1 9に進む。

ステップ S 2 1 9において、静動判定部 2 2 5— 2は、フレーム #nの画素とフレーム #n+lの同一位置の画素とで、動きか否かを判定し、動きと判定された場合、ステップ S 2 2 0に進み、静動判定部 2 2 5— 1は、フレーム #n+lの画素とフレーム #_n+2の同一位置の画素とで、静止か否かを判定する。

ステップ S 2 2 0において、フレーム +1の画素とフレーム #n+2の同一位置の画素とで、静止と判定された場合、ステップ S 2 2 1に進み、領域判定部 2 2 6— 1は、領域の判定される画素に対応するアンカバードバックグラウンド領域判定フラグに、アンカバードバックグラウンド領域に属することを示す" 1 " を設定する。領域判定部 2 2 6— 1は、ァンカバードバックグラウンド領域判定フラグを判定フラグ格納フレームメモリ 2 2 7に供給し、手続きは、ステップ S 2 2 2に進む。

ステップ S 2 1 9において、フレームの画素とフレーム #n+lの同一位置の画素とで、静止と判定された場合、または、ステップ S 2 2 0において、フレーム #n+lの画素とフレーム #n+2の同一位置の画素とで、動きと判定された場合、フレーム #nの画素がアンカバードバックグラウンド領域には属さないので、ステツプ S 2 2 1の処理はスキップされ、手続きは、ステップ S 2 2 2に進む。

ステップ S 2 2 2において、領域特定部 1 0 3は、フレーム #nの全ての画素について領域を特定したか否かを判定し、フレームの全ての画素について領域を特定していないと判定された場合、手続きは、ステップ S 2 1 0に戻り、他の画素について、領域特定の処理を繰り返す。

ステップ S 2 2 2において、フレーム #nの全ての画素について領域を特定したと判定された場合、ステップ S 2 2 3に進み、合成部 2 2 8は、判定フラグ格納フレームメモリ 2 2 7に記憶されているアンカバードバックグラウンド領域判定フラグ、およびカバードバックグラウンド領域判定フラグを基に、混合領域を示す領域情報を生成し、更に、各画素が、アンカバードバックグラウンド領域、静止領域、動き領域、およびカバードバックグラウンド領域のいずれかに属することを示す領域情報を生成し、生成した領域情報を判定フラグ格納フレームメモリ 2 2 9に設定し、処理は終了する。

このように、領域特定部 1 0 3は、フレームに含まれている画素のそれぞれについて、動き領域、静止領域、アンカバードバックグラウンド領域、またはカバ一ドバックグラウンド領域に属することを示す領域情報を生成することができる, 領域特定部 1 0 3は、背景の画像オブジェクトの位置を一致させてから、領域判定の処理を実行するので、より正確な領域情報を生成することができる。

なお、領域特定部 1 0 3は、アンカバードパックグラウンド領域およびカバードバックグラウンド領域に対応する領域情報に論理和を適用することにより、混合領域に対応する領域情報を生成して、フレームに含まれている画素のそれぞれについて、動き領域、静止領域、または混合領域に属することを示すフラグから成る領域情報を生成するよう

前景に対応するォブジェクトがテクスチャを有する場合、領域特定部 1 0 3は、より正確に動き領域を特定することができる。

領域特定部 1 0 3は、動き領域を示す領域情報を前景領域を示す領域情報として、また、静止領域を示す領域情報を背景領域を示す領域情報として出力することができる。

図 3 2は、領域特定部 1 0 3の他の構成を示すブロック図である。オブジェクト抽出部 2 5 1は、入力画像から前景のォブジェクトに対応する前景の画像ォプジェクトを抽出するとともに、前景の画像ォブジェクトに対応する画素以外の画素に背景領域に属することを示す値を設定して、前景の画像オブジェクトおよび背景領域に属することを示す値から構成される領域特定オブジェクトを生成して、動き補償部 2 5 2および減算部 2 5 4に供給する。

オブジェクト抽出部 2 5 1は、例えば、入力画像に含まれる前景のオブジェクトに対応する画像オブジェクトの輪郭を検出することで、前景のォブジェクトに対応する画像オブジェクトを抽出する。また、例えば、オブジェクト抽出部 2 5 1は、内部に設けられている背景メモリに記憶されている背景の画像と、入力画像との差から、前景のオブジェクトに対応する画像オブジェクトを抽出するようにしてもよい。

さらに、例えば、オブジェクト抽出部 2 5 1は、入力画像の動きを検出して、静止している画素に背景領域に属することを示す値を設定して、前景の画像ォプジェクトおよび背景領域に属することを示す値から構成される領域特定オブジェクトを生成するようにしてもよい。

オブジェクト抽出部 2 5 1から出力される領域特定オブジェクトに含まれる画像オブジェクトは、前景領域に属す画素および混合領域に属する画素を含む。

前景のオブジェクトに対応する画像オブジェクトの動き方向に隣接して 1列に並ぶ画素の画素値を時間方向に展開したモデル図の例を図 3 3に示す。例えば、前景のオブジェクトに対応する画像オブジェクトの動き方向が画面に対して水平であるとき、図 3 3におけるモデル図は、 1つのライン上の隣接する画素の画素値を時間方向に展開したモデルを示す。

図 3 3において、フレーム #nにおけるラインは、フレーム #n- 1におけるラインと同一であ ¾。

フレーム #nにおいて、左から 6番目の画素乃至 1 7番目の画素に含まれている前景のオブジェクトに対応する前景の成分は、フレーム #n-lにおいて、左から 2番目乃至 1 3番目の画素に含まれる。

フレーム #n - 1において、カバードバックグラウンド領域に属する画素は、左から 1 1番目乃至 1 3番目の画素であり、アンカバードバックグラウンド領域に属する画素は、左から 2番目乃至 4番目の画素である。

フレーム #nにおいて、カバードバックグラウンド領域に属する画素は、左から 1 5番目乃至 1 7番目の画素であり、アンカバードバックグラウンド領域に属する画素は、左から 6番目乃至 8番目の画素である。

フレーム #n lにおいて、背景領域に属する画素は、左から 1番目の画素、および左から 1 4番目乃至 2 1番目の画素である。

フレーム toにおいて、背景領域に属する画素は、左から 1番目乃至 5番目の画素、および左から 1 8番目乃至 2 1番目の画素である。

図 3 3に示す例に対応する、ォブジェクト抽出部 2 5 1が抽出する領域特定ォブジェクトの例を図 3 4に示す。

オブジェクト抽出部 2 5 1は、入力画像の注目している画素が動いている画素、すなわち、前景の成分を含む、前景領域に属する画素または混合領域に属する画素であるとき、領域特定オブジェクトの対応する画素に、入力画像の注目している画素の画素値をそのまま設定する。

オブジェクト抽出部 2 5 1は、入力画像の注目している画素が静止している画素であるとき、領域特定オブジェクトの対応する画素に、背景領域に属することを示す値を設定する。

このように、前景の成分を含む画素または背景領域に属することを示す値が設定された画素からなる領域特定ォブジェクトが、.動き補償部 2 5 2および減算部 2 5 4に供給される。

動き補償部 2 5 2は、動き検出部 1 0 2から供給された動きべクトルおよびその位置情報を基に、オブジェクト抽出部 2 5 1から供給された領域特定オブジェクトを動き補償する。図 3 5は、動き補償部 2 5 2により、動き補償されたフレーム #n-lの領域特定オブジェクトの例を示す図である。動き補償されたフレーム #n- 1の領域特定ォプジクトの前景領域に属する画素の位置は、フレームの領域特定オブジェクトの前景領域に属する画素の位置に対応する。同様に、動き補償されたフレーム #n- 1の領域特定オブジェクトの混合領域に属する画素の位置は、フレーム #nの領域特定オブジェクトの混合領域に属する画素の位置に対応する。

動き補償部 2 5 2は、動き補償された領域特定オブジェクトをフレームメモリ 2 5 3に供給する。

フレームメモリ 2 5 3は、動き補償された領域特定オブジェクトをフレーム単位で記憶する。オブジェクト抽出部 2 5 1から減算部 2 5 4にフレーム #nの前景のォブジェクトに対応する領域特定ォブジェクトが供給されるとき、フレームメモリ 2 5 3は、フレーム #nの前のフレームであるフレームの、動き補償された領域特定オブジェクトを減算部 2 5 4に供給する。

減算部 2 5 4は、オブジェクト抽出部 2 5 1から供給されたフレーム #ηの領域特定オブジェクトの前景領域に属する画素の画素値から、対応する位置の、フレームメモリ 2 5 3から供給されたフレーム #η_1の領域特定オブジェクトの前景領域に属する画素の画素値を減算して、前景領域に属する画素のフレーム差分を求める。

減算部 2 5 4は、オブジェクト抽出部 2 5 1から供給されたフレーム #ηの領域特定オブジェクトの混合領域に属する画素の画素値から、対応する位置の、フレームメモリ 2 5 3から供給されたフレームの領域特定オブジェクトの混合領域に属する画素の画素値を減じて、混合領域に属する画素のフレーム差分を求める。

減算部 2 5 4は、フレーム #nの領域特定オブジェクトの画素が、背景領域に属することを示す値が設定されているとき、減算を実行しない。

減算部 2 5 4は、前景領域に属する画素のフレーム差分、または混合領域に属する画素のフレーム差分を領域特定オブジェクトの対応する画素に設定し、前景領域に属する画素のフレーム差分、混合領域に属する画素のフレーム差分、または背景領域に属することを示す値が設定された領域特定オブジェクトをしきい値処理部 2 5 5に供給する。

しきい値処理部 2 5 5は、入力されたしきい値 Thと、減算部 2 5 4から供給された領域特定オブジェクトの画素に設定された、前景領域に属する画素のフレーム差分、または混合領域に属する画素のフレーム差分とを比較する。しきいィ直処理部 2 5 5は、領域特定ォブジェクトのフレーム差分がしきい値 Thより大きいと判定された場合、領域特定オブジェクトの対応する画素に、混合領域に属することを示す値を設定する。

しきい値処理部 2 5 5は、領域特定オブジェクトのフレーム差分がしきい値 Th以下であると判定された場合、領域特定オブジェクトの対応する画素に、前景領域に属することを示す値を設定する。

しきい値処理部 2 5 5は、背景領域に属することを示す値、 .混合領域に属することを示す値、および前景領域に属することを示す値のいずれかがそれぞれの画素に設定された領域特定オブジェクトを、混合領域を示す情報を含む領域情報として外部に出力するか、または時間変化検出部 2 5 6に出力する。

図 3 6は、しきい値処理部 2 5 5の処理の例を説明する図である。図 3 6に示すように、フレーム #n-lの前景領域に属する、前景の成分 FO l/v, F02/v, F03/v, および F04/vから構成される画素 P04の位置は、動き補償により、フレームの前景領域に属する、前景の成分 FO l/v, F02/v，F03/v、および F04/vから構成される画素 C04の位置と一致する。

フレーム #_n_lの前景領域に属する、前景の成分 F02/v， F03/v, F04/v、および F05/vから構成される画素 P05の位置は、動き補償により、フレーム #nの前景領域に属する、前景の成分 F02/v, F03/v, F04/v、および F05/vから構成される画素 C05の位置と一致する。

同様に、フレーム #n- 1の前景領域に属する画素 P06、画素 P07、画素 P08、および画素 P09の位置は、動き補償により、フレーム #nの前景領域に属する、それぞれ同一の値を有する画素 C06、画素 C07、画素 C08、または画素 C09の位置と一致する。

このように、前景領域に属する画素のフレーム差分は 0となるので、しきい値処理部 2 5 5は、フレーム差分がしきい値 Th以下であると判定し、画素 C04、画素 C05、画素 C06、画素 C07、画素 C08、および画素 C09に、前景領域に属することを示す値を設定する。

一方、動き補償により、フレーム #n_l の混合領域に属する画素 P01 の位置は、フレーム #nの前景領域に属する画素 C01の位置に対応する。画素 P01が、背景の成分 B02/vを含むのに対して、画素 C01は、背景の成分 B06/vを含むので、減算部 2 5 4は、背景の成分 B02/Vと背景の成分 B06/vとに対応するフレーム差分を出力する。

背景の成分 B02/Vが背景の成分 B06/Vと異なるので、しきい値処理部 2 5 5 は、フレーム差分がしきい値 Thより大きいと判定し、画素 C01に、混合領域に属することを示す値を設定する。

動き補償により、フレーム #n- 1の混合領域に属する画素 P02の位置は、フレーム #nの前景領域に属する画素 C02の位置に対応する。画素 P02が、背景の成分 B03/vを含むのに対して、画素 C02は、背景の成分 B07/vを含むので、減算部 2 5 4は、背景の成分 B03/Vと背景の成分 B07/vとに対応するフレーム差分を出力する。

背景の成分 B03/vが背景の成分 B07/vと異なるので、しきい値処理部 2 5 5 は、フレーム差分がしきい値 Thより大きいと判定し、画素 C02に、混合領域に属することを示す値を設定する。同様に、減算部 2 5 4は、混合領域に属する画素 C03に対応して、背景の成分 B04/vと背景の成分 B08/vとに対応するフレーム差分を出力し、混合領域に属する画素 C10に対応して、背景の成分 Bl l/vと背景の成分 B15/vとに対応するフレーム差分を出力し、混合領域に属する画素 C11に対応して、背景の成分 B12/vと背景の成分 BlS/vとに対応するフレーム差分を出力し、混合領域に属する画素 C12に対応して、背景の成分 B13/vと背景の成分 B17/vとに対応するフレーム差分を出力する。

従って、しきい値処理部 2 5 5は、画素 C03、画素 C10、画素 Cl l、および画素 C12のそれぞれに、混合領域に属することを示す値を設定する。

時間変化検出部 2 5 6は、しきい値処理部 2 5 5から供給された、混合領域を示す情報を含む領域情報を基に、さらに、カバードバックグラウンド領域おょぴアンカバードバックグラウンド領域を特定して、カバードバックグラウンド領域およびアンカバードバックグラウンド領域を示す情報を含む領域情報を生成する _c 図 3 7は、時間変化検出部 2 5 6の構成を説明するブロック図である。フレームメモリ 2 6 1は、フレーム #ηの画素について領域を判定するとき、しきい値処理部 2 5 5から供給された、フレーム #η_1、およびフレーム #ηの混合領域を示す情報を含む領域情報を記憶する。

領域判定部 2 6 2は、フレームメモリ 2 6 1に記憶されているフレーム #η- 1、およびフレーム toの混合領域を示す情報を含む領域情報を基に、フレームの混合領域の各画素について、カバードバックグラウンド領域に属するか、またはアンカバードバックグラウンド領域に属するかを判定して、カバードバックダラゥンド領域およびァンカバードバックグラウンド領域を示す情報を含む領域情報を生成し、生成した領域情報を出力する。

図 3 8およぴ図 3 9に示すように、フレーム #nの混合領域に属する画素に対応する、フレーム #n-lの画素が前景領域に属するとき、フレーム toの混合領域に属する画素は、アンカバードバックグラウンド領域に属する。

フレームの混合領域に属する画素に対応する、フレーム #n- 1の画素が背景領域に属するとき、フレーム #nの混合領域に属する画素は、カバードバックグラウンド領域に属する。

図 3 8において、 Aは、アンカバードバックグラウンド領域を示し、 Bは、前景領域を示す。図 3 8において、 Cは、カバードバックグラウンド領域を示し、 Dは、背景領域を示す。

領域判定部 2 6 2は、図 4 0に示すように、フレーム #n-lの対応する画素が前景領域に属するとき、フレーム #nの混合領域に属する画素がアンカバードバックグラウンド領域に属すると判定し、フレーム 1の対応する画素が背景領域に属するとき、フレームの混合領域に属する画素がカバードバックグラゥンド領域に属すると判定する。

次に、図 4 1のフローチャートを参照して、領域特定部 1 0 3の領域特定の処理を説明する。ステップ S 2 5 1において、領域特定部 1 0 3のオブジェクト抽出部 2 5 1は、入力画像を基に、例えば、輪郭検出の処理により、前景のォブジェクトに対応する前景の画像ォブジェクトを抽出するとともに、背景領域に属する画素に背景領域に属することを示す値を設定して、領域特定オブジェクトを生成する。オブジェクト抽出部 2 5 1は、生成した領域特定オブジェクトを動き補償部 2 5 2および減算部 2 5 4に供給する。

ステップ S 2 5 2において、動き補償部 2 5 2は、動き検出部 1 0 2から供給された動きべクトルおよびその位置情報を基に、オブジェクト抽出部 2 5 1から供給された領域特定ォブジェクトを動き補償する。動き補償部 2 5 2は、動き補償された領域特定オブジェクトをフレームメモリ 2 5 3に供給する。フレームメモリ 2 5 3は、動き補償された領域特定オブジェクトを記憶し、記憶されている領域特定オブジェクトを減算部 2 5 4に供給する。

ステップ S 2 5 3において、減算部 2 5 4は、ォブジェクト抽出部 2 5 1から供給されたフレーム #nの領域特定オブジェクトと、動き補償された、フレームメモリ 2 5 3から供給されたフレーム #n-lの領域特定オブジェクトとの差分を求め、求められた差分をしきい値処理部 2 5 5に供給する。ステップ S 2 5 4において、しきい値処理部 2 5 5は、しきい値 Thを基に、フレーム #nの領域特定オブジェクトと、動き補償されたフレーム 1の領域特定ォブジェクトとの差分から、混合領域を検出し、混合領域を示す情報を含む領域情報を外部に出力するか、または時間変化検出部 2 5 6に供給する。

ステップ S 2 5 5において、時間変化検出部 2 5 6は、混合領域を示す情報を含む領域情報を基に、カバードバックグラウンド領域またはァンカバードバックグラウンド領域を検出する処理を実行して、カバードバックグラウンド領域またはァンカバードバックグラウンド領域を示す情報を含む領域情報を生成し、生成した領域情報を出力し、処理は終了する。

次に、図 4 2のフローチャートを参照して、図 4 1のステップ S 2 5 5に対応する、混合領域を処理の対象とする、カバードバックグラウンド領域またはアンカバードバックグラウンド領域を検出する処理の詳細を説明する。

ステップ S 2 6 1において、時間変化検出部 2 5 6の領域判定部 2 6 2は、混合領域に属する注目している画素に対応する、前のフレームの画素が前景領域に属するか否かを判定し、前のフレームの対応する画素が前景領域に属すると判定された場合、ステップ S 2 6 2に進み、注目している画素がアンカバードバックグラウンド領域に属すると設定し、処理は終了する。

ステップ S 2 6 1において、前のフレームの対応する画素が背景領域に属すると判定された場合、ステップ S 2 6 3に進み、領域判定部 2 6 2は、注目している画素がカバードバックグラウンド領域に属すると設定し、処理は終了する。このように、領域特定部 1 0 3は、注目している画素が存在するフレームの、前景のォブジェクトに対応する前景の画像オブジェクト、および注目している画素が存在するフレームの前のフレームの、動き補償された前景の画像オブジェクトを基に、注目している画素が前景領域、背景領域、および混合領域のいずれかに属するかを特定して、特定した結果に対応する領域情報を生成することができる。

さらに、領域特定部 1 0 3は、注目している画素が存在するフレームの前のフレームの領域情報を基に、混合領域に属する注目している画素が、アンカバードバックグラウンド領域に属するか否か、またはカバードバックグラウンド領域に属するか否かを検出することができる。

図 4 3は、領域特定部 1 0 3のさらに他の構成を示すブロック図である。図 3 2に示す場合と同様の部分には同一の番号を付してあり、その説明は省略する。識別部 2 8 1は、動き検出部 1 0 2から供給された動きべクトルおよびその位置情報、並びにしきい値処理部 2 5 5から供給された混合領域を示す情報を含む領域情報を基に、カバードバックグラウンド領域またはアンカバードバックダラゥンド領域を特定して、カバードバックグラウンド領域またはアンカバ一ドバックグラウンド領域を示す情報を含む領域情報を生成して、生成した領域情報を出力する。

図 4 4は、識別部 2 8 1の判定の処理を説明する図である。図 4 4において、 Aは、アンカバードバックグラウンド領域を示し、 Bは、カバードバックグラウンド領域を示す。図 4 4において、 aおよび bは、注目している画素を示す。図 4 4において、 Vは、動きベクトルを示す。

前景のオブジェクトに対応する前景の画像ォブジェクトの動き方向の先端部に注目している画素が位置するとき、注目している画素は、カバードバックグラウンド領域に属する。前景のオブジェクトに対応する前景の画像オブジェクトの動き方向の後端部に注目している画素が位置するとき、注目している画素は、アンカバードバックグラウンド領域に属する。従って、識別部 2 8 1は、混合領域に属する注目している画素の位置を基準として、動きべクトルで示される位置の画素が前景領域に属するとき、注目している画素がアンカバードバックグラウンド領域に属すると判定する。識別部 2 8 1は、前景領域に属する所定の画素の位置を基準として、混合領域に属する注目している画素の位置が動きべクトルで示されるとき、注目している画素がカバードバックグラウンド領域に属すると判定する。

図 4 5のフローチャートを参照して、混合領域を処理の対象とする、識別部 2 8 1によるカバードバックグラウンド領域またはアンカバードバックグラウンド領域の検出の処理を説明する。

ステップ S 2 8 1において、識別部 2 8 1は、注目している画素が前景のォブジェクトの動き方向の先端部に位置するか否かを判定し、注目している画素が前景のオブジェクトの動き方向の先端部に位置すると判定された場合、ステップ S 2 8 2に進み、注目している画素がカバードバックグラウンド領域に属する旨を設定して、処理は終了する。

ステップ S 2 8 1において、注目している画素が前景のオブジェクトの動き方向の先端部に位置しないと判定された場合、注目している画素が前景のオブジェクトの動き方向の後端部に位置するので、識別部 2 8 1は、ステップ S 2 8 3に進み、注目している画素がアンカパードバックグラウンド領域に属する旨を設定して、処理は終了する。

このように、領域特定部 1 0 3は、動きべクトルを基に、混合領域に属する注目している画素がカバードバックグラウンド領域に属するか、またはアンカバードバックグラウンド領域に属するかを識別することができる。

図 4 6は、混合比算出部 1 0 4の構成の一例を示すブロック図である。推定混合比処理部 4 0 1は、入力画像を基に、カバードバックグラウンド領域のモデルに対応する演算により、画素毎に推定混合比を算出して、算出した推定混合比を混合比決定部 4 0 3に供給する。 '

推定混合比処理部 4 0 2は、入力画像を基に、アンカバードバックグラウンド領域のモデルに対応する演算により、画素毎に推定混合比を算出して、算出した推定混合比を混合比決定部 4 0 3に供給する。

前景に対応するォブジェクトがシャッタ時間内に等速で動いていると仮定できるので、混合領域に属する画素の混合比は、以下の性質を有する。すなわち- 混合比は、画素の位置の変化に対応して、直線的に変化する。画素の位置の変化を 1次元とすれば、混合比の変化は、直線で表現することができ、画素の位置の変化を 2次元とすれば、混合比の変化は、平面で表現することができる。

なお、 1フレームの期間は短いので、前景に対応するオブジェクトが剛体であり、等速で移動していると仮定が成り立つ。

この場合、混合比の傾きは、前景のシャツタ時間内での動き量 Vの逆比となる。

理想的な混合比 Of の例を図 4 7に示す。理想的な混合比の混合領域における傾き 1は、動き量 Vの逆数として表すことができる。

図 4 7に示すように、理想的な混合比ひは、背景領域において、 1の値を有し、前景領域において、 0の値を有し、混合領域において、 0を越え 1未満の値を有する。

図 4 8の例において、フレーム #nの左から 7番目の画素の画素値 C06は、フレーム - 1の左から 7番目の画素の画素値 P06を用いて、式（4 ) で表すことができる。

C06 = B06/V + B06/V + FOllv + F02lv

= P06/V + P06/V + FOllv + F02lv

= 2/νΡ06 +∑,ΓίΙν (4) 式（4 ) において、画素値 C06を混合領域の画素の画素値 Μと、画素値 Ρ06 を背景領域の画素の画素値 Βと表現する。すなわち、混合領域の画素の画素値 Μ および背景領域の画素の画素値 Βは、それぞれ、式（5 ) および式（6 ) のように表現することができる。

M=C06 ( 5 )

B=P06 ( 6 )

式（4 ) 中の 2/vは、混合比に対応する。動き量 Vが 4なので、フレームの左から 7番目の画素の混合比ひは、 0. 5となる。

以上のように、注目しているフレーム #nの画素値 Cを混合領域の画素値と見なし、フレーム toの前のフレーム fc-1の画素値 Pを背景領域の画素値と見なすことで、混合比を示す式（3 ) は、式（7 ) のように書き換えられる。 C= - P+f ( 7 )

式（7 ) の f は、注目している画素に含まれる前景の成分の和 ∑iFi/vである。式（7 ) に含まれる変数は、混合比 αおよび前景の成分の和 f の 2つである。同様に、アンカバードバックグラウンド領域における、動き量 V が 4であり時間方向の仮想分割数が 4である、画素値を時間方向に展開したモデルを図 4 9 に示す。

アンカバードバックグラウンド領域において、上述したカバードバックグラウンド領域における表現と同様に、注目しているフレーム #nの画素値 Cを混合領域の画素値と見なし、フレームの後のフレーム #n+lの画素値 Nを背景領域の画素値と見なすことで、混合比を示す式（3 ) は、式（8 ) のように表現することができる。

C= - N+f ( 8 )

なお、背景のオブジェクトが静止しているとして説明したが、背景のオブジェクトが動いている場合においても、背景の動き量 Vに対応させた位置の画素の画素値を利用することにより、式（4 ) 乃至式（8 ) を適用することができる。例えば、図 4 8において、背景に対応するオブジェクトの動き量 V が 2であり仮想分割数が 2であるとき、背景に対応するオブジェクトが図中の右側に動いているとき、式（6 ) における背景領域の画素の画素値 Bは、画素値 P04とされる。

式（7 ) および式（8 ) は、それぞれ 2つの変数を含むので、そのままでは混合比を求めることができない。ここで、画像は一般的に空間的に相関が強いので近接する画素同士でほぼ同じ画素値となる。

そこで、前景成分は、空間的に相関が強いので、前景の成分の和 f を前または後のフレームから導き出せるように式を変形して、混合比を求める。

図 5 0のフレーム #nの左から 7番目の画素の画素値 Mcは、式（9 ) で表すことができる。

式（9) の右辺第 1項の 2/vは、混合比に相当する。式（9) の右辺第 2項は、後のフレーム #n+lの画素値を利用して、式（10) のように表すこととする。

ここで、前景の成分の空間相関を利用して、式（1 1) が成立するとする。

F=F05=F06=F07=F08=F09=F10=F11=F12 (1 1) 式（1 0) は、式（1 1) を利用して、式（1 2) のように置き換えることがでさる。

=6- -. ( 結果として、 βは、式（13) で表すことができる。

)3=2/4 (1 3)

一般的に、式（1 1) に示すように混合領域に関係する前景の成分が等しいと仮定すると、混合領域の全ての画素について、内分比の関係から式（14) が成立する。

β=1-α (14)

式（14) が成立するとすれば、式（7) は、式（1 5) に示すように展開することができる。

r+v-i

= *P+(i-a)'∑Filv

同様に、式（14) が成立するとすれば、式（8) は、式（16) に示すように展開することができる。

C = a'N+f

= a-N+(l-a)'P (16) 式（1 5) および式（1 6) において、 C, N、および Pは、既知の画素値なので、式（1 5) および式（1 6) に含まれる変数は、混合比ひのみである。式（ 1 5) および式（1 6) における、 C， N、および P の関係を図 5 1に示す _c Cは、混合比 a を算出する、フレーム #nの注目している画素の画素値である。 Nは、注目している画素と空間方向の位置が対応する、フレーム #n+lの画素の画素値である。 Pは、注目している画素と空間方向の位置が対応する、フレーム #n-lの画素の画素値である。

従って、式（1 5) および式（1 6) のそれぞれに 1つの変数が含まれることとなるので、 3つのフレームの画素の画素値を利用して、混合比 o を算出することができる。式（1 5) および式（1 6) を解くことにより、正しい混合比が算出されるための条件は、混合領域に関係する前景の成分が等しい、すなわち、前景のォブジェクトが静止しているとき撮像された前景の画像ォブジェクトにおいて、前景のオブジェクトの動きの方向に対応する、画像オブジェクトの境界に位置する画素であって、動き量 Vの 2倍の数の連続している画素の画素値が、一定であることである。

以上のように、カバードバックグラウンド領域に属する画素の混合比は、式（1 7) により算出され、アンカパードバックグラウンド領域に属する画素の混合比は、式（1 8) により算出される。

Of = (C-N)/(P-N) (1 7)

a = (C-P)/(N-P) (1 8)

図 5 2は、推定混合比処理部 40 1の構成を示すブロック図である。フレームメモリ 4 2 1は、入力された画像をフレーム単位で記憶し、入力画像として入力されているフレームから 1つ後のフレームをフレームメモリ 4 2 2および混合比演算部 4 2 3に供給する。

フレームメモリ 4 2 2は、入力された画像をフレーム単位で記憶し、フレームメモリ 4 2 1から供給されているフレームから 1つ後のフレームを混合比演算部 4 2 3に供給する。

従って、入力画像としてフレーム #n+lが混合比演算部 4 2 3に入力されているとき、フレームメモリ 4 2 1は、フレーム #n を混合比演算部 4 2 3に供給し- フレームメモリ 4 2 2は、フレーム #n_lを混合比演算部 4 2 3に供給する。

混合比演算部 4 2 3は、式（1 7 ) に示す演算により、フレーム toの注目している画素の画素値 c、注目している画素と空間的位置が対応する、フレーム #n+lの画素の画素値 N、および注目している画素と空間的位置が対応する、フレーム #_n- 1の画素の画素値 Pを基に、注目している画素の推定混合比を算出して、算出した推定混合比を出力する。例えば、背景が静止しているとき、混合比演算部 4 2 3は、フレーム #nの注目している画素の画素値 C、注目している画素とフレーム内の位置が同じ、フレーム #n+lの画素の画素値 N、および注目している画素とフレーム内の位置が同じ、フレーム #n- 1 の画素の画素値 P を基に、注目している画素の推定混合比を算出して、算出した推定混合比を出力する。

このように、推定混合比処理部 4 0 1は、入力画像を基に、推定混合比を算出して、混合比決定部 4 0 3に供給することができる。

なお、推定混合比処理部 4 0 2は、推定混合比処理部 4 0 1が式（1 7 ) に示す演算により、注目している画素の推定混合比を算出するのに対して、式（1 8 ) に示す演算により、注目している画素の推定混合比を算出する部分が異なることを除き、推定混合比処理部 4 0 1と同様なので、その説明は省略する。

図 5 3は、推定混合比処理部 4 0 1により算出された推定混合比の例を示す図である。図 5 3に示す推定混合比は、等速で動いているオブジェクトに対応する前景の動き量 V が 1 1である場合の結果を、 1ラインに対して示すものである _c 推定混合比は、混合領域において、図 4 7に示すように、ほぼ直線的に変化していることがわかる。

図 4 6に戻り、混合比決定部 4 0 3は、領域特定部 1 0 3から供給された、混合比の算出の対象となる画素が、前景領域、背景領域、カバードバックダラゥンド領域、またはアンカバードバックグラウンド領域のいずれかに属するかを示す領域情報を基に、混合比 Of を設定する。混合比決定部 4 0 3は、対象となる画素が前景領域に属する場合、 0を混合比に設定し、対象となる画素が背景領域に属する場合、 1を混合比に設定し、対象となる画素がカバードバックグラウンド領域に属する場合、推定混合比処理部 4 0 1から供給された推定混合比を混合比に設定し、対象となる画素がアンカバードバックグラウンド領域に属する場合、推定混合比処理部 4 0 2から供給された推定混合比を混合比 a に設定する。混合比決定部 4 0 3は、領域情報を基に設定した混合比を出力する。

図 5 4は、混合比算出部 1 0 4の他の構成を示すプロック図である。選択部 4 4 1は、領域特定部 1 0 3から供給された領域情報を基に、カバードバックグラゥンド領域に属する画素および、これに対応する前および後のフレームの画素を推定混合比処理部 4 4 2に供給する。選択部 4 4 1は、領域特定部 1 0 3から供給された領域情報を基に、アンカパードバックグラウンド領域に属する画素および、これに対応する前および後のフレームの画素を推定混合比処理部 4 4 3に供給する。

推定混合比処理部 4 4 2は、選択部 4 4 1から入力された画素値を基に、式 ( 1 7 ) に示す演算により、カバードバックグラウンド領域に属する、注目している画素の推定混合比を算出して、算出した推定混合比を選択部 4 4 4に供給する。

推定混合比処理部 4 4 3は、選択部 4 4 1から入力された画素値を基に、式 ( 1 8 ) に示す演算により、アンカバードバックグラウンド領域に属する、注目している画素の推定混合比を算出して、算出した推定混合比を選択部 4 4 4に供給する。選択部 4 4 4は、領域特定部 1 0 3から供給された領域情報を基に、対象となる画素が前景領域に属する場合、 0である推定混合比を選択して、混合比に設定し、対象となる画素が背景領域に属する場合、 1である推定混合比を選択して、混合比に設定する。選択部 4 4 4は、対象となる画素がカバードバックグラウンド領域に属する場合、推定混合比処理部 4 4 2から供給された推定混合比を選択して混合比に設定し、対象となる画素がアンカバードバックグラウンド領域に属する場合、推定混合比処理部 4 4 3から供給された推定混合比を選択して混合比に設定する。選択部 4 4 4は、領域情報を基に選択して設定した混合比を出力する。

このように、図 5 4に示す他の構成を有する混合比算出部 1 0 4は、画像の含まれる画素毎に混合比を算出して、算出した混合比を出力することができる。

図 5 5のフローチャートを参照して、図 4 6に構成を示す混合比算出部 1 0 4 の混合比の算出の処理を説明する。ステップ S 4 0 1において、混合比算出部 1 0 4は、領域特定部 1 0 3から供給された領域情報を取得する。ステップ S

4 0 2において、推定混合比処理部 4 0 1は、カバードバックグラウンド領域に対応するモデルにより推定混合比の演算の処理を実行し、算出した推定混合比を混合比決定部 4 0 3に供給する。混合比推定の演算の処理の詳細は、図 5 6のフローチャートを参照して、後述する。ステップ S 4 0 3において、推定混合比処理部 4 0 2は、アンカバードバックグラウンド領域に対応するモデルにより推定混合比の演算の処理を実行し、算出した推定混合比を混合比決定部 4 0 3に供給する。

ステップ S 4 0 4において、混合比算出部 1 0 4は、フレーム全体について、混合比を推定したか否かを判定し、フレーム全体について、混合比を推定していないと判定された場合、ステップ S 4 0 2に戻り、次の画素について混合比を推定する処理を実行する。

ステップ S 4 0 4において、フレーム全体について、混合比を推定したと判定された場合、ステップ S 4 0 5に進み、混合比決定部 4 0 3は、画素が、前景領域、背景領域、カバードバックグラウンド領域、またはアンカバードバックグラウンド領域のいずれかに属するかを示す、領域特定部 1 0 3から供給された領域情報を基に、混合比を設定する。混合比決定部 4 0 3は、対象となる画素が前景領域に属する場合、 0を混合比ひに設定し、対象となる画素が背景領域に属する場合、 1を混合比に設定し、対象となる画素がカバードバックグラウンド領域に属する場合、推定混合比処理部 4 0 1から供給された推定混合比を混合比に設定し、対象となる画素がアンカバードバックグラウンド領域に属する場合、推定混合比処理部 4 0 2から供給された推定混合比を混合比 aに設定し、処理は終了する。

このように、混合比算出部 1 0 4は、領域特定部 1 0 3から供給された領域情報、および入力画像を基に、各画素に対応する特徴量である混合比 α を算出することができる。

図 5 4に構成を示す混合比算出部 1 0 4の混合比の算出の処理は、図 5 5 のフローチャートで説明した処理と同様なので、その説明は省略する。

次に、図 5 5のステップ S 4 0 2に対応する、カバードバックグラウンド領域に対応するモデルによる混合比推定の処理を図 5 6のフローチャートを参照して説明する。

ステップ S 4 2 1において、混合比演算部 4 2 3は、フレームメモリ 4 2 1から、フレーム #ηの注目画素の画素値 Cを取得する。

ステップ S 4 2 2において、混合比演算部 4 2 3は、フレームメモリ 4 2 2から、注目画素に対応する、フレーム #η-1の画素の画素値 Ρを取得する。

ステップ S 4 2 3において、混合比演算部 4 2 3は、入力画像に含まれる注目画素に対応する、フレーム #η+1の画素の画素値 Νを取得する。

ステップ S 4 2 4において、混合比演算部 4 2 3は、フレーム #ηの注目画素の画素値 C、フレーム - 1の画素の画素値 P、およびフレーム #n+lの画素の画素値 Nを基に、推定混合比を演算する。ステップ S 4 2 5において、混合比演算部 4 2 3は、フレーム全体について、推定混合比を演算する処理を終了したか否かを判定し、フレーム全体について、推定混合比を演算する処理を終了していないと判定された場合、ステップ S 4 2 1に戻り、次の画素について推定混合比を算出する処理を繰り返す。

ステップ S 4 2 5において、フレーム全体について、推定混合比を演算する処理を終了したと判定された場合、処理は終了する。

このように、推定混合比処理部 4 0 1は、入力画像を基に、推定混合比を演算することができる。

図 5 5のステップ S 4 0 3におけるアンカバードバックグラウンド領城に対応するモデルによる混合比推定の処理は、アンカバードバックグラウンド領域のモデルに対応する式を利用した、図 5 6のフローチャートに示す処理と同様なので、その説明は省略する。

なお、図 5 4に示す推定混合比処理部 4 4 2および推定混合比処理部 4 4 3は、図 5 6に示すフローチヤ一トと同様の処理を実行して推定混合比を演算するので、その説明は省略する。

また、背景に対応するオブジェクトが静止しているとして説明したが、背景領域に対応する画像が動きを含んでいても上述した混合比を求める処理を適用することができる。例えば、背景領域に対応する画像が一様に動いているとき、推定混合比処理部 4 0 1は、背景の動きに対応して画像全体をシフトさせ、背景に対応するオブジェクトが静止している場合と同様に処理する。また、背景領域に対応する画像が局所毎に異なる背景の動きを含んでいるとき、推定混合比処理部 4 0 1は、混合領域に属する画素に対応する画素として、背景の動きに対応した画素を選択して、上述の処理を実行する。

また、混合比算出部 1 0 4は、全ての画素について、カバードバックグラウンド領域に対応するモデルによる混合比推定の処理のみを実行して、算出された推定混合比を混合比として出力するようにしてもよレ、。この場合において、混合比は、カバードバックグラウンド領域に属する画素について、背景の成分の割合を示し、アンカバードパックグラウンド領域に属する画素について、前景の成分の割合を示す。アンカバードバックグラウンド領域に属する画素について、このように算出された混合比 α と 1との差分の絶対値を算出して、算出した絶対値を混合比に設定すれば、信号処理装置は、アンカバードバックグラウンド領域に属する画素について、背景の成分の割合を示す混合比を求めることができる。

なお、同様に、混合比算出部 1 0 4は、全ての画素について、アンカバードバックグラウンド領域に対応するモデルによる混合比推定の処理のみを実行して、算出された推定混合比を混合比として出力するようにしてもよい。

次に、混合比ひが直線的に変化する性質を利用して混合比 αを算出する混合比算出部 1 0 4について説明する。 '

上述したように、式（7 ) および式（8 ) は、それぞれ 2つの変数を含むので、そのままでは混合比を求めることができない。

そこで、シャツタ時間内において、前景に対応するオブジェクトが等速で動くことによる、画素の位置の変化に対応して、混合比が直線的に変化する性質を利用して、空間方向に、混合比と前景の成分の和 f とを近似した式を立てる。混合領域に属する画素の画素値および背景領域に属する画素の画素値の組の複数を利用して、混合比と前景の成分の和 f とを近似した式を解く。

混合比の変化を、直線として近似すると、混合比ひは、式（1 9 ) で表される。

Qf =il+P ( 1 9 )

式（1 9 ) において、 iは、注目している画素の位置を 0とした空間方向のインデッタスである。 1は、混合比 aの直線の傾きである。 pは、混合比の直線の切片である共に、注目している画素の混合比である。式（1 9 ) において、インデックス iは、既知であるが、傾き 1および切片 pは、未知である。

インデックス i、傾きおよび切片 pの関係を図 5 7に示す。図 5 7において、白丸は、注目画素を示し、黒丸は、近傍画素を示す。混合比ひを式（1 9) のように近似することにより、複数の画素に対して複数の異なる混合比は、 2つの変数で表現される。図 5 7に示す例において、 5つの画素に対する 5つの混合比は、 2つの変数である傾き 1および切片 pにより表現される。

図 5 8に示す平面で混合比 α を近似すると、画像の水平方向および垂直方向の 2つの方向に対応する動き V を考慮したとき、式（1 9) を平面に拡張して、混合比は、式（2 0) で表される。図 5 8において、白丸は、注目画素を示す。

Qf^jm+kq+p (20)

式（2 0) において、 jは、注目している画素の位置を 0とした水平方向のインデッタスであり、 kは、垂直方向のインデックスである。 mは、混合比の面の水平方向の傾きであり、 q は、混合比の面の垂直方向の傾きである。 p は、混合比の面の切片である。

例えば、図 48に示すフレーム #nにおいて、 C05乃至 C07について、それぞれ、式（2 1) 乃至式 (2 3) が成立する。

C05= 05-B05/v+f05 (2 1)

C06=a06-B06/v+f06 (2 2)

前景の成分が近傍で一致する、すなわち、 F01乃至 F03が等しいとして、 F01 乃至 F03を Fcに置き換えると式（24) が成立する。

f (χ) = (ΐ-α (x)) · Fc (24)

式（24) において、 xは、空間方向の位置を表す。

01 ( X ) を式（2 0) で置き換えると、式（24) は、式（2 5) として表すことができる。

f (x) = (l-(jm+kq+p)) · Fc

=j · (- m · Fc) +k · (- q · Fc) +((l-p) ■ Fc)

=js+kt+u (2 5) 式（2 5 ) において、（- m . Fc) 、（― q · Fc) 、および（l_p) · Fcは、式

( 2 6) 乃至式（2 8 ) に示すように置き換えられている。

s= - m · Fc 6 )

t=-q · Fc ( 2 7)

u=(l-p) ■ Fc ( 2 8)

式（2 5 ) において、 jは、注目している画素の位置を 0とした水平方向のィンデッタスであり、 kは、垂直方向のインデックスである。

このように、前景に対応するォブジェクトがシャツタ時間内において等速に移動し、前景に対応する成分が近傍において一定であるという仮定が成立するので、前景の成分の和は、式（2 5) で近似される。

なお、混合比 αを直線で近似する場合、前景の成分の和は、式（2 9) で表すことができる。

f (x)=is+u ( 2 9)

式（9) の混合比おょぴ前景成分の和を、式（2 0) および式（2 5) を利用して置き換えると、画素値 Mは、式（3 0) で表される。

M=(jm+kq+p) · B+js+kt+u

=j"B · m+kB · q+B , p+j ■ s+k · t+u ( 3 0)

式（3 0) において、未知の変数は、混合比の面の水平方向の傾き m、混合比の面の垂直方向の傾き q、混合比の面の切片 p、 s、 t、および uの 6 つである。

注目している画素の近傍の画素に対応させて、式（3 0) に示す正規方程式に- 画素値 Mまたは画素値 Bを設定し、画素値 Mまたは画素値 Bが設定された複数の正規方程式を最小自乗法で解いて、混合比を算出する。

例えば、注目している画素の水平方向のインデックス jを 0とし、垂直方向のィンデッタス k を 0とし、注目している画素の近傍の 3 X 3の画素について. 式（3 0) に示す正規方程式に画素値 Mまたは画素値 Bを設定すると、式（3 1 ) 乃至式（3 9) を得る。 M—

· p+ 1) · s+(— 1) - +u ( 3 1 ) 0_i_₁=(0) · B_0>— . m+(-l) · Bo,.! . q+Bo,.! . p+(0) . s+(-l) - t+u ( 3 2)

M^.^i+l) ■ Β_+1ι_! · ra+(-l) · B₊₁,— i · q+B+ i ■ p+(+l) · s+ (- 1) - t+u ( 3 3) M._li0=(-1) ■ B__li0 · m+(0) · B._li0 · q+B__li0 · p+ (- 1) · s+(0) - t+u ( 3 4) M₀,₀=(0) ■ B_0i0 ■ m+(0) ■ B₀,₀ · q+B₀,₀ - p+ (0) - s+(0) - t+u ( 3 5)

M_+li0=(+l) · B₊₁,₀■ m+(0) ■ B₊₁,₀ · q+B_+li0 · p+(+l) · s+ (0) - t+u ( 3 6)

Μ__1ι+1=(-1) · B__li+1 · m+ (+1) · B._1>+1 · q+B._li+1 · p+ 1) ■ s+(+l) - t+u ( 3 7) M_0i+1=(0) · B₀₍₊₁ . ra+(+l) . B₀，₊₁ · q+B₀, · p+(0) . s+(+l) - t+u ( 3 8)

M₊₁,₊₁=(+l) · B₊₁,₊₁ · m+(+l) ■ B_+1>+1 · q+B_+1>+1 ■ p+(+l) · s+(+l) - t+u ( 3 9 ) 注目している画素の水平方向のインデックス jが 0であり、垂直方向のインデックス kが 0であるので、注目している画素の混合比は、式（2 0 ) より j=0および k=0のときの値、すなわち、切片 pに等しい。

従って、式（3 1 ) 乃至式（3 9) の 9つの式を基に、最小自乗法により、水平方向の傾き m、垂直方向の傾き q、切片 p s t、および uのそれぞれの値を算出し、切片 pを混合比として出力すればよい。

次に、最小自乗法を適用して混合比を算出するより具体的な手順を説明する。

ィンデックス i およびインデックス k を 1つのィンデックス Xで表現するとインデックス i、インデックスおよびインデックス Xの関係は、式（4 0) で表される。

X二（j+1) · 3+(k+l) (4 0)

水平方向の傾き m、垂直方向の傾き q、切片 p s t、および uをそれぞれ変数 w0 wl w2, w3 w4、およぴ W5と表現し、 jB, kB B, j k、および 1をそれぞれ a0 al, a², a³, a⁴、および a5と表現する。誤差 exを考慮すると、式（3 1 ) 乃至式（3 9 ) は、式（4 1 ) に書き換えることができる。

Mx =∑avWy +€x (41)

V = 0 式（4 1) において、 xは、 0乃至 8の整数のいずれかの値である。

式（4 1) から、式（4 2) を導くことができる。

ここで、最小自乗法を適用するため、誤差の自乗和 Eを式（4 3) に示すように定義する。

S

E=∑ex² (43)

x = 0

誤差が最小になるためには、誤差の自乗和 Eに対する、変数の偏微分が 0 になればよい。ここで、 Vは、 0乃至 5の整数のいずれかの値である。従って、式（44) を満たすように wyを求める。

dex

x = o

S

= 2'∑ex- = Q (44)

x = o

式（44) に式（4 2) を代入すると、式（4 5) を得る。

式（4 5) の vに 0乃至 5の整数のいずれか 1つを代入して得られる 6つの式に、例えば、掃き出し法（Gauss- Jordanの消去法）などを適用して、 wyを算出する。上述したように、 w0は水平方向の傾き raであり、は垂直方向の傾き qであり、 w2は切片 pであり、 w3は sであり、 w4は tであり、 w5は uである, 以上のように、画素値 Mおよび画素値 Bを設定した式に、最小自乗法を適用することにより、水平方向の傾き m、垂直方向の傾き q、切片 p、 s、 t、および uを求めることができる。

式（3 1) 乃至式（3 9) に対応する説明において、混合領域に含まれる画素の画素値を Mとし、背景領域に含まれる画素の画素値を Bとして説明したが、注目している画素が、カバードバックグラウンド領域に含まれる場合、またはァンカバードバックグラウンド領域に含まれる場合のそれぞれに対して、正規方程式を立てる必要がある。

例えば、図 4 8に示す、フレーム #nのカバードバックグラウンド領域に含まれる画素の混合比を求める場合、フレーム #nの画素の C04乃至 C08、およびフレーム #n- 1の画素の画素値 P04乃至 P08が、正規方程式に設定される。

図 4 9に示す、フレーム #nのアンカバードバックグラウンド領域に含まれる画素の混合比を求める場合、フレ^ム #nの画素の C28乃至 C32、およびフレーム #η+1の画素の画素値 Ν28乃至 Ν32力正規方程式に設定される。

また、例えば、図 5 9に示す、カバードバックグラウンド領域に含まれる画素の混合比を算出するとき、以下の式（4 6) 乃至式（54) が立てられる。図 5 9において、白丸は、背景と見なす画素を示し、黒丸は、混合領域の画素と見なす画素を示す。混合比を算出する画素の画素値は、 Mc5である。

Mcl=(-1) ■ Bel · ra+(- 1) ■ Bel · q+Bcl · p+(-l) · s+ (- 1) . t+u (4 6)

Mc2=(0) - Bc2 - m+(-l) ■ Bc2 ■ q+Bc2 ■ p+(0) · s+ (- 1) ■ t+u (4 7) Mc3=(+1) - Bc3 ■ ra+(_l) · Bc3 - q+Bc3 , p+(+l) - s+(-l) - t+u (4 8)

Mc4= (-1) - Bc4■ m+(0) - Bc4 · q+Bc4 - p+(-l) - s+(0) - t+u (4 9)

Mc5= (0) - Bc5 · m+ (0) ■ Bc5 , q+Bc5 · p+ (0) · s+ (0) - t+u (5 0) Mc6= (+1) · Bc6 - m+(0) - Bc6 - q+Bc6 - p+(+l) - s+(0) - t+u (5 1) Mc7= (-1) - Bc7 · m+ (+1) · Bc7 · q+Bc7 - p+ (-1) - s+ (+1) - t+u (5 2) Mc8=(0) - Bc8 · m+(+l) · Bc8 · q+Bc8 - p+ (0) - s+(+l) - t+u (5 3) Mc9=(+1) ■ Bc9 · m+(+l) · Bc9 · q+Bc9 - p+(+l) · s+(+l) - t+u (54)

フレーム #nのカバードバックグラウンド領域に含まれる画素の混合比を算出するとき、式（46) 乃至式（54) において、フレーム #nの画素に対応する、フレーム #n- 1の画素の背景領域の画素の画素値 Bel乃至 Bc9が使用される, 図 5 9に示す、アンカバードバックグラウンド領域に含まれる画素の混合比を算出するとき、以下の式（5 5) 乃至式（6 3) が立てられる。混合比を算出する画素の画素値は、 Mu5である。 Mul= (-1) - Bui - m+ (-1) - Bui - q+Bul - p+ (-1) - s+ (-1) - t+u (5 5) Mu2=(0) · Bu2 · ra+ (- 1) · Bu2 - q+Bu2 - p+(0) · s+ (- 1) - t+u (5 6) u3=(+1) ■ Bu3■ m+ (- 1) - Bu3 · q+Bu3 · p+(+l) · s+ (- 1) - t+u (5 7)

Mu4=(-1) - Bu4 - m+(0) - Bu4 - q+Bu4 - p+ (- 1) - s+ (O) - t+u (5 8) u5=(0) ■ Bu5 · m+(0) · Bu5 - q+Bu5 - p+ (0) - s+(0) - t+u (5 9) Mu6=(+1) - Bu6 · m+(0) · Bu6■ q+Bu6 · p+(+l) - s+(0) - t+u (6 0)

Mu7=(-1) - Bu7 - m+(+l) · Bu7 - q+Bu7 · p+(- 1) - s+(+l) - t+u (6 1) Mu8=(0) · Bu8 - m+(+l) - Bu8 · q+Bu8 - p+ (0) - s+(+l) - t+u (6 2)

Mu9=(+1) · Bu9-- m+ (+1) · Bu9 · q+Bu9 · p+(+l) ■ s+(+l) - t+u (6 3) フレーム #nのアンカバードバックグラウンド領域に含まれる画素の混合比を算出するとき、式（5 5) 乃至式（6 3) において、フレーム #ηの画素に対応する、フレーム #η+1の画素の背景領域の画素の画素値 Bui乃至 Bu9が使用される。

図 6 0は、推定混合比処理部 40 1の構成を示すプロック図である。推定混合比処理部 4 0 1に入力された画像は、遅延回路 5 0 1および足し込み部 5 0 2に供給される。

遅延回路 5 0 1は、入力画像を 1フレーム遅延させ、足し込み部 5 0 2に供給する。足し込み部 5 0 2に、入力画像としてフレーム #n が入力されているとき遅延回路 5 0 1は、フレーム - 1を足し込み部 5 0 2に供給する。

足し込み部 5 0 2は、混合比 aを算出する画素の近傍の画素の画素値、およびフレーム #n- 1の画素値を、正規方程式に設定する。例えば、足し込み部 5 0 2は、式（4 6) 乃至式（54) に基づいて、正規方程式に画素値 Mcl乃至 Mc9 および画素値 Bel乃至 Bc9を設定する。足し込み部 5 0 2は、画素値が設定された正規方程式を演算部 5 0 3に供給する。

演算部 5 0 3は、足し込み部 5 0 2から供給された正規方程式を掃き出し法などにより解いて推定混合比を求め、求められた推定混合比を出力する。

このように、推定混合比処理部 40 1は、入力画像を基に、推定混合比を算出して、混合比決定部 4 0 3に供給することができる。

なお、推定混合比処理部 4 0 2は、推定混合比処理部 4 0 1と同様の構成を有するので、その説明は省略する。

図 6 1は、推定混合比処理部 4 0 1により算出された推定混合比の例を示す図である。図 6 1に示す推定混合比は、等速で動いているォブジ-タトに対応する前景の動き Vが 1 1であり、 7 X 7画素のブロックを単位として方程式を生成して算出された結果を、 1ラインに対して示すものである。

推定混合比は、混合領域において、図 6 0に示すように、ほぼ直線的に変化していることがわかる。

次に、図 6 0に構成を示す推定混合比処理部 4 0 1による、カバードバックグラウンド領域に対応するモデルによる混合比推定の処理を図 6 2のフローチヤ一トを参照して説明する。

ステップ S 5 2 1において、足し込み部 5 0 2は、入力された画像に含まれる画素値、および遅延回路 5 0 1から供給される画像に含まれる画素値を、カバードバックグラウンド領域のモデルに対応する正規方程式に設定する。

ステップ S 5 2 2において、推定混合比処理部 4 0 1は、対象となる画素についての設定が終了したか否かを判定し、対象となる画素についての設定が終了していないと判定された場合、ステップ S 5 2 1に戻り、正規方程式への画素値の設定の処理を繰り返す。

ステップ S 5 2 2において、対象となる画素についての画素値の設定が終了したと判定された場合、ステップ S 5 2 3に進み、演算部 5 0 3は、画素値が設定された正規方程式を基に、推定混合比を演算して、求められた推定混合比を出力する。

このように、図 6 0に構成を示す推定混合比処理部 4 0 1は、入力画像を基に推定混合比を演算することができる。

アンカバードバックグラウンド領域に対応するモデルによる混合比推定の処理は、アンカバードバックグラウンド領域のモデルに対応する正規方程式を利用した、図 6 2のフローチャートに示す処理と同様なので.、その説明は省略する。

なお、背景に対応するオブジェクトが静止しているとして説明したが、背景領域に対応する画像が動きを含んでいても上述した混合比を求める処理を適用することができる。例えば、背景領域に対応する画像が一様に動いているとき、推定混合比処理部 4 0 1は、この動きに対応して画像全体をシフトさせ、背景に対応するオブジェクトが静止している場合と同様に処理する。また、背景領域に対応する画像が局所毎に異なる動きを含んでいるとき、推定混合比処理部 4 0 1は、混合領域に属する画素に対応する画素として、動きに対応した画素を選択して、上述の処理を実行する。

このように、混合比算出部 1 0 2は、領域特定部 1 0 1から供給された領域情報、および入力画像を基に、各画素に対応する特徴量である混合比を算出することができる。

混合比を利用することにより、動いているオブジェクトに対応する画像に含まれる動きボケの情報を残したままで、画素値に含まれる前景の成分と背景の成分とを分離することが可能になる。

また、混合比に基づいて画像を合成すれば、実世界を実際に撮影し直したような動いているオブジェクトのスピードに合わせた正しい動きボケを含む画像を作ることが可能になる。

次に、前景背景分離部 1 0 5について説明する。図 6 3は、前景背景分離部 1 0 5の構成の一例を示すプロック図である。前景背景分離部 1 0 5に供給された入力画像は、分離部 6 0 1、スィッチ 6 0 2、およびスィッチ 6 0 4に供給される。カバードバックグラウンド領域を示す情報、およびアンカバードバックダラゥンド領域を示す、領域特定部 1 0 3から供給された領域情報は、分離部 6 0 1 に供給される。前景領域を示す領域情報は、スィッチ 6 0 2に供給される。背景領域を示す領域情報は、スィツチ 6 0 4に供給される。

混合比算出部 1 0 4から供給された混合比は、分離部 6 0 1に供給される, 分離部 6 0 1は、カバードバックグラウンド領域を示す領域情報、アンカパードバックグラウンド領域を示す領域情報、および混合比を基に、入力画像から前景の成分を分離して、分離した前景の成分を合成部 6 0 3に供給するとともに、入力画像から背景の成分を分離して、分離した背景の成分を合成部 6 0 5に供給する。

スィツチ 6 0 2は、前景領域を示す領域情報を基に、前景に対応する画素が入力されたとき、閉じられ、入力画像に含まれる前景に対応する画素のみを合成部 6 0 3に供給する。

スィッチ 6 0 4は、背景領域を示す領域情報を基に、背景に対応する画素が入力されたとき、閉じられ、入力画像に含まれる背景に対応する画素のみを合成部 6 0 5に供給する。

合成部 6 0 3は、分離部 6 0 1から供給された前景に対応する成分、スィッチ 6 0 2から供給された前景に対応する画素を基に、前景成分画像を合成し、合成した前景成分画像を出力する。前景領域と混合領域とは重複しないので、合成部 6 0 3は、例えば、前景に対応する成分と、前景に対応する画素とに論理和の演算を適用して、前景成分画像を合成する。

合成部 6 0 3は、前景成分画像の合成の処理の最初に実行される初期化の処理において、内蔵しているフレームメモリに全ての画素値が 0である画像を格納し- 前景成分画像の合成の処理において、前景成分画像を格納（上書き）する。従つて、合成部 6 0 3が出力する前景成分画像の内、背景領域に対応する画素には、画素値として 0が格納されている。

合成部 6 0 5は、分離部 6 0 1から供給された背景に対応する成分、スィッチ 6 0 4から供給された背景に対応する画素を基に、背景成分画像を合成して、合成した背景成分画像を出力する。背景領域と混合領域とは重複しないので、合成部 6 0 5は、例えば、背景に対応する成分と、背景に対応する画素とに論理和の演算を適用して、背景成分画像を合成する。

合成部 6 0 5は、背景成分画像の合成の処理の最初に実行される初期化の処理において、内蔵しているフレームメモリに全ての画素値が 0である画像を格納し- 背景成分画像の合成の処理において、背景成分画像を格納（上書き）する。従つて、合成部 6 0 5が出力する背景成分画像の内、前景領域に対応する画素には、画素値として 0が格納されている。

図 6 4 Aは、前景背景分離部 1 0 5に入力される入力画像、並びに前景背景分離部 1 0 5から出力される前景成分画像および背景成分画像を示す図である。図 6 4 Bは、前景背景分離部 1 0 5に入力される入力画像、並びに前景背景分離部 1 0 5から出力される前景成分画像および背景成分画像のモデルを示す図である, 図 6 4 Aは、表示される画像の模式図であり、図 6 4 Bは、図 6 4 Aに対応する前景領域に属する画素、背景領域に属する画素、および混合領域に属する画素を含む 1ラインの画素を時間方向に展開したモデル図を示す。

図 6 4 Aおよび図 6 4 Bに示すように、前景背景分離部 1 0 5から出力される背景成分画像は、背景領域に属する画素、および混合領域の画素に含まれる背景の成分から構成される。

図 6 4 Aおよび図 6 4 Bに示すように、前景背景分離部 1 0 5から出力される前景成分画像は、前景領域に属する画素、および混合領域の画素に含まれる前景の成分から構成される。

混合領域の画素の画素値は、前景背景分離部 1 0 5により、背景の成分と、前景の成分とに分離される。分離された背景の成分は、背景領域に属する画素と共に、背景成分画像を構成する。分離された前景の成分は、前景領域に属する画素と共に、前景成分画像を構成する。

このように、前景成分画像は、背景領域に対応する画素の画素値が 0とされ、前景領域に対応する画素および混合領域に対応する画素に意味のある画素値が設定される。同様に、背景成分画像は、前景領域に対応する画素の画素値が 0とされ、背景領域に対応する画素および混合領域に対応する画素に意味のある画素値が設定される。

次に、分離部 6 0 1が実行する、混合領域に属する画素から前景の成分、および背景の成分を分離する処理について説明する。図 6 5は、図中の左から右に移動するオブジェクトに対応する前景を含む、 2 つのフレームの前景の成分および背景の成分を示す画像のモデルである。図 6 5 に示す画像のモデルにおいて、前景の動き量 Vは 4であり、仮想分割数は、 4 とされている。

フレーム toにおいて、最も左の画素、および左から 1 4番目乃至 1 8番目の画素は、背景の成分のみから成り、背景領域に属する。フレーム #nにおいて、左から 2番目乃至 4番目の画素は、背景の成分および前景の成分を含み、アンカバードバックグラウンド領域に属する。フレーム ί|_ηにおいて、左から 1 1番目乃至 1 3番目の画素は、背景の成分および前景の成分を含み、カバードバックグラウンド領域に属する。フレーム toにおいて、左から 5番目乃至 1 0番目の画素は、前景の成分のみから成り、前景領域に属する。

フレーム #n+lにおいて、左から 1番目乃至 5番目の画素、および左から 1 8 番目の画素は、背景の成分のみから成り、背景領域に属する。フレーム #n+lにおいて、左から 6番目乃至 8番目の画素は、背景の成分おょぴ前景の成分を含み、アンカバードバックグラウンド領域に属する。フレーム #n+lにおいて、左から 1 5番目乃至 1 7番目の画素は、背景の成分および前景の成分を含み、カバードバックグラウンド領域に属する。フレーム #n+lにおいて、左から 9番目乃至 1 4番目の画素は、前景の成分のみから成り、前景領域に属する。

図 6 6は、カバードパックグラウンド領域に属する画素から前景の成分を分離する処理を説明する図である。図 6 6において、 1乃至 Of 1 8は、フレーム #nにおける画素のぞれぞれに対応する混合比である。図 6 6において、左から 1 5番目乃至 1 7番目の画素は、カバードバックグラウンド領域に属する。

フレーム #_n の左から 1 5番目の画素の画素値 C15 は、式（6 4 ) で表される _c C15=B15/v+F09/v+F08/v+F07/v

=ひ 15 ' B15+F09/v+F08/v+F07/v

= Of 15 - P15+F09/v+F08/v+F07/v ( 6 4 )

ここで、 15 は、フレーム #n の左から 1 5番目の画素の混合比である。 P 15 は、フレーム #n_lの左から 1 5番目の画素の画素値である。

式（6 4) を基に、フレーム #nの左から 1 5番目の画素の前景の成分の和 fl5は、式（6 5) で表される。

fl5=F09/v+F08/v+F07/v

=C15- 15·Ρ15 (6 5)

同様に、フレーム #ηの左から 1 6番目の画素の前景の成分の和 f 16は、式 (6 6) で表され、フレーム #nの左から 1 7番目の画素の前景の成分の和 fl7 は、式（6 7) で表される。

fl6=C16-Qf 16-P16 (6 6)

fl7=C17 - 17·Ρ17 (6 7)

このように、カバードバックグラウンド領域に属する画素の画素値 Cに含まれる前景の成分 fcは、式（6 8) で計算される。

fc=C- ·Ρ (6 8)

Ρは、 1つ前のフ I ^一ムの、対応する画素の画素である。

図 6 7は、アンカバードバックグラウンド領域に属する画素から前景の成分を分離する処理を説明する図である。図 6 7において、 1乃至 1 8は、フレーム #ηにおける画素のそれぞれに対応する混合比である。図 6 7において、左から 2番目乃至 4番目の画素は、アンカバードバックグラウンド領域に属する。フレーム #ηの左から 2番目の画素の画素値 C02は、式（6 9) で表される。

C02=B02/v+B02/v+B02/v+F01/v

= 2-B02+F01/v

= 2-N02+F01/v (6 9)

ここで、 2は、フレーム toの左から 2番目の画素の混合比である。 N02は、フレーム #n+lの左から 2番目の画素の画素値である。

式（6 9) を基に、フレーム #nの左から 2番目の画素の前景の成分の和 f 02 は、式（70) で表される。

f02=F01/v =C02-Qf2-N02 (7 0) 同様に、フレーム #nの左から 3番目の画の前景の成分の和 f03は、式（7 1) で表され、フレーム #nの左から 4番目の画素の前景の成分の和 f 04は、式 (7 2) で表される。

f03=C03- 3-N03 (7 1)

f04=C04-Qi4-N04 (7 2)

このように、アンカバードバックグラウンド領域に属する画素の画素値 Cに含まれる前景の成分 fuは、式（7 3) で計算される。

fu=C-ひ ·Ν (7 3)

Νは、 1つ後のフレームの、対応する画素の画素値である。

このように、分離部 6 0 1は、領域情報に含まれる、カバードバックグラウンド領域を示す情報、およぴァンカバードバックグラウンド領域を示す情報、並びに画素毎の混合比を基に、混合領域に属する画素から前景の成分、および背景の成分を分離することができる。

図 6 8は、以上で説明した処理を実行する分離部 6 0 1の構成の一例を示すブロック図である。分離部 6 0 1に入力された画像は、フレームメモリ 6 2 1に供給され、混合比算出部 1 04から供給されたカバードバックグラウンド領域およびァンカバードバックダラゥンド領域を示す領域情報、並びに混合比ひは、分離処理ブロック 6 2 2に入力される。

フレームメモリ 6 2 1は、入力された画像をフレーム単位で記憶する。フレームメモリ 6 2 1は、処理の対象がフレーム #ηであるとき、フレーム #ηの 1つ前のフレームであるフレーム #η- 1、フレーム #η、およびフレーム #ηの 1つ後のフレームであるフレーム #_η+1を記憶する。

フレームメモリ 6 2 1は、フレーム fci- 1、フレーム、およびフレーム #n+l の対応する画素を分離処理プロック 6 2 2に供給する。

分離処理ブロック 6 2 2は、カバードパックグラウンド領域およびアンカバードバックグラウンド領域を示す領域情報、並びに混合比を基に、フレームメモリ 6 2 1から供給されたフレーム #n - 1、フレム #n、およびフレーム #n+lの対応する画素の画素値に図 6 6およぴ図 6 7を参照して説明した演算を適用して. フレームの混合領域に属する画素から前景の成分および背景の成分を分離して、フレームメモリ 6 2 3に供給する。

分離処理プロック 6 2 2は、ァンカバード領域処理部 6 3 1、カバード領域処理部 6 3 2、合成部 6 3 3、および合成部 6 3 4で構成されている。

アンカバード領域処理部 6 3 1の乗算器 6 4 1は、混合比ひを、フレームメモリ 6 2 1から供給されたフレーム #n+lの画素の画素値に乗じて、スィツチ 6 4 2に出力する。スィッチ 6 4 2は、フレームメモリ 6 2 1から供給されたフレーム #nの画素（フレーム #n+lの画素に対応する）がアンカバードバックグラウンド領域であるとき、閉じられ、乗算器 6 4 1から供給された混合比を乗じた画素値を演算器 6 4 3および合成部 6 3 4に供給する。スィッチ 6 4 2から出力されるフレーム #n+lの画素の画素値に混合比を乗じた値は、フレーム #η の対応する画素の画素値の背景の成分に等しい。

演算器 6 4 3は、フレームメモリ 6 2 1から供給されたフレーム #nの画素の画素値から、スィッチ 6 4 2から供給された背景の成分を減じて、前景の成分を求める。演算器 6 4 3は、アンカバードバックグラウンド領域に属する、フレーム thの画素の前景の成分を合成部 6 3 3に供給する。

カバード領域処理部 6 3 2の乗算器 6 5 1は、混合比を、フレームメモリ 6 2 1から供給されたフ ^一ム - 1の画素の画素値に乗じて、スィッチ 6 5 2 に出力する。スィッチ 6 5 2は、フレームメモリ 6 2 1から供給されたフレーム #nの画素（フレーム #n-lの画素に対応する）がカバードバックグラウンド領域であるとき、閉じられ、乗算器 6 5 1から供給された混合比を乗じた画素値を演算器 6 5 3および合成部 6 3 4に供給する。スィッチ 6 5 2から出力されるフレーム #n- 1の画素の画素値に混合比を乗じた値は、フレーム #nの対応する画素の画素値の背景の成分に等しい。

演算器 6 5 3は、フレームメモリ 6 2 1から供給されたフレーム #nの画素の画素値から、スィッチ 6 5 2から供給された背景の成分を減じて、前景の成分を求める。演算器 6 5 3は、カバードバックグラウンド領域に属する、フレーム #nの画素の前景の成分を合成部 6 3 3に供給する。

合成部 6 3 3は、フレーム^の、演算器 6 4 3から供給された、アンカバ^" ドバックグラウンド領域に属する画素の前景の成分、および演算器 6 5 3から供給された、カバードバックグラウンド領域に属する画素の前景の成分を合成して. フレームメモリ 6 2 3に供給する。

合成部 6 3 4は、フレームでの、スィッチ 6 4 2から供給された、アンカバードバックグラウンド領域に属する画素の背景の成分、およびスィッチ 6 5 2力ら供給された、カバードバックグラウンド領域に属する画素の背景の成分を合成して、フレームメモリ 6 2 3に供給する。

フレームメモリ 6 2 3は、分離処理ブロック 6 2 2から供給された、フレーム #nの混合領域の画素の前景の成分と、背景の成分とをそれぞれに記憶する。

フレームメモリ 6 2 3は、記憶しているフレーム #nの混合領域の画素の前景の成分、および記憶しているフレーム #nの混合領域の画素の背景の成分を出力する。

特徴量である混合比を利用することにより、画素値に含まれる前景の成分と背景の成分とを完全に分離することが可能になる。

合成部 6 0 3は、分離部 6 0 1から出力された、フレーム #nの混合領域の画素の前景の成分と、前景領域に属する画素とを合成して前景成分画像を生成する ₍ 合成部 6 0 5は、分離部 6 0 1から出力された、フレーム #nの混合領域の画素の背景の成分と、背景領域に属する画素とを合成して背景成分画像を生成する。図 6 9 Aは、図 6 5のフレーム #nに対応する、前景成分画像の例を示す。最も左の画素、および左から 1 4番目の画素は、前景と背景が分離される前において、背景の成分のみから成っていたので、画素値が 0とされる。

左から 2番目乃至 4番目の画素は、前景と背景とが分離される前において、ァンカバードバックグラウンド領域に属し、背景の成分が 0とされ、前景の成分がそのまま残されている。左から 1 1番目乃至 1 3番目の画素は、前景と背景とが分離される前において、カバードバックグラウンド領域に属し、背景の成分が 0 とされ、前景の成分がそのまま残されている。左から 5番目乃至 1 0番目の画素は、前景の成分のみから成るので、そのまま残される。

図 6 9 Bは、図 6 5のフレーム ίίηに対応する、背景成分画像の例を示す。最も左の画素、および左から 1 4番目の画素は、前景と背景とが分離される前において、背景の成分のみから成っていたので、そのまま残される。

左から 2番目乃至 4番目の画素は、前景と背景とが分離される前において、ァンカバードバックグラウンド領域に属し、前景の成分が 0とされ、背景の成分がそのまま残されている。左から 1 1番目乃至 1 3番目の画素は、前景と背景とが分離される前において、カバードバックグラウンド領域に属し、前景の成分が 0 とされ、背景の成分がそのまま残されている。左から 5番目乃至 1 0番目の画素は、前景と背景とが分離される前において、前景の成分のみから成っていたので. 画素値が 0とされる。

次に、図 7 0に示すフローチャートを参照して、前景背景分離部 1 0 5による前景と背景との分離の処理を説明する。ステップ S 6 0 1において、分離部 6 0 1のフレームメモリ 6 2 1は、入力画像を取得し、前景と背景との分離の対象となるフレーム #ηを、その前のフレーム #η 1およびその後のフレーム #η+1と共に記憶する。

ステップ S 6 0 2において、分離部 6 0 1の分離処理ブロック 6 2 2は、混合比算出部 1 0 4から供給された領域情報を取得する。ステップ S 6 0 3において、分離部 6 0 1の分離処理プロック 6 2 2は、混合比算出部 1 0 4から供給された混合比を取得する。

ステップ S 6 0 4において、アンカバード領域処理部 6 3 1は、領域情報および混合比を基に、フレームメモリ 6 2 1から供給された、アンカバードバックグラウンド領域に属する画素の画素値から、背景の成分を抽出する。

ステップ S 6 0 5において、アンカパード領域処理部 6 3 1は、領域情報およぴ混合比を基に、フレームメモリ 6 2 1から供給された、アンカバードバックグラウンド領域に属する画素の画素値から、前景の成分を抽出する。

ステップ S 6 0 6において、カバード領域処理部 6 3 2は、領域情報および混合比を基に、フレームメモリ 6 2 1から供給された、カバードバックグラウンド領域に属する画素の画素値から、背景の成分を抽出する。

ステップ S 6 0 7において、カバード領域処理部 6 3 2は、領域情報および混合比を基に、フレームメモリ 6 2 1から供給された、カバードバックグラウンド領域に属する画素の画素値から、前景の成分を抽出する。

ステップ S 6 0 8において、合成部 6 3 3は、ステップ S 6 0 5の処理で抽出されたアンカバードバックグラウンド領域に属する画素の前景の成分と、ステツプ S 6 0 7の処理で抽出されたカバードバックグラウンド領域に属する画素の前景の成分とを合成する。合成された前景の成分は、合成部 6 0 3に供給される。更に、合成部 6 0 3は、スィッチ 6 0 2を介して供給された前景領域に属する画素と、分離部 6 0 1から供給された前景の成分とを合成して、前景成分画像を生成する。

ステップ S 6 0 9において、合成部 6 3 4は、ステップ S 6 0 4の処理で抽出されたアンカバードバックグラウンド領域に属する画素の背景の成分と、ステツプ S 6 0 6の処理で抽出されたカバードバックグラウンド領域に属する画素の背景の成分とを合成する。合成された背景の成分は、合成部 6 0 5に供給される。更に、合成部 6 0 5は、スィッチ 6 0 4を介して供給された背景領域に属する画素と、分離部 6 0 1から供給された背景の成分とを合成して、背景成分画像を生成する。

ステップ S 6 1 0において、合成部 6 0 3は、前景成分画像を出力する。ステップ S 6 1 1において、合成部 6 0 5は、背景成分画像を出力し、処理は終了する。

このように、前景背景分離部 1 0 5は、領域情報および混合比を基に、入力画像から前景の成分と、背景の成分とを分離し、前景の成分のみから成る前景成分画像、および背景の成分のみから成る背景成分画像を出力することができる, 次に、前景成分画像からの動きボケの量の調整について説明する。

図 7 1は、動きボケ調整部 1 0 6の構成の一例を示すプロック図である。動き検出部 1 0 2から供給された動きべクトルとその位置情報、および領域特定部 1 0 3から供給された領域情報は、処理単位決定部 8 0 1およびモデル化部 8 0 2 に供給される。前景背景分離部 1 0 5から供給された前景成分画像は、足し込み部 8 0 4に供給される。

処理単位決定部 8 0 1は、動きべクトルとその位置情報、および領域情報を基に、動きべクトルと共に、生成した処理単位をモデル化部 8 0 2に供給する。処理単位決定部 8 0 1は、生成した処理単位を足し込み部 8 0 4に供給する。

処理単位決定部 8 0 1が生成する処理単位は、図 7 2において Aで例を示すように、前景成分画像のカバードバックグラウンド領域に対応する画素から始まりアンカバードバックグラウンド領域に対応する画素までの動き方向に並ぶ連続する画素、またはアンカバードバックグラウンド領域に対応する画素から始まり、カバードバックグラウンド領域に対応する画素までの動き方向に並ぶ連続する画素を示す。処理単位は、例えば、左上点（処理単位で指定される画素であって、画像上で最も左または最も上に位置する画素の位置）および右下点の 2つのデータから成る。

モデル化部 8 0 2は、動きべクトルおよび入力された処理単位を基に、モデル化を実行する。より具体的には、例えば、モデル化部 8 0 2は、処理単位に含まれる画素の数、画素値の時間方向の仮想分割数、および画素毎の前景の成分の数に対応する複数のモデルを予め記憶しておき、処理単位、および画素値の時間方向の仮想分割数を基に、図 7 3に示すような、画素値と前景の成分との対応を指定するモデルを選択するようにしても良い。

例えば、処理単位に対応する画素の数が 1 2でありシャツタ時間内の動き量 V が 5であるときにおいては、モデル化部 8 0 2は、仮想分割数を 5とし、最も左に位置する画素が 1つの前景の成分を含み、左から 2番目の画素が 2つの前景の成分を含み、左から 3番目の画素が 3つの前景の成分を含み、左から 4番目の画素が 4つの前景の成分を含み、左から 5番目の画素が 5つの前景の成分を含み、左から 6番目の画素が 5つの前景の成分を含み、左から 7番目の画素が 5つの前景の成分を含み、左から 8番目の画素が 5つの前景の成分を含み、左から 9番目の画素が 4つの前景の成分を含み、左から 1 0番目の画素が 3つの前景の成分を含み、左から 1 1番目の画素が 2つの前景の成分を含み、左から 1 2番目の画素が 1つの前景の成分を含み、全体として 8つの前景の成分から成るモデルを選択する。

なお、モデル化部 8 0 2は、予め記憶してあるモデルから選択するのではなく動きべクトル、および処理単位が供給されたとき、動きべクトル、および処理単位を基に、モデルを生成するようにしてもよい。

モデル化部 8 0 2は、選択したモデルを方程式生成部 8 0 3に供給する。

方程式生成部 8 0 3は、モデル化部 8 0 2から供給されたモデルを基に、方程式を生成する。図 7 3に示す前景成分画像のモデルを参照して、前景の成分の数が 8であり、処理単位に対応する画素の数が 1 2であり、動き量 V が 5であり仮想分割数が 5であるときの、方程式生成部 8 0 3が生成する方程式について説明する。

前景成分画像に含まれるシャッタ時間/ Vに対応する前景成分が FO l/v乃至 F08/vであるとき、 FO l/v乃至 F08/vと画素値 C01乃至 C12との関係は、式（7 4 ) 乃至式（8 5 ) で表される。

C01=F01/v ( 7 4 )

C02=F02/v+F01/v ( 7 5 )

C03=F03/v+F02/v+F01/v ( 7 6 )

C04=F04/v+F03/v+F02/v+F01/v ( 7 7 ) C05=F05/v+F04/v+F03/v+F02/v+F01/v ( 7 8 )

C06=F06/v+F05/v+F04/v+F03/v+F02/v ( 7 9 )

C07=F07/v+F06/v+F05/v+F04/v+F03/v ( 8 0 ) C08=F08/v+F07/v+F06/v+F05/v+F04/v (8 1)

C09=F08/v+F07/v+F06/v+F05/v (8 2)

C10=F08/v+F07/v+F06/v (8 3)

Cll=F08/v+F07/v (8 4)

C12=F08/v (8 5) 方程式生成部 8 0 3は、生成した方程式を変形して方程式を生成する。方程式生成部 8 0 3が生成する方程式を、式（8 6) 乃至式（9 7) に示す。

C01=l · FOl/v+0 ■ F02/v+0 - F03/v+0 - F04/v+0 · F05/v

+0 - F06/v+0 · F07/V+0 · F08/v (8 6) C02=l ■ FOl/v+1 ■ F02/v+0 · F03/v+0 ■ F04/v+0 · F05/v

+0 - F06/v+0 - F07/v+0 - F08/v (8 7) C03=l · FOl/v+1 ■ F02/v+l - F03/v+0 - F04/v+0 · F05/v

+0 · F06/v+0 - F07/v+0 - F08/v (8 8) C04=l - FOl/v+1 ■ F02/v+l - F03/v+l - F04/v+0 · F05/v

+0 · F06/v+0 - F07/v+0 - F08/v (8 9)

C05=l · FOl/v+1 - F02/v+l ■ F03/v+l - F04/v+l · F05/v

+0 - F06/v+0 - F07/v+0 - F08/v (9 0)

C06=0 - FOl/v+1 - F02/v+l - F03/v+l - F04/v+l · F05/v

+1 - F06/v+0 - F07/v+0 · F08/v (9 1) C07=0 - FOl/v+0 · F02/v+l · F03/v+l · F04/v+l · F05/v

+1 - F06/v+l · F07/v+0 - F08/v (9 2)

C08=0 - FOl/v+0 · F02/v+0 · F03/v+l · F04/v+l · F05/v

+1 - F06/v+l - F07/v+l - F08/v (9 3) C09=0 - FOl/v+0■ F02/v+0 - F03/v+0 - F04/v+l ■ F05/v

+1 - F06/v+l - F07/v+l ■ F08/v (9 4)

C10=0 ■ FOl/v+0 · F02/v+0 - F03/v+0 - F04/v+0 - F05/v

+1 - F06/v+l - F07/v+l - F08/v (9 5) C11=0 - FOl/v+0 - F02/v+0 - F03/v+0 - F04/v+0 - F05/v

+0 - F06/v+l - F07/v+l · F08/v (96)

C12=0 · FOl/v+0■ F02/v+0■ F03/v+0 · F04/v+0■ F05/v

+0 · F06/v+0 · F07/v+l - F08/v (9 7) 式（86) 乃至式（9 7) は、式（98) として表すこともできる。

式（98) において、 jは、画素の位置を示す。この例において、 jは、 1乃至 1 2のいずれか 1つの値を有する。また、 iは、前景値の位置を示す。この例において、 iは、 1乃至 8のいずれか 1つの値を有する。 aijは、 iおよび jの値に対応して、 0または 1の値を有する。

誤差を考慮して表現すると、式（98) は、式（99) のように表すことができる。

式（9 9) において、 ejは、注目画素 Cjに含まれる誤差である。

式（9 9) は、式（1 00) に書き換えることができる。

ここで、最小自乗法を適用するため、誤差の自乗和 Eを式（10 1) に示すように定義する。

E =∑ej² (loi) 誤差が最小になるためには、誤差の自乗和 Eに対する、変数 Fkによる偏微分の値が 0になればよい。式（102) を満たすように Fkを求める。 12 dej

dFk j^i ^J ~dFk

n S

= 2-∑{(Cj -∑aij'Fi/v)'(- kj ) = o (102)

-01

式（1 0 2) において、動き量 vは固定値であるから、式（1 0 3) を導く -とができる。

12 08

∑ akj · (Cj -∑jaij、FHv)二 ο (103)

j=01 =01

式（1 0 3) を展開して、移項すると、式（1 04) を得る，

12 08 12

∑ (akj'^a Uiijj''FFii)) == vV ·· akj · Cj (104)

3=01 ii==0011

式（1 04) の kに 1乃至 8の整数のいずれか 1つを代入して得られる 8つの式に展開する。得られた 8つの式を、行列により 1つの式により表すことができる。この式を正規方程式と呼ぶ。

このような最小自乗法に基づく、方程式生成部 8 0 3が生成する正規方程式の例を式（1 0 5) に示す。

式（1 0 5) を A'F=v'Cと表すと、 C，ん Vが既知であり、 Fは未知である。また、 Α,νは、モデル化の時点で既知だが、 Cは、足し込み動作において画素値を入力することで既知となる。最小自乗法に基づく正規方程式により前景成分を算出することにより、画素 C に含まれている誤差を分散させることができる。

方程式生成部 8 0 3は、このように生成された正規方程式を足し込み部 8 0 4 に供給する。

足し込み部 8 0 4は、処理単位決定部 8 0 1から供給された処理単位を基に、前景成分画像に含まれる画素値 Cを、方程式生成部 8 0 3から供給された行列の式に設定する。足し込み部 8 0 4は、画素値 Cを設定した行列を演算部 8 0 5に供給する。

演算部 8 0 5は、掃き出し法（Gauss- Jordanの消去法）などの解法に基づく処理により、動きボケが除去された前景成分 Fi/vを算出して、動きボケが除去された前景の画素値である、 0乃至 8の整数のいずれかの iに対応する Fiを算出して、図 7 4に例を示す、動きボケが除去された画素値である Fiから成る、動きボケが除去された前景成分画像を動きボケ付加部 8 0 6および選択部 8 0 7 に出力する。

なお、図 7 4に示す動きボケが除去された前景成分画像において、 C03乃至 C10のそれぞれに F01乃至 F08のそれぞれが設定されているのは、画面に対する前景成分画像の位置を変化させないためであり、任意の位置に対応させることができる。

動きボケ付加部 8 0 6は、動き量 Vとは異なる値の動きボケ調整量 v'、例えば、動き量 Vの半分の値の動きボケ調整量 v'や、動き量 Vと無関係の値の動きボケ調整量 v'を与えることで、動きボケの量を調整することができる。例えば、図 7 5に示すように、動きボケ付加部 8 0 6は、動きボケが除去された前景の画素値 Fiを動きボケ調整量 v'で除すことにより、前景成分 Fi/v'を算出して、前景成分 Fi/v'の和を算出して、動きボケの量が調整された画素値を生成する。例えば、動きボケ調整量 v'が 3のとき、画素値 C02は、（F01) /v，とされ、画素値 CO³は、（F01+F02) Iヾとされ、画素値 C04は、（F01+F02+F03) /v，とされ、画素値 C05は、（F02+F03+F04) /v'とされる。動きボケ付加部 8 0 6は、動きボケの量を調整した前景成分画像を選択部 8 0 7に供給する。

選択部 8 0 7は、例えば使用者の選択に対応した選択信号を基に、演算部 8 0 5から供給された動きボケが除去された前景成分画像、およぴ動きボケ付加部 8 0 6から供給された動きボケの量が調整された前景成分画像のいずれか一方を選択して、選択した前景成分画像を出力する。

このように、動きボケ調整部 1 0 6は、選択信号および動きボケ調整量 v'を基に、動きボケの量を調整することができる。

また、例えば、図 7 6に示すように、処理単位に対応する画素の数が 8であり動き量 Vが 4であるとき、動きボケ調整部 1 0 6は、式（1 0 6 ) に示す行列の式を生成する。

動きボケ調整部 1 0 6は、このように処理単位の長さに対応した数の式を立てて、動きボケの量が調整された画素値である Fiを算出する。同様に、例えば、処理単位に含まれる画素の数が 1 0 0あるとき、 1 0 0個の画素に対応する式を生成して、 Fiを算出する。

図 7 7は、動きボケ調整部 1 0 6の他の構成を示す図である。図 7 1に示す場合と同様の部分には同一の番号を付してあり、その説明は省略する。

選択部 8 2 1は、選択信号を基に、入力された動きべクトルとその位置信号をそのまま処理単位決定部 8 0 1およびモデル化部 8 0 2に供給す.るカまたは動きべクトルの大きさを動きボケ調整量 v'に置き換えて、その大きさが動きボケ調整量 v'に置き換えられた動きべクトルとその位置信号を処理単位決定部 8 0 1およびモデル化部 8 0 2に供給する。

このようにすることで、図 7 7の動きボケ調整部 1 0 6の処理単位決定部 8 0 1乃至演算部 8 0 5は、動き量 Vと動きボケ調整量 v'との値に対応して、動きボケの量を調整することができる。例えば、動き量 Vが 5であり、動きボケ調整量 v'が 3であるとき、図 7 7の動きボケ調整部 1 0 6の処理単位決定部 8 0 1乃至演算部 8 0 5は、図 7 3に示す動き量 Vが 5である前景成分画像に対して、 3である動きボケ調整量 v'対応する図 7 5に示すようなモデルに従って、演算を実行し、（動き量 V) I (動きボケ調整量 ν' ) = 5/3、すなわちほぼ 1. 7 の動き量 Vに応じた動きボケを含む画像を算出する。なお、この場合、算出される画像は、 3である動き量 Vに対応した動きボケを含むのではないので、動きボケ付加部 8 0 6の結果とは動き量 Vと動きボケ調整量 v'の関係の意味合いが異なる点に注意が必要である。

以上のように、動きボケ調整部 1 0 6は、動き量 Vおよび処理単位に対応して、式を生成し、生成した式に前景成分画像の画素値を設定して、動きボケの量が調整された前景成分画像を算出する。

次に、図 7 8のフローチャートを参照して、動きボケ調整部 1 0 6による前景成分画像に含まれる動きボケの量の調整の処理を説明する。

ステップ S 8 0 1において、動きボケ調整部 1 0 6の処理単位決定部 8 0 1は、動きべクトルおよび領域情報を基に、処理単位を生成し、生成した処理単位をモデル化部 8 0 2に供給する。

ステップ S 8 0 2において、動きボケ調整部 1 0 6のモデル化部 8 0 2は、動き量 Vおよび処理単位に対応して、モデルの選択や生成を行う。ステップ S 8 0 3において、方程式生成部 8 0 3は、選択されたモデルを基に、正規方程式を作成する。

ステップ S 8 0 4において、足し込み部 8 0 4は、作成された正規方程式に前景成分画像の画素値を設定する。ステップ S 8 0 5において、足し込み部 8 0 4 は、処理単位に対応する全ての画素の画素値の設定を行ったか否かを判定し、処理単位に対応する全ての画素の画素値の設定を行っていないと判定された場合、ステップ S 8 0 4に戻り、正規方程式への画素値の設定の処理を繰り返す。ステップ S 8 0 5において、処理単位の全ての画素の画素値の設定を行ったと判定された場合、ステップ S 8 0 6に進み、演算部 8 0 5は、足し込み部 8 0 4 から供給された画素値が設定された正規方程式を基に、動きボケの量を調整した前景の画素値を算出して、処理は終了する。

このように、動きボケ調整部 1 0 6は、動きべクトルおよび領域情報を基に、動きボケを含む前景画像から動きボケの量を調整することができる。

すなわち、サンプルデータである画素値に含まれる動きボケの量を調整することができる。

以上のように、図 2に構成を示す信号処理装置は、入力画像に含まれる動きポケの量を調整することができる。図 2に構成を示す信号処理装置は、埋もれた情報である混合比を算出して、算出した混合比を出力することができる。図 7 9は、動きボケ調整部 1 0 6の構成の他の一例を示すブロック図である。動き検出部 1 0 2から供給された動きべクトルとその位置情報は、処理単位決定部 9 0 1および補正部 9 0 5に供給され、領域特定部 1 0 3から供給された領域情報は、処理単位決定部 9 0 1に供給される。前景背景分離部 1 0 5から供給された前景成分画像は、演算部 9 0 4に供給される。

処理単位決定部 9 0 1は、動きべクトルとその位置情報、および領域情報を基に、動きべクトルと共に、生成した処理単位をモデル化部 9 0 2に供給する。モデル化部 9 0 2は、動きベクトルおよび入力された処理単位を基に、モデル化を実行する。より具体的には、例えば、モデル化部 9 0 2は、処理単位に含まれる画素の数、画素値の時間方向の仮想分割数、および画素毎の前景の成分の数に対応する複数のモデルを予め記憶しておき、処理単位、および画素値の時間方向の仮想分割数を基に、図 8 0に示すような、画素値と前景の成分との対応を指定するモデルを選択するようにしても良い。

例えば、処理単位に対応する画素の数が 1 2であり動き量 Vが 5であるときにおいては、モデル化部 9 0 2は、仮想分割数を 5とし、最も左に位置する画素が 1つの前景の成分を含み、左から 2番目の画素が 2つの前景の成分を含み、左から 3番目の画素が 3つの前景の成分を含み、左から 4番目の画素が 4つの前景の成分を含み、左から 5番目の画素が 5つの前景の成分を含み、左から 6番目の画素が 5つの前景の成分を含み、左から 7番目の画素が 5つの前景の成分を含み、左から 8番目の画素が 5つの前景の成分を含み、左から 9番目の画素が 4つの前景の成分を含み、左から 1 0番目の画素が 3つの前景の成分を含み、左から 1 1 番目の画素が 2つの前景の成分を含み、左から 1 2番目の画素が 1つの前景の成分を含み、全体として 8つの前景の成分から成るモデルを選択する。

なお、モデル化部 9 0 2は、予め記憶してあるモデルから選択するのではなく、動きベクトル、および処理単位が供給されたとき、動きベクトル、および処理単位を基に、モデルを生成するようにしてもよい。

方程式生成部 9 0 3は、モデル化部 9 0 2から供給されたモデルを基に、方程式を生成する。

図 8 0乃至図 8 2に示す前景成分画像のモデルを参照して、前景の成分の数が 8であり、処理単位に対応する画素の数が 1 2であり、動き量 Vが 5であるときの、方程式生成部 9 0 3が生成する方程式の例について説明する。

前景成分画像に含まれるシャッタ時間/ Vに対応する前景成分が FO l/v乃至 F08/Vであるとき、 FO l/v乃至 F08/vと画素値 C01乃至 C12との関係は、上述したように、式（7 4 ) 乃至式（8 5 ) で表される。

画素値 C12および C11に注目すると、画素値 C12は、式（1 0 7 ) に示すように、前景の成分 F08/Vのみを含み、画素値 C11は、前景の成分 F08/vおよび前景の成分 F07/vの積和から成る。従って、前景の成分 F07/Vは、式（1 0 8 ) で求めることができる。

F08/v=C12 ( 1 0 7 )

F07/v=Cl l-C12 ( 1 0 8 )

同様に、画素値 C10乃至 C01に含まれる前景の成分を考慮すると、前景の成分 F06/v乃至 FOl/vは、式（1 0 9) 乃至式（1 1 4) により求めることができる。

F06/v=C10-Cll (1 0 9)

F05/v=C09-C10 (1 1 0)

F04/v=C08-C09 (1 1 1)

F03/v=C07- C08+C12 (1 1 2)

F02/v=C06 - C07+C1ト C12 (1 1 3)

F01/v=C05-C06+C10-Cll (1 1 4)

方程式生成部 9 0 3は、式（1 0 7) 乃至式（1 1 4) に例を示す、画素値の差により前景の成分を算出するための方程式を生成する。方程式生成部 9 0 3は、生成した方程式を演算部 904に供給する。

演算部 9 0 4は、方程式生成部 9 0 3から供給された方程式に前景成分画像の画素値を設定して、画素値を設定した方程式を基に、前景の成分を算出する。演算部 9 04は、例えば、式（1 0 7) 乃至式（1 1 4) が方程式生成部 90 3力、ら供給されたとき、式（1 0 7) 乃至式（1 1 4) に画素値 C05乃至 C12を設定する。

演算部 9 04は、画素値が設定された式に基づき、前景の成分を算出する。例えば、演算部 9 04は、画素値 C05乃至 C12が設定された式（1 0 7) 乃至式 ( 1 1 4) に基づく演算により、図 8 1に示すように、前景の成分 FOl/v乃至 F08Zvを算出する。演算部 904は、前景の成分 FOl/ν乃至 F08/vを補正部 9 0 5に供給する。

補正部 9 0 5は、演算部 9 04から供給された前景の成分に、処理単位決定部 9 0 1から供給された動きべクトルに含まれる動き量 Vを乗じて、動きボケを除去した前景の画素値を算出する。例えば、補正部 9 0 5は、演算部 9 04から供給された前景の成分 FOl/v乃至 F08/vが供給されたとき、前景の成分 F01/v 乃至 F08/vのそれぞれに、 5である動き量 Vを乗じることにより、図 8 2に示すように、動きボケを除去した前景の画素値 F01乃至 F08を算出する。補正部 9 0 5は、以上のように算出された、動きボケを除去した前景の画素値から成る前景成分画像を動きボケ付加部 9 0 6および選択部 9 0 7に供給する。動きボケ付加部 9 0 6は、動き量 Vとは異なる値の動きボケ調整量 v 、例えば、動き量 Vの半分の値の動きボケ調整量 v'、動き量 Vと無関係の値の動きボケ調整量 v'で、動きボケの量を調整することができる。例えば、図 7 5に示すように、動きボケ付加部 9 0 6は、動きボケが除去された前景の画素値 Fiを動きボケ調整量 v'で除すことにより、前景成分 Fi/v'を算出して、前景成分

Fi/v'の和を算出して、動きボケの量が調整された画素値を生成する。例えば、動きボケ調整量 V，が 3のとき、画素値 C02は、（F01) /ν'とされ、画素値 C03 は、（F01+F02) /ν'とされ、画素値 C04は、（F01+F02+F03) /ν'とされ、画素値 C05は、（F02+F03+F04) /ν'とされる。

動きボケ付加部 9 0 6は、動きボケの量を調整した前景成分画像を選択部 9 0 7に供給する。

選択部 9 0 7は、例えば使用者の選択に対応した選択信号を基に、補正部 9 0 5から供給された動きボケが除去された前景成分画像、および動きボケ付加部 9 0 6から供給された動きボケの量が調整された前景成分画像のいずれか一方を選択して、選択した前景成分画像を出力する。

このように、動きボケ調整部 1 0 6は、選択信号および動きボケ調整量 ν'を基に、動きボケの量を調整することができる。

次に、図 7 9に構成を示す動きボケ調整部 1 0 6による前景の動きボケの量の調整の処理を図 8 3のフローチャートを参照して説明する。

ステップ S 9 0 1において、動きボケ調整部 1 0 6の処理単位決定部 9 0 1は、動きベクトルおよび領域情報を基に、処理単位を生成し、生成した処理単位をモデル化部 9 0 2および補正部 9 0 5に供給する。

ステップ S 9 0 2において、動きボケ調整部 1 0 6のモデル化部 9 0 2は、動き量 Vおよび処理単位に対応して、モデルの選択や生成を行う。ステップ S 9 0 3において、方程式生成部 9 0 3は、選択または生成されたモデルを基に、前景成分画像の画素値の差により前景の成分を算出するための方程式を生成する。ステップ S 9 0 4において、演算部 9 0 4は、作成された方程式に前景成分画像の画素値を設定し、画素値が設定された方程式を基に、画素値の差分から前景の成分を抽出する。ステップ S 9 0 5において、演算部 9 0 4は、処理単位に対応する全ての前景の成分を抽出したか否かを判定し、処理単位に対応する全ての前景の成分を抽出していないと判定された場合、ステップ S 9 0 4に戻り、前景の成分を抽出の処理を繰り返す。

ステップ S 9 0 5において、処理単位に対応する全ての前景の成分を抽出したと判定された場合、ステップ S 9 0 6に進み、補正部 9 0 5は、動き量 Vを基に、演算部 9 0 4から供給された前景の成分 FOl/v乃至 F08/vのそれぞれを補正して、動きボケを除去した前景の画素値 F01乃至 F08を算出する。

ステップ S 9 0 7において、動きボケ付加部 9 0 6は、動きボケの量を調整した前景の画素値を算出して、選択部 9 0 7は、動きボケが除去された画像または動きボケの量が調整された画像のいずれかを選択して、選択した画像を出力して、処理は終了する。

このように、図 7 9に構成を示す動きボケ調整部 1 0 6は、より簡単な演算で、より迅速に、動きボケを含む前景画像から動きボケを調整することができる。

ウィナー · フィルタなど従来の動きボケを部分的に除去する手法が、理想状態では効果が認められるが、量子化され、ノイズを含んだ実際の画像に対して十分な効果が得られないのに対し、図 7 9に構成を示す動きボケ調整部 1 0 6においても、量子化され、ノイズを含んだ実際の画像に対しても十分な効果が認められ、精度の良い動きボケの除去が可能となる。

図 8 4は、信号処理装置の機能の他の構成を示すブロック図である。

図 2に示す部分と同様の部分には同一の番号を付してあり、その説明は適宜省略する。

領域特定部 1 0 3は、領域情報を混合比算出部 1 0 4および合成部 1 0 0 1に供給する。 ' 混合比算出部 1 0 4は、混合比ひを前景背景分離部 1 0 5および合成部 1 0 0 1に供給する。

前景背景分離部 1 0 5は、前景成分画像を合成部 1 0 0 1に供給する。

合成部 1 0 0 1は、混合比算出部 1 0 4から供給された混合比、領域特定部 1 0 3から供給された領域情報を基に、任意の背景画像と、前景背景分離部 1 0 5から供給された前景成分画像とを合成して、任意の背景画像と前景成分画像とが合成された合成画像を出力する。

図 8 5は、合成部 1 0 0 1の構成を示す図である。背景成分生成部 1 0 2 1は、混合比 αおよび任意の背景画像を基に、背景成分画像を生成して、混合領域画像合成部 1 0 2 2に供給する。

混合領域画像合成部 1 0 2 2は、背景成分生成部 1 0 2 1から供給された背景成分画像と前景成分画像とを合成することにより、混合領域合成画像を生成して、生成した混合領域合成画像を画像合成部 1 0 2 3に供給する。

画像合成部 1 0 2 3は、領域情報を基に、前景成分画像、混合領域画像合成部 1 0 2 2から供給された混合領域合成画像、および任意の背景画像を合成して、合成画像を生成して出力する。

このように、合成部 1 0 0 1は、前景成分画像を、任意の背景画像に合成することができる。

特徴量である混合比 Of を基に前景成分画像を任意の背景画像と合成して得られた画像は、単に画素を合成した画像に比較し、より自然なものと成る。

図 8 6は、動きボケの量を調整する信号処理装置の機能の更に他の構成を示すブロック図である。図 2に示す信号処理装置が領域特定と混合比の算出を順番に行うのに対して、図 8 6に示す信号処理装置は、領域特定と混合比の算出を並行して行う。

図 2のブロック図に示す機能と同様の部分には同一の番号を付してあり、その説明は省略する。

入力画像は、混合比算出部 1 1 0 1、前景背景分離部 1 1 0 2、領域特定部 1 0 3、およぴォブジェクト抽出部 1 0 1に供給される。

混合比算出部 1 1 0 1は、入力画像を基に、画素がカバードバックグラウンド領域に属すると仮定した場合における推定混合比、および画素がアンカバードバックグラウンド領域に属すると仮定した場合における推定混合比を、入力画像に含まれる画素のそれぞれに対して算出し、算出した画素がカバードバックグラウンド領域に属すると仮定した場合における推定混合比、および画素がアンカパードバックグラウンド領域に属すると仮定した場合における推定混合比を前景背景分離部 1 1 0 2に供給する。

図 8 7は、混合比算出部 1 1 0 1の構成の一例を示すブロック図である。

図 8 7に示す推定混合比処理部 4 0 1は、図 4 6に示す推定混合比処理部 4 0 1と同じである。図 8 7に示す推定混合比処理部 4 0 2は、図 4 6に示す推定混合比処理部 4 0 2と同じである。

推定混合比処理部 4 0 1は、入力画像を基に、カバードバックグラウンド領域のモデルに対応する演算により、画素毎に推定混合比を算出して、算出した推定混合比を出力する。

推定混合比処理部 4 0 2は、入力画像を基に、アンカバードバックグラウンド領域のモデルに対応する演算により、画素毎に推定混合比を算出して、算出した推定混合比を出力する。

前景背景分離部 1 1 0 2は、混合比算出部 1 1 0 1から供給された、画素が力パードバックグラウンド領域に属すると仮定した場合における推定混合比、および画素がアンカバードバックグラウンド領域に属すると仮定した場合における推定混合比、並びに領域特定部 1 0 3から供給された領域情報を基に、入力画像から前景成分画像を生成し、生成した前景成分画像を動きボケ調整部 1 0 6および選択部 1 0 7に供給する。

図 8 8は、前景背景分離部 1 1 0 2の構成の一例を示すブロック図である。図 6 3に示す前景背景分離部 1 0 5と同様の部分には同一の番号を付してありその説明は省略する。選択部 1 1 2 1は、領域特定部 1 0 3から供給された領域情報を基に、混合比算出部 1 1 0 1から供給された、画素がカバードバックグラウンド領域に属すると仮定した場合における推定混合比、および画素がアンカバードバックグラウンド領域に属すると仮定した場合における推定混合比のいずれか一方を選択して、選択した推定混合比を混合比として分離部 6 0 1に供給する。

分離部 6 0 1は、選択部 1 1 2 1から供給された混合比および領域情報を基に、混合領域に属する画素の画素値から前景の成分および背景の成分を抽出し、抽出した前景の成分を合成部 6 0 3に供給すると共に、背景の成分を合成部 6 0 5に供給する。

分離部 6 0 1は、図 6 8に示す構成と同じ構成とすることができる。

合成部 6 0 3は、前景成分画像を合成して、出力する。合成部 6 0 5は、背景成分画像を合成して出力する。

図 8 6に示す動きボケ調整部 1 0 6は、図 2に示す場合と同様の構成とすることができ、領域情報および動きべクトルを基に、前景背景分離部 1 1 0 2から供給された前景成分画像に含まれる動きボケの量を調整して、動きボケの量が調整された前景成分画像を出力する。

図 8 6に示す選択部 1 0 7は、例えば使用者の選択に対応した選択信号を基に、前景背景分離部 1 1 0 2から供給された前景成分画像、および動きボケ調整部 1 0 6から供給された動きボケの量が調整された前景成分画像のいずれか一方を選択して、選択した前景成分画像を出力する。

このように、図 8 6に構成を示す信号処理装置は、入力画像に含まれる前景のオブジェクトに対応する画像に対して、その画像に含まれる動きボケの量を調整して出力することができる。図 8 6に構成を示す信号処理装置は、第 1の実施例と同様に、埋もれた情報である混合比を算出して、算出した混合比を出力することができる。

図 8 9は、前景成分画像を任意の背景画像と合成する信号処理装置の機能の他の構成を示すプロック図である。図 8 4に示す信号処理装置が領域特定と混合比の算出をシリアルに行うのに対して、図 8 9に示す信号処理装置は、領域特定と混合比 αの算出をパラレルに行う。

図 8 6のプロック図に示す機能と同様の部分には同一の番号を付してあり、その説明は省略する。

図 8 9に示す混合比算出部 1 1 0 1は、入力画像を基に、画素がカバードバックグラウンド領域に属すると仮定した場合における推定混合比、および画素がァンカバードバックグラウンド領域に属すると仮定した場合における推定混合比を、入力画像に含まれる画素のそれぞれに対して算出し、算出した画素がカバードパックグラウンド領域に属すると仮定した場合における推定混合比、および画素がアンカバードバックグラウンド領域に属すると仮定した場合における推定混合比を前景背景分離部 1 1 0 2および合成部 1 2 0 1に供給する。

図 8 9に示す前景背景分離部 1 1 0 2は、混合比算出部 1 1 0 1から供給された、画素がカバードバックグラウンド領域に属すると仮定した場合における推定混合比、および画素がアンカバードバックグラウンド領域に属すると仮定した場合における推定混合比、並びに領域特定部 1 0 3から供給された領域情報を基に、入力画像から前景成分画像を生成し、生成した前景成分画像を合成部 1 2 0 1に供給する。

合成部 1 2 0 1は、混合比算出部 1 1 0 1から供給された、画素がカバードバックグラウンド領域に属すると仮定した場合における推定混合比、および画素がアンカバードバックグラウンド領域に属すると仮定した場合における推定混合比、領域特定部 1 0 3から供給された領域情報を基に、任意の背景画像と、前景背景分離部 1 1 0 2から供給された前景成分画像とを合成して、任意の背景画像と前景成分画像とが合成された合成画像を出力する。

図 9 0は、合成部 1 2 0 1の構成を示す図である。図 8 5のブロック図に示す機能と同様の部分には同一の番号を付してあり、その説明は省略する。

選択部 1 2 2 1は、領域特定部 1 0 3から供給された領域情報を基に、混合比算出部 1 1 0 1から供給された、画素がカバードバックグラウンド領域に属すると仮定した場合における推定混合比、およぴ画素がアンカバードバックグラウンド領域に属すると仮定した場合における推定混合比のいずれか一方を選択して、選択した推定混合比を混合比として背景成分生成部 1 0 2 1に供給する。図 9 0に示す背景成分生成部 1 0 2 1は、選択部 1 2 2 1から供給された混合比 aおよび任意の背景画像を基に、背景成分画像を生成して、混合領域画像合成部 1 0 2 2に供給する。

図 9 0に示す混合領域画像合成部 1 0 2 2は、背景成分生成部 1 0 2 1から供給された背景成分画像と前景成分画像とを合成することにより、混合領域合成画像を生成して、生成した混合領域合成画像を画像合成部 1 0 2 3に供給する。画像合成部 1 0 2 3は、領域情報を基に、前景成分画像、混合領域画像合成部 1 0 2 2から供給された混合領域合成画像、および任意の背景画像を合成して、合成画像を生成して出力する。

このように、合成部 1 2 0 1は、前景成分画像を、任意の背景画像に合成することができる。

なお、混合比は、画素値に含まれる背景の成分の割合として説明したが、画素値に含まれる前景の成分の割合としてもよい。

また、前景となるオブジェクトの動きの方向は左から右として説明したが、その方向に限定されないことは勿論である。

以上においては、 3次元空間と時間軸情報を有する現実空間の画像をビデオ力メラを用いて 2次元空間と時間軸情報を有する時空間への射影を行った場合を例としたが、本発明は、この例に限らず、より多くの第 1の次元の第 1の情報を、より少ない第 2の次元の第 2の情報に射影した場合に、その射影によつて発生する歪みを補正したり、有意情報を抽出したり、またはより自然に画像を合成する場合に適応することが可能である。

なお、センサは、 CCDに限らす、固体撮像素子である、例えば、 BBD (Bucket Brigaae Device) 、 CID (Charge Injection Device) 、 CPD (Charge Priming Device) 、または CMOS (Complementary Mental Oxide Semiconductor) センサでもよく、また、検出素子がマトリックス状に配置されているセンサに限らず、検出素子が 1列に並んでいるセンサでもよい。

本発明の信号処理を行うプログラムを記録した記録媒体は、図 1に示すように、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク 5 1 (フロッピ（登録商標）ディスクを含む）、光ディスク 5 2 (CD-ROM (Compact Di sc-Read Only Memory) ,

DVD (Di gital Versati le Di sc)を含む）、光磁気ディスク 5 3 (MD (Mini- Disc) (商標）を含む）、もしくは半導体メモリ 5 4などよりなるパッケージメディアにより構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される、プログラムが記録されている R0M 2 2や、記憶部 2 8に含まれるハードディスクなどで構成される。

なお、本明細書において、記録媒体に記録されるプログラムを記述するステツプは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。産業上の利用可能性

本発明によれば、混ざり合いが生じている領域を検出することが可能となる。

Claims

請求の範囲

1 . 時間積分効果を有する所定数の画素を有する撮像素子によって取得された所定数の画素データからなる画像データから、現実世界における複数のオブジェクトが混ざり合った前記画素データとして取得された混合領域を検出する画像処理装置において、

前記画像データの各フレームを動き補償する動き補償手段と、

動き補償された各フレームの互いに対応する位置の前記画素データの差分に基づいて、前記混合領域を検出する領域検出手段と

を含むことを特徴とする画像処理装置。

2 . 前記領域検出手段は、前記差分が閾値以上である場合、少なくとも前記画素データが属する前記混合領域を検出する

ことを特徴とする請求の範囲第 1項に記載の画像処理装置。

3 . 前記領域検出手段は、検出された前記混合領域の時間変化に基づいて、時間の変化とともに前景となる前記オブジェクトの成分が增加するカバードバックグラウンド領域と、時間の変化とともに背景となる前記オブジェクトの成分が増加するアンカバードバックグラウンド領域とをさらに検出する

ことを特徴とする請求の範囲第 2項に記載の画像処理装置。

4 . 前記領域検出手段は、各フレームの前記画素データに対応する動きべクトルに基づいて、時間の変化とともに前景となる前記オブジェクトの成分が増加する力バードバックグラウンド領域と、時間の変化とともに背景となる前記ォブジエタトの成分が増加するアンカバ一ドバックグラウンド領域とをさらに検出することを特徴とする請求の範囲第 2項に記載の画像処理装置。

5 . 前記動きべクトルを検出する動きべクトル検出手段をさらに含む

ことを特徴とする請求の範囲第 4項に記載の画像処理装置

6 . 前記オブジェクトの前記画素データにおける混合状態を示す混合比を算出する混合比算出手段をさらに含む

7 . 前記混合比を基に、前記混合領域の前記画素データから少なくとも前景となる前記オブジェクトの成分を分離する分離手段をさらに含む

ことを特徴とする請求の範囲第 6項に記載の画像処理装置。

8 . 分離された前景となる前記ォブジェクトの成分の動きボケの量を調整する動きボケ調整手段をさらに含む

ことを特徴とする請求の範囲第 7項に記載の画像処理装置。

9 . 前記混合比を基に、所望の他のオブジェクトと分離された前景となる前記ォブジェクトの成分とを合成する合成手段をさらに含む

1 0 . 前記動き捕償手段は、注目している注目フレームの前記複数のオブジェタトのうちの背景オブジェクトと、前記注目フレームの周辺の周辺フレームの前記背景オブジェクトとの画素位置が同位置となるように、前記周辺フレームをシフトすることにより動き補償し、

前記領域検出手段は、前記動き補償された前記周辺フレームと前記注目フレームとの差分に基づいて、少なくとも前記混合領域を検出する

1 1 . 前記領域検出手段は、動き補償された前記周辺フレームと前記注目フレームとの対応する画素位置の前記画素データ同士の差分に基づいて、静動判定を行う静動判定手段を含み、

前記領域検出手段は、前記静動判定手段の判定結果に基づいて、前記画素位置に対して、前記複数のオブジェクトのうちの前景ォブジェクトを構成する前景ォブジェクト成分のみからなる前景領域、前記背景オブジェクトを構成する背景ォブジェクト成分のみからなる背景領域、または前記混合領域を検出する

ことを特徴とする請求の範囲第 1 0項に記載の画像処理装置。

1 2 . 前記領域検出手段は、前記静動判定手段の判定結果に基づいて、前記混合領域における前記前景オブジェクトの動き方向後端側に形成されるアンカバードバックグラウンド領域を特定すると共に、前記前景オブジェクトの動き方向先端側に形成されるカバードバックグラウンド領域を特定する

ことを特徴とする請求の範囲第 1 1項に記載の画像処理装置。

1 3 . 時間積分効果を有する所定数の画素を有する撮像素子によって取得された所定数の画素データからなる画像データから、現実世界における複数のォブジエタトが混ざり合った前記画素データとして取得された混合領域を検出する画像処理方法において、

前記画像データの各フレームを動き補償する動き補償ステップと、

動き補償された各フレームの互いに対応する位置の前記画素データの差分に基づいて、前記混合領域を検出する領域検出ステップと

を含むことを特徴とする画像処理方法。

1 4 . 前記領域検出ステップにおいて、前記差分が閾値以上である場合、少なくとも前記画素データが属する前記混合領域が検出される

ことを特徴とする請求の範囲第 1 3項に記載の画像処理方法。

1 5 . 前記領域検出ステップにおいて、検出された前記混合領域の時間変化に基づいて、時間の変化とともに前景となる前記オブジェクトの成分が増加する力バードバックグラウンド領域と、時間の変化とともに背景となる前記オブジェクトの成分が増加するァンカバードバックグラウンド領域とがさらに検出されることを特徴とする請求の範囲第 1 4項に記載の画像処理方法。

1 6 . 前記領域検出ステップにおいて、各フレームの前記画素データに対応する動きベクトルに基づいて、時間の変化とともに前景となる前記オブジェクトの成分が増加する力バードパックグラウンド領域と、時間の変化とともに背景となる前記オブジェクトの成分が増加するアンカバードバックグラウンド領域とがさらに検出される

ことを特徴とする請求の範囲第 1 4項に記載の画像処理方法。

1 7 . 前記動きベクトルを検出する動きベクトル検出ステップをさらに含むことを特徴とする請求の範囲第 1 6項に記載の画像処理方法

1 8 . 前記オブジェクトの前記画素データにおける混合状態を示す混合比を算出する混合比算出ステップをさらに含む

1 9 . 前記混合比を基に、前記混合領域の前記画素データから少なくとも前景となる前記オブジェクトの成分を分離する分離ステップをさらに含む

ことを特徴とする請求の範囲第 1 8項に記載の画像処理方法。

2 0 . 分離された前景となる前記オブジェクトの成分の動きボケの量を調整する動きボケ調整ステップをさらに含む

ことを特徴とする請求の範囲第 1 9項に記載の画像処理方法。

2 1 . 前記混合比を基に、所望の他のオブジェクトと分離された前景となる前記ォブジェクトの成分とを合成する合成ステップをさらに含む

2 2 . 前記動き補償ステップにおいて、注目している注目フレームの前記複数のォブジェクトのうちの背景オブジェクトと、前記注目フレームの周辺の周辺フレームの前記背景オブジェクトとの画素位置が同位置となるように、前記周辺フレームがシフトされることにより動き補償され、

前記領域検出ステップにおいて、前記動き捕償された前記周辺フレームと前記注目フレームとの差分に基づいて、少なくとも前記混合領域が検出されることを特徴とする請求の範囲第 1 3項に記載の画像処理方法。

2 3 . 前記領域検出ステップは、動き補償された前記周辺フレームと前記注目フレームとの対応する画素位置の.前記画素データ同士の差分に基づいて、静動判定を行う静動判定ステップを含み、

前記領域検出ステップにおいて、前記静動判定手段の判定結果に基づいて、前記画素位置に対して、前記複数のォブジェクトのうちの前景ォブジェクトを構成する前景オブジェクト成分のみからなる前景領域、前記背景オブジェクトを構成する背景オブジェクト成分のみからなる背景領域、または前記混合領域が検出される

ことを特徴とする請求の範囲第 2 2項に記載の画像処理方法。

2 4 . 前記領域検出ステップにおいて、前記静動判定手段の判定結果に基づいて、前記混合領域における前記前景オブジェクトの動き方向後端側に形成されるアンカバードバックグラウンド領域が特定されると共に、前記前景ォプジェクトの動き方向先端側に形成される力バードバックグラウンド領域が特定されることを特徴とする請求の範囲第 2 3項に記載の画像処理方法。

2 5 . 時間積分効果を有する所定数の画素を有する撮像素子によって取得された所定数の画素データからなる画像データから、現実世界における複数のォプジエタトが混ざり合った前記画素データとして取得された混合領域を検出する画像処理用のプログラムであって、

を含むことを特徴とするコンピュータが読み取り可能なプログラムが記録されている記録媒体。

2 6 . 前記領域検出ステップにおいて、前記差分が閾値以上である場合、少なくとも前記画素データが属する前記混合領域が検出される

ことを特徴とする請求の範囲第 2 5項に記載の記録媒体。

2 7 . 前記領域検出ステップにおいて、検出された前記混合領域の時間変化に基づいて、時間の変化とともに前景となる前記ォブジェクトの成分が増加する力バードバックグラウンド領域と、時間の変化とともに背景となる前記オブジェクトの成分が増加するァンカバードパックグラウンド領域とがさらに検出されることを特徴とする請求の範囲第 2 6項に記載の記録媒体。

2 8 . 前記領域検出ステップにおいて、各フレームの前記画素データに対応する動きべクトルに基づいて、時間の変化とともに前景となる前記ォブジェクトの成分が増加するカバードバックグラウンド領域と、時間の変化とともに背景となる前記オブジェクトの成分が増加するァンカバードバックグラウンド領域とがさらに検出されることを特徴とする請求の範囲第 2 6項に記載の記録媒体。

2 9 . 前記プログラムは、前記動きべクトルを検出する動きべクトル検出ステップをさらに含む

ことを特徴とする請求の範囲第 2 8項に記載の記録媒体

3 0 . 前記プログラムは、前記オブジェクトの前記画素データにおける混合状態を示す混合比を算出する混合比算出ステップをさらに含む

ことを特徴とする請求の範囲第 2 5項に記載の記録媒体。

3 1 . 前記プログラムは、前記混合比を基に、前記混合領域の前記画素データから少なくとも前景となる前記ォブジェクトの成分を分離する分離ステップをさらに含む

ことを特徴とする請求の範囲第 3 0項に記載の記録媒体。

3 2 . 前記プログラムは、分離された前景となる前記ォブジェクトの成分の動きボケの量を調整する動きボケ調整ステップをさらに含む

ことを特徴とする請求の範囲第 3 1項に記載の記録媒体。

3 3 . 前記プログラムは、前記混合比を基に、所望の他のオブジェクトと分離された前景となる前記オブジェクトの成分とを合成する合成ステップをさらに含む

ことを特徴とする請求の範囲第 3 1項に記載の記録媒体。

3 4 . 前記動き補償ステップにおいて、注目している注目フレームの前記複数のォブジェクトのうちの背景オブジェクトと、前記注目フレームの周辺の周辺フレームの前記背景オブジェクトとの画素位置が同位置となるように、前記周辺フレームがシフトされることにより動き補償され、

前記領域検出ステップにおいて、前記動き補償された前記周辺フレームと前記注目フレームとの差分に基づいて、少なくとも前記混合領域が検出されることを特徴とする請求の範囲第 2 5項に記載の記録媒体。

3 5 . 前記領域検出ステップは、動き補償された前記周辺フレームと前記注目フレームとの対応する画素位置の前記画素データ同士の差分に基づいて、静動判定を行う静動判定ステップを含み、

前記領域検出ステップにおいて、前記静動判定手段の判定結果に基づいて、前記画素位置に対して、前記複数のオブジェクトのうちの前景ォブジェクトを構成する前景オブジェクト成分のみからなる前景領域、前記背景オブジェクトを構成する背景オブジェクト成分のみからなる背景領域、または前記混合領域が検出される

ことを特徴とする請求の範囲第 3 4項に記載の記録媒体。

3 6 . 前記領域検出ステップにおいて、前記静動判定手段の判定結果に基づいて、前記混合領域における前記前景ォブジェクトの動き方向後端側に形成されるアンカバードバックグラウンド領域が特定されると共に、前記前景オブジェクトの動き方向先端側に形成されるカバードバックグラウンド領域が特定されることを特徴とする請求の範囲第 3 5項に記載の記録媒体。

3 7 . 時間積分効果を有する所定数の画素を有する撮像素子によって取得された所定数の画素データからなる画像データから、現実世界における複数のォプジェクトが混ざり合った前記画素データとして取得された混合領域を検出するコンピュータに、

前記画像データの各フレームを動き捕償する動き補償ステップと、

を実行させるプログラム。

3 8 . 前記領域検出ステップにおいて、前記差分が閾値以上である場合、少なくとも前記画素データが属する前記混合領域が検出される

ことを特徴とする請求の範囲第 3 7項に記載のプログラム。

3 9 . 前記領域検出ステップにおいて、検出された前記混合領域の時間変化に基づいて、時間の変化とともに前景となる前記オブジェクトの成分が増加する力バードバックグラウンド領域と、時間の変化とともに背景となる前記オブジェクトの成分が増加するアンカバードバックグラウンド領域とがさらに検出されることを特徴とする請求の範囲第 3 8項に記載のプログラム。

4 0 . 前記領域検出ステップにおいて、各フレームの前記画素データに対応する動きべクトルに基づいて、時間の変化とともに前景となる前記オブジェクトの成分が増加するカバードバックグラウンド領域と、時間の変化とともに背景となる前記ォブジェクトの成分が増加するアンカバードバックグラウンド領域とがさらに検出される

ことを特徴とする請求の範囲第 3 8項に記載のプログラム。

4 1 . 前記動きべクトルを検出する動きべクトル検出ステップをさらに含むことを特徴とする請求の範囲第 4 0項に記載のプログラム

4 2 . 前記ォブジェクトの前記画素データにおける混合状態を示す混合比を算出する混合比算出ステップをさらに含む

ことを特徴とする請求の範囲第 3 7項に記載のプログラム。

4 3 . 前記混合比を基に、前記混合領域の前記画素データから少なくとも前景となる前記オブジェクトの成分を分離する分離ステツプをさらに含む

ことを特徴とする請求の範囲第 4 2項に記載のプログラム。

4 4 . 分離された前景となる前記オブジェクトの成分の動きボケの量を調整する動きボケ調整ステップをさらに含む

ことを特徴とする請求の範囲第 4 3項に記載のプログラム。

4 5 . 前記混合比を基に、所望の他のオブジェクトと分離された前景となる前記ォブジェクトの成分とを合成する合成ステップをさらに含む

ことを特徴とする請求の範囲第 4 3項に記載のプログラム。

4 6 . 前記動き補償ステップにおいて、注目している注目フレームの前記複数のォブジェクトのうちの背景オブジェクトと、前記注目フレームの周辺の周辺フレームの前記背景オブジェクトとの画素位置が同位置となるように、前記周辺フレームがシフトされることにより動き補償され、

前記領域検出ステップにおいて、前記動き補償された前記周辺フレームと前記注目フレームとの差分に基づいて、少なくとも前記混合領域が検出されることを特徴とする請求の範囲第 3 7項に記載のプログラム。

4 7 . 前記領域検出ステップは、動き補償された前記周辺フレームと前記注目フレームとの対応する画素位置の前記画素データ同士の差分に基づいて、静動判定を行う静動判定ステツプを含み、

前記領域検出ステップにおいて、前記静動判定手段の判定結果に基づいて、前記画素位置に対して、前記複数のォブジェクトのうちの前景オブジェクトを構成する前景ォブジェクト成分のみからなる前景領域、前記背景オブジェクトを構成する背景オブジェクト成分のみからなる背景領域、または前記混合領域が検出される

ことを特徴とする請求の範囲第 4 6項に記載のプログラム。

4 8 . 前記領域検出ステップにおいて、前記静動判定手段の判定結果に基づいて、前記混合領域における前記前景オブジェクトの動き方向後端側に形成されるアンカバードバックグラウンド領域が特定されると共に、前記前景オブジェクトの動き方向先端側に形成されるカバードバックグラウンド領域が特定されることを特徴とする請求の範囲第 4 7項に記載のプログラム。

4 9 . 時間積分効果を有する所定数の画素を有する撮像素子によって撮像された被写体画像を、所定数の画素データからなる画像データとして出力する撮像手段と、

動き補償された各フレームの互いに対応する位置の前記画素データの差分に基づいて、前記画像データから現実世界における複数のォブジェクトが混ざり合つて前記画素データとして取得された混合領域を検出する領域検出手段と

を含むことを特徴とする撮像装置。

5 0 . 前記領域検出手段は、前記差分が閾値以上である場合、少なくとも前記画素データが属する前記混合領域を検出する

ことを特徴とする請求の範囲第 4 9項に記載の撮像装置。

5 1 . 前記領域検出手段は、検出された前記混合領域の時間変化に基づいて、時間の変化とともに前景となる前記オブジェクトの成分が增加する力バードバックグラウンド領域と、時間の変化とともに背景となる前記オブジェクトの成分が増加するァンカバードバックグラウンド領域とをさらに検出する

ことを特徴とする請求の範囲第 5 0項に記載の撮像装置。

5 2 . 前記領域検出手段は、各フレームの前記画素データに対応する動きべクトルに基づいて、時間の変化とともに前景となる前記オブジェクトの成分が増加するカバードバックグラウンド領域と、時間の変化とともに背景となる前記ォブジェクトの成分が増加するアンカバードバックグラウンド領域とをさらに検出する

ことを特徴とする請求の範囲第 5 0項に記載の撮像装置。

5 3 . 前記動きべクトルを検出する動きべクトル検出手段をさらに含むことを特徴とする請求の範囲第 5 2項に記載の撮像装置

5 4 . 前記ォブジェクトの前記画素データにおける混合状態を示す混合比を算出する混合比算出手段をさらに含む

ことを特徴とする請求の範囲第 4 9項に記載の撮像装置。

5 5 . 前記混合比を基に、前記混合領域の前記画素データから少なくとも前景となる前記オブジェクトの成分を分離する分離手段をさらに含む

ことを特徴とする請求の範囲第 5 4項に記載の撮像装置。

5 6 . 分離された前景となる前記オブジェクトの成分の動きボケの量を調整する動きボケ調整手段をさらに含む

ことを特徴とする請求の範囲第 5 5項に記載の撮像装置。

5 7 . 前記混合比を基に、所望の他のオブジェクトと分離された前景となる前記ォブジェクトの成分とを合成する合成手段をさらに含む

ことを特徴とする請求の範囲第 5 5項に記載の撮像装置。

5 8 . 前記動き補償手段は、注目している注目フレームの前記複数のオブジェタトのうちの背景オブジェクトと、前記注目フレームの周辺の周辺フレームの前記背景オブジェクトとの画素位置が同位置となるように、前記周辺フレームをシフトすることにより動き補償し、

ことを特徴とする請求の範囲第 4 9項に記載の撮像装置。

5 9 . 前記領域検出手段は、動き補償された前記周辺フレームと前記注目フレームとの対応する画素位置の前記画素データ同士の差分に基づいて、静動判定を行う静動判定手段を含み、

前記領域検出手段は、前記静動判定手段の判定結果に基づいて、前記画素位置に対して、前記複数のオブジェクトのうちの前景ォブジェクトを構成する前景ォブジェクト成分のみからなる前景領域、前記背景ォブジェクトを構成する背景ォブジェクト成分のみからなる背景領域、または前記混合領域を検出する

ことを特徴とする請求の範囲第 5 8項に記載の撮像装置。

6 0 . 前記領域検出手段は、前記静動判定手段の判定結果に基づいて、前記混合領域における前記前景オブジェクトの動き方向後端側に形成されるアンカバードバックグラウンド領域を特定すると共に、前記前景ォブジェクトの動き方向先端側に形成されるカバードバックダラゥンド領域を特定する

ことを特徴とする請求の範囲第 5 9項に記載の撮像装置。