WO2002067200A1

WO2002067200A1 - Image processing device

Info

Publication number: WO2002067200A1
Application number: PCT/JP2002/001397
Authority: WO
Inventors: Tetsujiro Kondo; Naoki Fujiwara; Junichi Ishibashi; Takashi Sawao; Takahiro Nagano; Toru Miyake; Seiji Wada
Original assignee: Sony Corporation
Priority date: 2001-02-19
Filing date: 2002-02-19
Publication date: 2002-08-29
Also published as: DE60225807D1; ES2302794T3; KR20030005288A; JP2002245463A; US7130464B2; DE60225807T2; JP4596203B2; CN1267856C; CN1461456A; EP1411473A4; US20040028287A1; EP1411473B1; EP1411473A1; KR100848427B1; CA2406836C; CA2406836A1

Description

明細書

画像処理装置

技術分野

本発明は、画像処理装置に関し、特に、センサにより検出した信号と現実世界との違いを考慮した画像処理装置に関する。

背景技術

現実世界における事象をセンサで検出し、画像センサが出力するサンプリングデータを処理する技術が広く利用されている。

例えば、静止している所定の背景の前で移動する物体をビデオカメラで撮像して得られる画像には、物体の移動速度が比較的速い場合、動きボケが生じることになる。

静止している背景の前で物体が移動するとき、移動する物体の画像自身の混ざり合いによる動きボケのみならず、背景の画像と移動する物体の画像との混ざり合いが生じる。従来は、背景の画像と移動する物体の画像との混ざり合いの状態を検出することは、考えられていなかづた。

発明の開示

本発明はこのような状況に鑑みてなされたものであり、背景の画像および移動する物体の画像など複数のォブジェクトの混ざり合いの状態を示す混合比を検出することができるようにすることを目的とする。

本発明の画像処理装置は、複数のオブジェクトのうちの前景となる前景ォブジヱクトの動きを基に、連続する所定数のフレームの画素データであって、複数のォブジェクトが混合されてなる画素データである、対応する複数の混合画素データを抽出するとともに、複数のオブジェクトのうちの背景となる背景オブジェクトの動きを基に、連続する所定数のフレームのうちの、混合画素データが存在するフレームとは異なるフレームから、混合画素データに対応し、背景オブジェクトからなる画素データである背景画素データを抽出する画素データ抽出手段と、抽出された混合画素データおよび背景画素データを基に、連続する所定数のフレームに対応する混合画素データおよび背景画素データの関係式を生成する関係式生成手段と、関係式に基づいて、連続する所定数のフレームに対応して、 1つの混合比を検出する混合比検出手段とを含むことを特徴とする。

画素データ抽出手段は、フレームにおける前景ォブジェクトの動きの量に対応して、混合画素データを抽出するようにすることができる。

画素データ抽出手段は、フレームにおける背景ォブジヱクトの動きの量に対応して、背景画素データを抽出するようにすることができる。

関係式生成手段は、混合比を最小自乗法により算出するための、混合画素データおよび背景画素データの関係式を生成するようにすることができる。

画像処理装置は、前景オブジェクトおよび背景オブジェクトの少なくとも一方の動きを検出する動き検出手段をさらに設けることができる。

画像処理装置は、混合画素データからなる混合領域、背景画素からなる背景領域、および前景オブジェクトに対応する画素データである前景画素データからなる前景領域を特定する領域特定手段をさらに設けることができる。

画像処理装置は、混合比を基に、混合画素データから少なくとも前景オブジェクトを分離する分離手段をさらに設けることができる。

画像処理装置は、分離された前景オブジェクトの動きボケの量を調整する動きボケ調整手段をさらに設けることができる。

画像処理装置は、混合比を基に、所望の他のオブジェクトと分離された前景ォブジェクトとを合成する合成手段をさらに設けることができる。

本発明の画像処理方法は、複数のォブジェクトのうちの前景となる前景ォブジェタトの動きを基に、連続する所定数のフレームの画素データであって、複数のオブジェクトが混合されてなる画素データである、対応する複数の混合画素データを抽出するとともに、複数のオブジェクトのうちの背景となる背景オブジェクトの動きを基に、連続する所定数のフレームのうちの、混合画素データが存在するフレームとは異なるフレームから、混合画素データに対応し、背景ォブジェクトからなる画素データである背景画素データを抽出する画素データ抽出ステップと、抽出された混合画素データおよび背景画素データを基に、連続する所定数のフレームに対応する混合画素データおよび背景画素データの関係式を生成する関係式生成ステップと、関係式に基づいて、連続する所定数のフレームに対応して、 1つの混合比を検出する混合比検出ステップとを含むことを特徴とする。

画素データ抽出ステップは、フレームにおける前景オブジェクトの動きの量に対応して、混合画素データを抽出するようにすることができる。

画素データ抽出ステップは、フレームにおける背景オブジェクトの動きの量に対応して、背景画素データを抽出するようにすることができる。

関係式生成ステップは、混合比を最小自乗法により算出するための、混合画素データおよび背景画素データの関係式を生成するようにすることができる。

画像処理方法は、前景オブジェクトおよび背景オブジェクトの少なくとも一方の動きを検出する動き検出ステップをさらに設けることができる。

画像処理方法は、混合画素データからなる混合領域、背景画素からなる背景領域、および前景オブジェクトに対応する画素データである前景画素データからなる前景領域を特定する領域特定ステップをさらに設けることができる。

画像処理方法は、混合比を基に、混合画素データから少なくとも前景オブジェクトを分離する分離ステップをさらに設けることができる。

画像処理方法は、分離された前景ォブジェクトの動きボケの量を調整する動きボケ調整ステップをさらに設けることができる。

画像処理方法は、混合比を基に、所望の他のオブジェクトと分離された前景ォブジェクトとを合成する合成ステップをさらに設けることができる。

本発明の記録媒体のプログラムは、複数のオブジェクトのうちの前景となる前景ォブジェクトの動きを基に、連続する所定数のフレームの画素データであって、複数のオブジェクトが混合されてなる画素データである、対応する複数の混合画素データを抽出するとともに、複数のオブジェクトのうちの背景となる背景ォブジェタトの動きを基に、連続する所定数のフレームのうちの、混合画素データが存在するフレームとは異なるフレームから、混合画素データに対応し、背景ォプジェクトからなる画素データである背景画素データを抽出する画素データ抽出ステツプと、抽出された混合画素データおよび背景画素データを基に、連続する所定数のフレームに対応する混合画素データおよび背景画素データの関係式を生成する関係式生成ステップと、関係式に基づいて、連続する所定数のフレームに対応して、 1つの混合比を検出する混合比検出ステップとを含むことを特徴とする。画素データ抽出ステップは、フレームにおける前景ォブジェクトの動きの量に対応して、混合画素データを抽出するようにすることができる。

記録媒体のプログラムは、前景オブジェクトおよび背景オブジェクトの少なくとも一方の動きを検出する動き検出ステップをさらに設けることができる。

記録媒体のプログラムは、混合画素データからなる混合領域、背景画素からなる背景領域、および前景オブジェクトに対応する画素データである前景画素データからなる前景領域を特定する領域特定ステップをさらに設けることができる。記録媒体のプログラムは、混合比を基に、混合画素データから少なくとも前景オブジェクトを分離する分離ステップをさらに設けることができる。

記録媒体のプログラムは、分離された前景オブジェクトの動きボケの量を調整する動きボケ調整ステップをさらに設けることができる。

記録媒体のプログラムは、混合比を基に、所望の他のオブジェクトと分離された前景オブジェクトとを合成する合成ステップをさらに設けることができる。本発明のプログラムは、複数のォブジェクトのうちの前景となる前景オブジェタトの動きを基に、連続する所定数のフレームの画素データであって、複数のォブジェクトが混合されてなる画素データである、対応する複数の混合画素データを抽出するとともに、複数のォブジェクトのうちの背景となる背景オブジェクトの動きを基に、連続する所定数のフレームの'うちの、混合画素データが存在するフレームとは異なるフレームから、混合画素データに対応し、背景オブジェクトからなる画素データである背景画素データを抽出する画素データ抽出ステップと、抽出された混合画素データおよび背景画素データを基に、連続する所定数のフレームに対応する混合画素データおよび背景画素データの関係式を生成する関係式生成ステップと、関係式に基づいて、連続する所定数のフレームに対応して、 1 つの混合比を検出する混合比検出ステップとを含むことを特徴とする。

プログラムは、前景オブジェクトおよび背景オブジェクトの少なくとも一方の動きを検出する動き検出ステップをさらに設けることができる。

プログラムは、混合画素データからなる混合領域、背景画素からなる背景領域、および前景オブジェクトに対応する画素データである前景画素データからなる前景領域を特定する領域特定ステツプをさらに設けることができる。

プログラムは、混合比を基に、混合画素データから少なくとも前景オブジェクトを分離する分離ステップをさらに設けることができる。

プログラムは、分離された前景オブジェクトの動きボケの量を調整する動きボケ調整ステップをさらに設けることができる。

プログラムは、混合比を基に、所望の他のオブジェクトと分離された前景ォブジェクトとを合成する合成ステップをさらに設けることができる。

本発明の撮像装置は、それぞれ時間積分効果を有する所定数の画素を有する撮像素子によって撮像された被写体画像を、所定数の画素データからなる画像データとして出力する撮像手段と、現実世界では複数であるオブジェクトを含む画像データ内の複数のオブジェクトのうちの前景となる前景ォブジェクトの動きを基に、連続する所定数のフレームの画素データであって、複数のォプジヱクトが混合されてなる画素データである、対応する複数の混合画素データを抽出するとともに、複数のオブジェクトのうちの背景となる背景オブジェクトの動きを基に、連続する所定数のフレームのうちの、混合画素データが存在するフレームとは異なるフレームから、混合画素データに対応し、背景オブジェクトからなる画素データである背景画素データを抽出する画素データ抽出手段と、抽出された混合画素データおよび背景画素データを基に、連続する所定数のフレームに対応する混合画素データおよび背景画素データの関係式を生成する関係式生成手段と、関係式に基づいて、連続する所定数のフレームに対応して、 1つの混合比を検出する混合比検出手段とを含むことを特徴とする。

画素データ抽出手段は、フレームにおける背景ォブジェクトの動きの量に対応して、背景画素データを抽出するようにすることができる。

撮像装置は、前景オブジェクトおよび背景オブジェクトの少なくとも一方の動きを検出する動き検出手段をさらに設けることができる。

撮像装置は、混合画素データからなる混合領域、背景画素からなる背景領域、および前景オブジェクトに対応する画素データである前景画素データからなる前景領域を特定する領域特定手段をさらに設けることができる。

撮像装置は、混合比を基に、混合画素データから少なくとも前景オブジェクトを分離する分離手段をさらに設けることができる。

撮像装置は、分離された前景オブジェクトの動きボケの量を調整する動きボケ調整手段をさらに設けることができる。

撮像装置は、混合比を基に、所望の他のオブジェクトと分離された前景ォブジェクトとを合成する合成手段をさらに設けることができる。図面の簡単な説明

図 1は、本発明に係る信号処理装置の一実施の形態の構成を示すプロック図である。

図 2は、信号処理装置を示すプロック図である。

図 3は、センサによる撮像を説明する図である。

図 4は、画素の配置を説明する図である。

図 5は、検出素子の動作を説明する図である。

図 6 Aは、動いている前景に対応するオブジェクトと、静止している背景に対応するオブジェクトとを撮像して得られる画像を説明する図である。

図 6 Bは、動いている前景に対応するオブジェクトと、静止している背景に対応するオブジェクトとを撮像して得られる画像のモデルを説明する図である。図 7は、背景領域、前景領域、混合領域、カバードバックグラウンド領域、およびアンカバードバックグラウンド領域を説明する図である。

図 8は、静止している前景に対応するォブジェクトおよび静止している背景に対応するオブジェクトを撮像した画像における、隣接して 1列に並んでいる画素の画素値を時間方向に展開したモデル図である。

図 9は、画素値を時間方向に展開し、シャツタ時間に対応する期間を分割したモデノレ図である。

図 1 0は、画素値を時間方向に展開し、シャツタ時間に対応する期間を分割したモデル図である。

図 1 1は、画素値を時間方向に展開し、シャツタ時間に対応する期間を分割したモデル図である。

図 1 2は、前景領域、背景領域、および混合領域の画素を抽出した例を示す図である。

図 1 3は、画素と画素値を時間方向に展開したモデルとの対応を示す図である。図 1 4は、画素値を時間方向に展開し、シャツタ時間に対応する期間を分割したモデル図である。

図 1 5は、画素値を時間方向に展開し、シャツタ時間に対応する期間を分割したモデル図である。

図 1 6は、画素値を時間方向に展開し、シャツタ時間に対応する期間を分割したモデル図である。

図 1 7は、画素値を時間方向に展開し、シャツタ時間に対応する期間を分割したモデル図である。

図 1 8は、画素値を時間方向に展開し、シャツタ時間に対応する期間を分割したモデル図である。

図 1 9は、動きボケの量の調整の処理を説明するフローチャートである。

図 2 0は、領域特定部 1 0 3の構成の一例を示すブロック図である。

図 2 1は、前景に対応するオブジェクトが移動しているときの画像を説明する図である。

図 2 2は、画素値を時間方向に展開し、シャツタ時間に対応する期間を分割したモデル図である。

図 2 3は、画素値を時間方向に展開し、シャツタ時間に対応する期間を分割したモデル図である。

図 2 4は、画素値を時間方向に展開し、シャツタ時間に対応する期間を分割したモデル図である。

図 2 5は、領域判定の条件を説明する図である。

図 2 6 Aは、領域特定部 1 0 3の領域の特定の結果の例を示す図である。

図 2 6 Bは、領域特定部 1 0 3の領域の特定の結果の例を示す図である。

図 2 6 Cは、領域特定部 1 0 3の領域の特定の結果の例を示す図である。

図 2 6 Dは、領域特定部 1 0 3の領域の特定の結果の例を示す図である。図 2 7は、領域特定部 1 0 3の領域の特定の結果の例を示す図である。

図 2 8は、領域特定の処理を説明するフローチヤ一トである。

図 2 9は、領域特定部 1 0 3の他の構成の一例を示すプロック図である。

図 3 0は、画素値を時間方向に展開し、シャッタ時間に対応する期間を分割したモデル図である。

図 3 1は、背景画像の例を示す図である。

図 3 2は、 2値ォブジェクト画像抽出部 3 0 2の構成を示すプロック図である _t 図 3 3 Aは、相関値の算出を説明する図である。

図 3 3 Bは、相関値の算出を説明する図である。

図 3 4 Aは、相関値の算出を説明する図である。

図 3 4 Bは、相関値の算出を説明する図である。

図 3 5は、 2値オブジェクト画像の例を示す図である。

図 3 6は、時間変化検出部 3 0 3の構成を示すプロック図である。

図 3 7は、領域判定部 3 4 2の判定を説明する図である。

図 3 8は、時間変化検出部 3 0 3の判定の例を示す図である。

図 3 9は、領域判定部 1 0 3の領域特定の処理を説明するフローチャートである。

図 4 0は、領域判定の処理の詳細を説明するフローチャートである。

図 4 1は、領域特定部 1 0 3のさらに他の構成を示すブロック図である。

図 4 2は、ロバスト化部 3 6 1の構成を説明するブロック図である。

図 4 3は、動き補償部 3 8 1の動き補償を説明する図である。

図 4 4は、動き捕償部 3 8 1の動き補償を説明する図である。

図 4 5は、領域特定の処理を説明するフローチヤ一トである。

図 4 6は、口バスト化の処理の詳細を説明するフローチヤ一トである。

図 4 7は、混合比算出部 1 0 4の構成を示すブロック図である。

図 4 8は、理想的な混合比の例を示す図である。

図 4 9は、画素値を時間方向に展開し、シャツタ時間に対応する期間を分割したモデル図である。

図 5 0は、画素値を時間方向に展開し、シャツタ時間に対応する期間を分割したモデル図である。

図 5 1は、画素の選択を説明する図である。

図 5 2は、画素の選択を説明する図である。

図 5 3は、推定混合比処理部 4 0 1の構成を示すプロック図である。

図 5 4は、混合比演算部 4 2 2の構成を示すプロック図である。

図 5 5は、推定混合比の例を示す図である。

図 5 6は、混合比算出部 1 0 4の他の構成を示すブロック図である。

図 5 7は、混合比の算出の処理を説明するフローチャートである。

図 5 8は、混合比推定の算出の処理を説明するフローチヤ一トである。

図 5 9は、前景背景分離部 1 0 5の構成の一例を示すブロック図である。図 6 O Aは、入力画像、前景成分画像、および背景成分画像を示す図である。図 6 0 Bは、入力画像、前景成分画像、および背景成分画像のモデルを示す図である。

図 6 1は、画素値を時間方向に展開し、シャツタ時間に対応する期間を分割したモデル図である。

図 6 2は、画素値を時間方向に展開し、シャツタ時間に対応する期間を分割したモデル図である。

図 6 3は、画素値を時間方向に展開し、シャッタ時間に対応する期間を分割したモデル図である。

図 6 4は、分離部 6 0 1の構成の一例を示すブロック図である。

図 6 5 Aは、分離された前景成分画像の例を示す図である。

図 6 5 Bは、分離された背景成分画像の例を示す図である。

図 6 6は、前景と背景との分離の処理を説明するフローチャートである。図 6 7は、動きボケ調整部 1 0 6の構成の一例を示すプロック図である。図 6 8は、処理単位を説明する図である。図 6 9は、前景成分画像の画素値を時間方向に展開し、シャツタ時間に対応する期間を分割したモデル図である。

図 7 0は、前景成分画像の画素値を時間方向に展開し、シャツタ時間に対応する期間を分割したモデル図である。

図 7 1は、前景成分画像の画素値を時間方向に展開し、シャツタ時間に対応する期間を分割したモデル図である。

図 7 2は、前景成分画像の画素値を時間方向に展開し、シャツタ時間に対応する期間を分割したモデル図である。

図 7 3は、動きボケ調整部 1 0 6の他の構成の一例を示す図である。

図 7 4は、動きボケ調整部 1 0 6による前景成分画像に含まれる動きボケの量の調整の処理を説明するフローチヤ一トである。

図 7 5は、動きボケ調整部 1 0 6の他の構成の一例を示すプロック図である。図 7 6は、画素値と前景の成分のとの対応を指定するモデルの例を示す図である。

図 7 7は、前景の成分の算出を説明する図である。

図 7 8は、前景の成分の算出を説明する図である。

図 7 9は、前景の動きボケの除去の処理を説明するフローチヤ一トである。図 8 0は、信号処理装置の機能の他の構成を示すブロック図である。

図 8 1は、合成部 1 0 0 1の構成を示す図である。

図 8 2は、信号処理装置の機能のさらに他の構成を示すプロック図である。図 8 3は、混合比算出部 1 1 0 1の構成を示すブロック図である。

図 8 4は、前景背景分離部 1 1 0 2の構成を示すプロック図である。

図 8 5は、信号処理装置の機能のさらに他の構成を示すプロック図である。図 8 6は、合成部 1 2 0 1の構成を示す図である。発明を実施するための最良の形態

CPU (Central Proces s ing Uni t) 2 1は、 ROM (Read Only Memory) 2 2、または記憶部 2 8に記憶されているプログラムに従つて各種の処理を実行する。 RAM (Random Access Memory) 2 3には、 CPU 2 1が実行するプログラムゃデータなどが適宜記憶される。これらの CPU 2 1、 ROM 2 2、および RAM 2 3は、ス 2 4により相互に接続されている。

CPU 2 1にはまた、バス 2 4を介して入出力インタフェース 2 5が接続されている。入出力インタフェース 2 5には、キーボード、マウス、マイクロホンなどよりなる入力部 2 6、ディスプレイ、スピーカなどよりなる出力部 2 7が接続されている。 CPU 2 1は、入力部 2 6から入力される指令に対応して各種の処理を実行する。そして、 CPU 2 1は、処理の結果得られた画像や音声等を出力部 2 .7 に出力する。

入出力ィンタフェース 2 5に接続されている記憶部 2 8は、例えばハードディスクなどで構成され、 CPU 2 1が実行するプログラムや各種のデータを記憶する。通信部 2 9は、インターネット、その他のネットワークを介して外部の装置と通信する。この例の場合、通信部 2 9はセンサの出力を取り込む取得部として働く。また、通信部 2 9を介してプログラムを取得し、記憶部 2 8に記憶してもよい。入出力ィンタフェース 2 5に接続されているドライブ 3 0は、磁気デイスク 5 1、光ディスク 5 2、光磁気ディスク 5 3、或いは半導体メモリ 5 4などが装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記憶部 2 8に転送され、記憶される。

次に、センサにより取得されたデータから、有意情報が埋もれている領域を特定したり、埋もれた有意情報を抽出する処理を行う信号処理装置についてより具体的な例を挙げて説明する。以下の例において、 CCDラインセンサまたは CCDェリアセンサがセンサに対応し、領域情報や混合比が有意情報に対応し、混合領域において、前景と背景が混合していることや動きボケが歪みに対応する。図 2は、信号処理装置を示すブロック図である。 - なお、信号処理装置の各機能をハードウェアで実現する力 \ ソフトウェアで実現するかは問わない。つまり、本明細書の各ブロック図は、ハードウェアのプロック図と考えても、ソフトウエアによる機能プロック図と考えても良い。

ここで、動きボケとは、撮像の対象となる、現実世界におけるオブジェクトの動きと、センサの撮像の特性とにより生じる、動いているオブジェクトに対応する画像に含まれている歪みをいう。

この明細書では、撮像の対象となる、現実世界におけるオブジェクトに対応する画像を、画像オブジェクトと称する。

信号処理装置に供給された入力画像は、才ブジェクト抽出部 1 0 1、領域特定部 1 0 3、混合比算出部 1 0 4、および前景背景分離部 1 0 5に供給される。オブジェクト抽出部 1 0 1は、入力画像に含まれる前景のォブジェクトに対応する画像オブジェクトを粗く抽出して、抽出した画像オブジェクトを動き検出部 1 0 2に供給する。オブジェクト抽出部 1 0 1は、例えば、入力画像に含まれる前景のオブジェクトに対応する画像ォブジェクトの輪郭を検出することで、前景のオブジェクトに対応する画像ォブジェクトを粗く抽出する。

オブジェクト抽出部 1 0 1は、入力画像に含まれる背景のオブジェクトに対応する画像オブジェクトを粗く抽出して、抽出した画像オブジェクトを動き検出部

1 0 2に供給する。ォブジヱクト抽出部 1 0 1は、例えば、入力画像と、抽出された前景のオブジェクトに対応する画像オブジェクトとの差から、背景のォプジエタトに対応する画像オブジェクトを粗く抽出する。

また、例えば、オブジェクト抽出部 1 0 1は、内部に設けられている背景メモリに記憶されている背景の画像と、入力画像との差から、前景のオブジェクトに対応する画像オブジェクト、および背景のオブジェクトに対応する画像オブジェタトを粗く抽出するようにしてもよい。

動き検出部 1 0 2は、例えば、プロックマッチング法、勾配法、位相相関法、およびペルリカーシブ法などの手法により、粗く抽出された前景のオブジェクトに対応する画像オブジェクトの動きべクトルを算出して、算出した動きべクトルおよび動きべクトルの位置情報（動きべクトルに対応する画素の位置を特定する情報）を領域特定部 1 0 3、混合比算出部 1 0 4、および動きボケ抽出部 1 0 6 に供給する。

動き検出部 1 0 2が出力する動きベクトルには、動き量 Vに対応する情報が含まれるている。

また、例えば、動き検出部 1 0 2は、画像オブジェクトに画素を特定する画素位置情報と共に、画像オブジェクト毎の動きべクトルを動きボケ調整部 1 0 6に出力するようにしてもよい。

動き量 Vは、動いているオブジェクトに対応する画像の位置の変化を画素間隔を単位として表す値である。例えば、前景に対応するオブジェクトの画像が、あるフレームを基準として次のフレームにおいて 4画素分離れた位置に表示されるように移動しているとき、前景に対応するオブジェクトの画像の動き量 V は、 4とされる。

なお、オブジェクト抽出部 1 0 1および動き検出部 1 0 2は、動いているォブジュクトに対応した動きボケ量の調整を行う場合に必要となる。

領域特定部 1 0 3は、入力された画像の画素のそれぞれを、前景領域、背景領域、または混合領域のいずれかに特定し、画素毎に前景領域、背景領域、または混合領域のいずれかに属するかを示す情報（以下、領域情報と称する）を混合比算出部 1 0 4、前景背景分離部 1 0 5、および動きボケ調整部 1 0 6に供給する。混合比算出部 1 0 4は、入力画像、動き検出部 1 0 2から供給された動きべクトルおよびその位置情報、並びに領域特定部 1 0 3から供給された領域情報を基に、混合領域 6 3に含まれる画素に対応する混合比（以下、混合比 a と称する）を算出して、算出した混合比を前景背景分離部 1 0 5に供給する。

混合比は、後述する式（3 ) に示されるように、画素値における、背景のオブジェクトに対応する画像の成分（以下、背景の成分とも称する）の割合を示す値である。前景背景分離部 1 0 5は、領域特定部 1 0 3から供給された領域情報、および混合比算出部 1 0 4から供給された混合比を基に、前景のォブジェクトに対応する画像の成分（以下、前景の成分とも称する）のみから成る前景成分画像と、背景の成分のみから成る背景成分画像とに入力画像を分離して、前景成分画像を動きボケ調整部 1 0 6および選択部 1 0 7に供給する。なお、分離された前景成分画像を最終的な出力とすることも考えられる。従来の混合領域を考慮しないで前景と背景だけを特定し、分離していた方式に比べ正確な前景と背景を得ることが出来る。

動きボケ調整部 1 0 6は、動きべクトルからわかる動き量 Vおよび領域情報を基に、前景成分画像に含まれる 1以上の画素を示す処理単位を決定する。処理単位は、動きボケの量の調整の処理の対象となる 1群の画素を指定するデータである。

動きボケ調整部 1 0 6は、信号処理装置に入力された動きボケ調整量、前景背景分離部 1 0 5から供給された前景成分画像、動き検出部 1 0 2から供給された動きベクトルおよびその位置情報、並びに処理単位を基に、前景成分画像に含まれる動きボケを除去する、動きボケの量を減少させる、または動きボケの量を增加させるなど前景成分画像に含まれる動きボケの量を調整して、動きボケの量を調整した前景成分画像を選択部 1 0 7に出力する。動きべクトルとその位置情報は使わないこともある。

選択部 1 0 7は、例えば使用者の選択に対応した選択信号を基に、前景背景分離部 1 0 5から供給された前景成分画像、および動きボケ調整部 1 0 6から供^ された動きボケの量が調整された前景成分画像のいずれか一方を選択して、選択した前景成分画像を出力する。

次に、図 3乃至図 1 8を参照して、信号処理装置に供給される入力画像について説明する。

図 3は、センサによる撮像を説明する図である。センサは、例えば、固体撮像素子である CCD (Charge-Coupl ed Device) エリアセンサを備えた CCDビデオ力メラなどで構成される。現実世界における、前景に対応するォブジェクト 1 1 1 は、現実世界における、背景に対応するォブジェクト 1 1 2と、センサとの間を、例えば、図中の左側から右側に水平に移動する。

センサは、前景に対応するォブジェクト 1 1 1を、背景に対応するオブジェクト 1 1 2と共に撮像する。センサは、撮像した画像を 1フレーム単位で出力する。例えば、センサは、 1秒間に 3 0フレームから成る画像を出力する。センサの露光時間は、 1ノ3 0秒とすることができる。露光時間は、センサが入力された光の電荷への変換を開始してから、入力された光の電荷への変換を終了するまでの期間である。以下、露光時間をシャツタ時間とも称する。

図 4は、画素の配置を説明する図である。図 4中において、 A乃至 Iは、個々の画素を示す。画素は、画像に対応する平面上に配置されている。 1つの画素に対応する 1つの検出素子は、センサ上に配置されている。センサが画像を撮像するとき、 1つの検出素子は、画像を構成する 1つの画素に対応する画素値を出力する。例えば、検出素子の X方向の位置は、画像上の横方向の位置に対応し、検出素子の Y方向の位置は、画像上の縦方向の位置に対応する。

図 5に示すように、例えば、 CCDである検出素子は、シャツタ時間に対応する期間、入力された光を電荷に変換して、変換された電荷を蓄積する。電荷の量は、入力された光の強さと、光が入力されている時間にほぼ比例する。検出素子は、シャツタ時間に対応する期間において、入力された光から変換された電荷を、既に蓄積されている電荷に加えていく。すなわち、検出素子は、シャツタ時間に対応する期間、入力される光を積分して、積分された光に対応する量の電荷を蓄積する。検出素子は、時間に対して、積分効果があるとも言える。

検出素子に蓄積された電荷は、図示せぬ回路により、電圧値に変換され、電圧値は更にデジタルデータなどの画素値に変換されて出力される。従って、センサから出力される個々の画素値は、前景または背景に対応するオブジェクトの空間的に広がりを有するある部分を、シャツタ時間について積分した結果である、 1 次元の空間に射影された値を有する。信号処理装置は、このようなセンサの蓄積の動作により、出力信号に埋もれてしまった有意な情報、例えば、混合比を抽出する。信号処理装置は、前景の画像オブジェクト自身が混ざり合うことによる生ずる歪みの量、例えば、動きボケの量などを調整する。また、信号処理装置は、前景の画像オブジェクトと背景の画像オブジェクトとが混ざり合うことにより生ずる歪みの量を調整する。

図 6 Aは、動きを伴う前景に対応するォブジヱクトと、.静止している背景に対応するオブジェクトとを撮像して得られる画像を示している。図 6 Aに示す例において、前景に対応するオブジェクトは、画面に対して水平に左から右に動いている。

図 6 Bは、図 6 Aに示す画像の 1つのラインに対応する画素値を時間方向に展開したモデル図である。図 6 Bの横方向は、図 6 Aの空間方向 Xに対応している。背景領域の画素は、背景の成分、すなわち、背景のオブジェクトに対応する画像の成分のみから、その画素値が構成されている。前景領域の画素は、前景の成分、すなわち、前景のォブジェクトに対応する画像の成分のみから、その画素値が構成されている。

混合領域の画素は、背景の成分、および前景の成分から、その画素値が構成されている。混合領域は、背景の成分、および前景の成分から、その画素値が構成されているので、歪み領域ともいえる。混合領域は、更に、カバードバックダラゥンド領域およびアンカバードバックグラウンド領域に分類される。

カバードバックグラウンド領域は、 · 前景領域に対して、前景のオブジェクトの進行方向の前端部に対応する位置の混合領域であり、時間の経過に対応して背景成分が前景に覆い隠される領域をいう。

これに対して、アンカバードバックグラウンド領域は、前景領域に対して、前景のォブジェクトの進行方向の後端部に対応する位置の混合領域であり、時間の経過に対応して背景成分が現れる領域をいう。

このように、前景領域、背景領域、またはカバードバックグラウンド領域若しくはァンカバードバックグラウンド領域を含む画像が、領域特定部 1 0 3、混合比算出部 1 0 4、および前景背景分離部 1 0 5に入力画像として入力される。図 7は、以上のような、背景領域、前景領域、混合領域、カバードバックグラゥンド領域、およびアンカバードパックグラウンド領域を説明する図である。図 6 Aに示す画像に対応する場合、背景領域は、静止部分であり、前景領域は、動き部分であり、混合領域のカバードバックグラウンド領域は、背景から前景に変化する部分であり、混合領域のアンカバードバックグラウンド領域は、前景から背景に変化する部分である。

図 8は、静止している前景に対応するオブジェクトおよび静止している背景に対応するォブジェクトを撮像した画像における、隣接して 1列に並んでいる画素の画素値を時間方向に展開したモデル図である。例えば、隣接して 1列に並んでいる画素として、画面の 1つのライン上に並んでいる画素を選択することができる。

図 8に示す F01乃至 F04の画素値は、静止している前景のォブジェクトに対応する画素の画素値である。図 8に示す B01乃至 B04の画素ィ直は、静止している背景のオブジェクトに対応する画素の画素値である。

図 8における縦方向は、図中の上から下に向かって時間が経過する。図 8中の矩形の上辺の位置は、センサが入力された光の電荷への変換を開始する時刻に対応し、図 8中の矩形の下辺の位置は、センサが入力された光の電荷への変換を終了する時刻に対応する。すなわち、図 8中の矩形の上辺から下辺までの距離は、シャツタ時間に対応する。

以下において、シャッタ時間とフレーム間隔とが同一である場合を例に説明する。

図 8における横方向は、図 6 Aで説明した空間方向 Xに対応する。より具体的には、図 8に示す例において、図 8中の" F01 " と記載された矩形の左辺から" B04" と記載された矩形の右辺までの距離は、画素のピッチの 8倍、すなわち、連続している 8つの画素の間隔に対応する。

前景のオブジェクトおよぴ背景のォブジェクトが静止している場合、シャツタ時間に対応する期間において、センサに入力される光は変化しない。

ここで、シャッタ時間に対応する期間を 2つ以上の同じ長さの期間に分割する。例えば、仮想分割数を 4とすると、図 8に示すモデル図は、図 1 1に示すモデルとして表すことができる。仮想分割数は、前景に対応するオブジェクトのシャツタ時間内での動き量 Vなどに対応して設定される。例えば、 4である動き量 V に対応して、仮想分割数は、 4とされ、シャツタ時間に対応する期間は 4つに分割される。

図中の最も上の行は、シャツタが開いて最初の、分割された期間に対応する。図中の上から 2番目の行は、シャツタが開いて 2番目の、分割された期間に対応する。図中の上から 3番目の行は、シャツタが開いて 3番目の、分割された期間に対応する。図中の上から 4番目の行は、シャツタが開いて 4番目の、分割された期間に対応する。

以下、動き量 Vに対応して分割されたシャツタ時間をシャツタ時間/ Vとも称する。

前景に対応するオブジェクトが静止しているとき、センサに入力される光は変化しないので、前景の成分 FO l /vは、画素値 F01を仮想分割数で除した値に等しい。同様に、前景に対応するオブジェクトが静止しているとき、前景の成分 F02/v は、画素値 F02 を仮想分割数で除した値に等しく、前景の成分 F03/v は、画素値 F03を仮想分割数で除した値に等しく、前景の成分 F04/vは、画素値 F04を仮想分割数で除した値に等しい。

背景に対応するオブジェクトが静止しているとき、センサに入力される光は変化しないので、背景の成分 BO l/vは、画素値 B01を仮想分割数で除した値に等しい。同様に、背景に対応するオブジェクトが静止しているとき、背景の成分 B02/vは、画素値 B02を仮想分割数で除した値に等しく、 B03/vは、画素値 B03 を仮想分割数で除した値に等しく、 B04/vは、画素値 B04を仮想分割数で除した値に等しい。

すなわち、前景に対応するオブジェクトが静止している場合、シャツタ時間に対応する期間において、センサに入力される前景のオブジェクトに対応する光が変化しないので、シャツタが開いて最初の、シャツタ時間/ Vに対応する前景の成分 FO l/ vと、シャツタが開いて 2番目の、シャツタ時間/ Vに対応する前景の成分 FO l/vと、シャツタが開いて 3番目の、シャツタ時間/ Vに対応する前景の成分 FO l/vと、シャツタが開いて 4番目の、シャツタ時間/ Vに対応する前景の成分 FO l/vとは、同じ値となる。 F02/V乃至 F04/vも、 FO l/vと同様の関係を有する。

背景に対応するォブジタトが静止している場合、シャツタ時間に対応する期間において、センサに入力される背景のオブジェクトに対応する光は変化しないので、シャツタが開いて最初の、シャツタ時間/ Vに対応する背景の成分 BO l/v と、シャツタが開いて 2番目の、シャツタ時間/ Vに対応する背景の成分 BO l/v と、シャツタが開いて 3番目の、シャツタ時間/ Vに対応する背景の成分 BO l/v と、シャツタが開いて 4番目の、シャツタ時間/ Vに対応する背景の成分 BO l/v とは、同じ値となる。 B02/v乃至 B04/ も、同様の関係を有する。

次に、前景に対応するオブジェクトが移動し、背景に対応するォブジェクトが静止している場合について説明する。

図 1 0は、前景に対応するォブジェクトが図中の右側に向かって移動する場合の、カバードバックグラウンド領域を含む、 1つのライン上の画素の画素値を時間方向に展開したモデル図である。図 1 0において、前景の動き量 Vは、 4である。 1フレームは短い時間なので、前景に対応するオブジェクトが剛体であり、等速で移動していると仮定することができる。図 1 0において、前景に対応するォブジェクトの画像は、あるフレームを基準として次のフレームにおいて 4画素分右側に表示されるように移動する。

図 1 0において、最も左側の画素乃至左から 4番目の画素は、前景領域に属する。図 1 0において、左から 5番目乃至左から 7番目の画素は、カバードバックグラウンド領域である混合領域に属する。図 1 0において、最も右側の画素は、背景領域に属する。前景に対応するォブジェクトが時間の経過と共に背景に対応するオブジェクトを覆い隠すように移動しているので、カバードバックグラウンド領域に属する画素の画素値に含まれる成分は、シャツタ時間に対応する期間のある時点で、背景の成分から、前景の成分に替わる。

例えば、図 1 0中に太線枠を付した画素値 Mは、式（1 ) で表される。

M=B02/v+B02/v+F07/v+F06/v ( 1 )

例えば、左から 5番目の画素は、 1つのシャツタ時間/ Vに対応する背景の成分を含み、 3つのシャツタ時間/ Vに対応する前景の成分を含むので、左から 5 番目の画素の混合比は、 1/4である。左から 6番目の画素は、 2つのシャッタ時間/ Vに対応する背景の成分を含み、 2つのシャツタ時間/ Vに対応する前景の成分を含むので、左から 6番目の画素の混合比ひは、 1/2である。左から 7 番目の画素は、 3つのシャツタ時間/ Vに対応する背景の成分を含み、 1つのシャッタ時間/ Vに対応する前景の成分を含むので、左から 7番目の画素の混合比は、 3/4である。

前景に対応するオブジェクトが、剛体であり、前景の画像が次のフレームにおいて 4画素右側に表示されるように等速で移動すると仮定できるので、例えば、図 1 0中の左から 4番目の画素の、シャツタが開いて最初の、シャツタ時間/ V の前景の成分 F07/vは、図 1 0中の左から 5番目の画素の、シャツタが開いて 2番目のシャツタ時間/ Vに対応する前景の成分に等しい。同様に、前景の成分 F07/vは、図 1 0中の左から 6番目の画素の、シャツタが開いて 3番目のシャツタ時間 /vに対応する前景の成分と、図 1 0中の左から 7番目の画素の、シャツタが開いて 4番目のシャツタ時間/ Vに対応する前景の成分とに、それぞれ等しレ、。

前景に対応するオブジェクトが、剛体であり、前景の画像が次のフレームにおいて 4画素右側に表示されるように等速で移動すると仮定できるので、例えば、図 1 0中の左から 3番目の画素の、シャッタが開いて最初のシャッタ時間/ Vの前景の成分 F06/vは、図 1 0中の左から 4番目の画素の、シャツタが開いて 2 番目のシャツタ時間 /vに対応する前景の成分に等しい。同様に、前景の成分 F06/vは、図 1 0中の左から 5番目の画素の、シャツタが開いて 3番目のシャツタ時間/ Vに対応する前景の成分と、図 1 0中の左から 6番目の画素の、シャツタが開いて 4番目のシャッタ時間/ Vに対応する前景の成分とに、それぞれ等しレ、。

前景に対応するオブジェクトが、剛体であり、前景の画像が次のフレームにおいて 4画素右側に表示されるように等速で移動すると仮定できるので、例えば、図 1 0中の左から 2番目の画素の、シャッタが開いて最初のシャッタ時間/ Vの前景の成分 F05/vは、図 1 0中の左から 3番目の画素の、シャツタが開いて 2 番目のシャツタ時間/ Vのに対応する前景の成分に等しい。同様に、前景の成分 F05/vは、図 1 0中の左から 4番目の画素の、シャツタが開いて 3番目のシャツタ時間 /vに対応する前景の成分と、図 1 0中の左から 5番目の画素の、シャツタが開いて 4番目のシャッタ時間/ Vに対応する前景の成分とに、それぞれ等しい。

前景に対応するオブジェクトが、剛体であり、前景の画像が次のフレームにおいて 4画素右側に表示されるように等速で移動すると仮定できるので、例えば、図 1 0中の最も左側の画素の、シャツタが開いて最初のシャツタ時間/ Vの前景の成分 F04/vは、図 1 0中の左から 2番目の画素の、シャツタが開いて 2番目のシャツタ時間/ Vに対応する前景の成分に等しい。同様に、前景の成分 F04/v は、図 1 0中の左から 3番目の画素の、シャツタが開いて 3番目のシャツタ時間 /vに対応する前景の成分と、図 1 0中の左から 4番目の画素の、シャツタが開いて 4番目のシャツタ時間 /vに対応する前景の成分とに、それぞれ等しい。動いているオブジェクトに対応する前景の領域は、このように動きボケを含むので、歪み領域とも言える。

図 1 1は、前景が図中の右側に向かって移動する場合の、アンカバードバックダラゥンド領域を含む、 1つのライン上の画素の画素値を時間方向に展開したモデル図である。図 1 1において、前景の動き量 Vは、 4である。 1フレームは短い時間なので、前景に対応するオブジェクトが剛体であり、等速で移動していると仮定することができる。図 1 1において、前景に対応するオブジェクトの画像は、あるフレームを基準として次のフレームにおいて 4画素分右側に移動する。図 1 1において、最も左側の画素乃至左から 4番目の画素は、背景領域に属する。図 1 1において、左から 5番目乃至左から 7番目の画素は、アンカバードバックグラウンドである混合領域に属する。図 1 1において、最も右側の画素は、前景領域に属する。

背景に対応するオブジェクトを覆っていた前景に対応するォブジェクトが時間の経過と共に背景に対応するォブジェクトの前から取り除かれるように移動しているので、アンカバードバックグラウンド領域に属する画素の画素値に含まれる成分は、シャツタ時間に対応する期間のある時点で、前景の成分から、背景の成分に替わる。

例えば、図 1 1中に太線枠を付した画素値 M'は、式（2 ) で表される。

M' =F02/v+F01/v+B26/v+B26/v ( 2 )

例えば、左から 5番目の画素は、 3つのシャツタ時間/ Vに対応する背景の成分を含み、 1つのシャツタ時間/ Vに対応する前景の成分を含むので、左から 5 番目の画素の混合比は、 3/4である。左から 6番目の画素は、 2つのシャツタ時間/ Vに対応する背景の成分を含み、 2つのシャツタ時間 /vに対応する前景の成分を含むので、左から 6番目の画素の混合比は、 1/2である。左から 7 番目の画素は、 1つのシャツタ時間/ Vに対応する背景の成分を含み、 3つのシャッタ時間/ Vに対応する前景の成分を含むので、左から 7番目の画素の混合比は、 1/4である。

式（1 ) および式（2 ) をより一般化すると、画素値 Mは、式（3 ) で表される。

ここで、ひは、混合比である。 Bは、背景の画素値であり、 Fi/vは、前景の成分である。

前景に対応するォブジェクトが剛体であり、等速で動くと仮定でき、かつ、動き量 Vが 4であるので、例えば、図 1 1中の左から 5番目の画素の、シャツタが開いて最初の、シャツタ時間/ Vの前景の成分 FO l/vは、図 1 1中の左から 6 番目の画素の、シャツタが開いて 2番目のシャツタ時間/ Vに対応する前景の成分に等しい。同様に、 FO l/vは、図 1 1中の左から 7番目の画素の、シャツタが開いて 3番目のシャッタ時間/ Vに対応する前景の成分と、図 1 1中の左から 8 番目の画素の、シャッタが開いて 4番目のシャッタ時間/ Vに対応する前景の成分とに、それぞれ等しい。

前景に対応するオブジェクトが剛体であり、等速で動くと仮定でき、かつ、仮想分割数が 4であるので、例えば、図 1 1中の左から 6番目の画素の、シャツタが開いて最初の、シャツタ時間/ Vの前景の成分 F02/vは、図 1 1中の左から 7 番目の画素の、シャッタが開いて 2番目のシャッタ時間/ Vに対応する前景の成分に等しい。同様に、前景の成分 F02/v は、図 1 1中の左から 8番目の画素の、シャツタが開いて 3番目のシャツタ時間/ Vに対応する前景の成分に等しい。

前景に対応するオブジェクトが剛体であり、等速で動くと仮定でき、かつ、動き量 Vが 4であるので、例えば、図 1 1中の左から 7番目の画素の、シャツタが開いて最初の、シャツタ時間/ Vの前景の成分 F03/vは、図 1 1中の左から 8 番目の画素の、シャッタが開いて 2番目のシャッタ時間/ Vに対応する前景の成分に等しい。

図 9乃至図 1 1の説明において、仮想分割数は、 4であるとして説明したが、仮想分割数は、動き量 Vに対応する。動き量 Vは、一般に、前景に対応するォブジェクトの移動速度に対応する。例えば、前景に対応するオブジェクトが、あるフレームを基準として次のフレームにおいて 4画素分右側に表示されるように移動しているとき、動き量 Vは、 4とされる。動き量 Vに対応し、仮想分割数は、 4とされる。同様に、例えば、前景に対応するオブジェクトが、あるフレームを基準として次のフレームにおいて 6画素分左側に表示されるように移動しているとき、動き量 vは、 6とされ、仮想分割数は、 6とされる。

図 1 2および図 1 3に、以上で説明した、前景領域、背景領域、カバードバックグラウンド領域若しくはアンカバードバックグラウンド領域から成る混合領域と、分割されたシャッタ時間に対応する前景の成分および背景の成分との関係を示す。

図 1 2は、静止している背景の前を移動しているオブジェクトに対応する前景を含む画像から、前景領域、背景領域、および混合領域の画素を抽出した例を示す。図 1 2に示す例において、前景に対応するォブジェクトは、画面に対して水平に移動している。

フレーム #n+ lは、フレーム #nの次のフレームであり、フレーム #n+2は、フレーム #n+l の次のフレームである。

フレーム乃至フレーム #n+2 のいずれかから抽出した、前景領域、背景領域、および混合領域の画素を抽出して、動き量 Vを 4として、抽出された画素の画素値を時間方向に展開したモデルを図 1 3に示す。

前景領域の画素値は、前景に対応するオブジェクトが移動するので、シャツタ時間/ Vの期間に対応する、 4つの異なる前景の成分から構成される。例えば、図 1 3に示す前景領域の画素のうち最も左側に位置する画素は、

?01 ^02/¥, ?03 、ぉょび？04/¥から構成される。すなわち、前景領域の画素は、動きボケを含んでいる。

背景に対応するオブジェクトが静止しているので、シャツタ時間に対応する期間において、センサに入力される背景に対応する光は変化しない。この場合、背景領域の画素値は、動きボケを含まない。

力バードバックグラウンド領域若しくはアンカバードバックグラウンド領域から成る混合領域に属する画素の画素値は、前景の成分と、背景の成分とから構成される。

次に、オブジェクトに対応する画像が動いているとき、複数のフレームにおける、隣接して 1列に並んでいる画素であって、フレーム上で同一の位置の画素の画素値を時間方向に展開したモデルについて説明する。例えば、オブジェクトに対応する画像が画面に対して水平に動いているとき、隣接して 1列に並んでいる画素として、画面の 1つのライン上に並んでいる画素を選択することができる。図 1 4は、静止している背景に対応するォブジェクトを撮像した画像の 3つのフレームの、隣接して 1列に並んでいる画素であって、フレーム上で同一の位置の画素の画素値を時間方向に展開したモデル図である。フレーム #nは、フレーム #n- lの次のフレームであり、フレーム #n+ lは、フレーム #nの次のフレームである。他のフレームも同様に称する。

図 1 4に示す B01乃至 B 12の画素値は、静止している背景のオブジェクトに対応する画素の画素値である。背景に対応するオブジェクトが静止しているので、フレーム #n- l乃至フレーム n+ 1において、対応する画素の画素値は、変化しない。例えば、フレーム #n_ lにおける B05の画素値を有する画素の位置に対応する、フレームにおける画素、およびフレーム #n+ l における画素は、それぞれ、 B05の画素値を有する。

図 1 5は、静止している背景に対応するオブジェクトと共に図中の右側に移動する前景に対応するォブジェクトを撮像した画像の 3つのフレームの、隣接して 1列に並んでいる画素であって、フレーム上で同一の位置の画素の画素値を時間方向に展開したモデル図である。図 1 5に示すモデルは、カバードバックグラウンド領域を含む。

図 1 5において、前景に対応するォブジェクトが、剛体であり、等速で移動すると仮定でき、前景の画像が次のフレームにおいて 4画素右側に表示されるように移動するので、前景の動き量 Vは、 4であり、仮想分割数は、 4である。

例えば、図 1 5中のフレーム #n- lの最も左側の画素の、シャツタが開いて最初のシャツタ時間/ Vの前景の成分は、 F 12/vとなり、図 1 5中の左から 2番目の画素の、シャツタが開いて 2番目のシャツタ時間/ Vの前景の成分も、 F 12/v となる。図 1 5中の左から 3番目の画素の、シャツタが開いて 3番目のシャツタ時間/ Vの前景の成分、および図 1 5中の左から 4番目の画素の、シャツタが開いて 4番目のシャッタ時間/ Vの前景の成分は、 F12/vとなる。

図 1 5中のフレーム #n- lの最も左側の画素の、シャッタが開いて 2番目のシャッタ時間/ Vの前景の成分は、 Fl l/vとなり、図 1 5中の左から 2番目の画素の、シャツタが開いて 3番目のシャツタ時間/ V の前景の成分も、 Fl l/v となる。図 1 5中の左から 3番目の画素の、シャツタが開いて 4番目のシャツタ時間/ V の前景の成分は、 Fl l/v となる。

図 1 5中のフレーム #n- 1の最も左側の画素の、シャツタが開いて 3番目のシャッタ時間/ Vの前景の成分は、 FlO/vとなり、図 1 5中の左から 2番目の画素の、シャツタが開いて 4番目のシャツタ時間/ V の前景の成分も、 FlO/v となる。図 1 5中のフレーム #n-lの最も左側の画素の、シャツタが開いて 4番目のシャッタ時間/ Vの前景の成分は、 F09/Vとなる。

背景に対応するォブジェクトが静止しているので、図 1 5中のフレーム #n- 1 の左から 2番目の画素の、シャッタが開いて最初のシャッタ時間/ Vの背景の成分は、 BO l/vとなる。図 1 5中のフレーム #n_ lの左から 3番目の画素の、シャッタが開いて最初および 2番目のシャツタ時間/ Vの背景の成分は、 B02/vとなる。図 1 5中のフレーム #n- lの左から 4番目の画素の、シャツタが開いて最初乃至 3番目のシャツタ時間/ Vの背景の成分は、 B03/vとなる。

図 1 5中のフレーム - 1において、最も左側の画素は、前景領域に属し、左側から 2番目乃至 4番目の画素は、力バードバックグラウンド領域である混合領域に属する。

図 1 5中のフレーム #n- 1の左から 5番目の画素乃至 1 2番目の画素は、背景領域に属し、その画素値は、それぞれ、 B04乃至 B 11 となる。

図 1 5中のフレーム #nの左から 1番目の画素乃至 5番目の画素は、前景領域に属する。フレーム #nの前景領域における、シャツタ時間/ Vの前景の成分は、 F05/v乃至 F12/Vのいずれかである。

前景に対応するオブジェクトが、剛体であり、等速で移動すると仮定でき、前景の画像が次のフレームにおいて 4画素右側に表示されるように移動するので、図 1 5中のフレーム #nの左から 5番目の画素の、シャッタが開いて最初のシャッタ時間/ V の前景の成分は、 F 12/v となり、図 1 5中の左から 6番目の画素の. シャツタが開いて 2番目のシャツタ時間/ Vの前景の成分も、 F 12/v となる。図 1 5中の左から 7番目の画素の、シャッタが開いて 3番目のシャッタ時間/ Vの前景の成分、および図 1 5中の左から 8番目の画素の、シャツタが開いて 4番目のシャツタ時間/ Vの前景の成分は、 F12/v となる。

図 1 5中のフレーム #nの左から 5番目の画素の、シャツタが開いて 2番目のシャツタ時間/ Vの前景の成分は、 Fl l /v となり、図 1 5中の左から 6番目の画素の、シャツタが開いて 3番目のシャツタ時間/ Vの前景の成分も、 F l l /v となる。図 1 5中の左から 7番目の画素の、シャツタが開いて 4番目のシャツタ時間 /vの前景の成分は、 F l l /vとなる。

図 1 5中のフレーム #nの左から 5番目の画素の、シャッタが開いて 3番目のシャツタ時間/ Vの前景の成分は、 F lO/vとなり、図 1 5中の左から 6番目の画素の、シャツタが開いて 4番目のシャツタ時間/ Vの前景の成分も、 F l O/vとなる。図 1 5中のフレーム #nの左から 5番目の画素の、シャツタが開いて 4番目のシャツタ時間/ Vの前景の成分は、 F09/v となる。

背景に対応するオブジェクトが静止しているので、図 1 5中のフレームの左から 6番目の画素の、シャッタが開いて最初のシャッタ時間/ Vの背景の成分は、 B05/vとなる。図 1 5中のフレーム #nの左から 7番目の画素の、シャツタが開いて最初および 2番目のシャツタ時間/ Vの背景の成分は、 B06/vとなる。図 1 5中のフレーム #nの左から 8番目の画素の、シャッタが開いて最初乃至 3 番目の、シャツタ時間/ Vの背景の成分は、 B07/vとなる。

図 1 5中のフレーム #nにおいて、左側から 6番目乃至 8番目の画素は、カバ一ドバックグラウンド領域である混合領域に属する。

図 1 5中のフレーム #_nの左から 9番目の画素乃至 1 2番目の画素は、背景領域に属し、画素値は、それぞれ、 B08乃至 B 1 1 となる。

図 1 5中のフレーム #n+ lの左から 1番目の画素乃至 9番目の画素は、前景領域に属する。フレーム #n+ lの前景領域における、シャツタ時間/ Vの前景の成分は、 FOl/v乃至 F 12/vのいずれかである。

前景に対応するオブジェクトが、剛体であり、等速で移動すると仮定でき、前景の画像が次のフレームにおいて 4画素右側に表示されるように移動するので、図 1 5中のフレーム #n+lの左から 9番目の画素の、シャツタが開いて最初のシャッタ時間/ Vの前景の成分は、 F12/vとなり、図 1 5中の左から 1 0番目の画素の、シャツタが開いて 2番目のシャツタ時間/ Vの前景の成分も、 F12/vとなる。図 1 5中の左から 1 1番目の画素の、シャツタが開いて 3番目のシャツタ時間/ Vの前景の成分、および図 1 5中の左から 1 2番目の画素の、シャツタが開いて 4番目のシャツタ時間/ Vの前景の成分は、 F12/vとなる。

図 1 5中のフレーム #n+ lの左から 9番目の画素の、シャッタが開いて 2番目のシャツタ時間 /vの期間の前景の成分は、 Fl l/vとなり、図 1 5中の左から 1 0番目の画素の、シャッタが開いて 3番目のシャッタ時間/ Vの前景の成分も、 Fl l/v となる。図 1 5中の左から 1 1番目の画素の、シャツタが開いて 4番目の、シャツタ時間/ Vの前景の成分は、 Fl l/vとなる。

図 1 5中のフレーム #n+ lの左から 9番目の画素の、シャッタが開いて 3番目の、シャツタ時間/ Vの前景の成分は、 FlO/vとなり、図 1 5中の左から 1 0番目の画素の、シャツタが開いて 4番目のシャツタ時間/ Vの前景の成分も、 Fl O/v となる。図 1 5中のフレームの左から 9番目の画素の、シャツタが開いて 4番目のシャツタ時間/ Vの前景の成分は、 F09/vとなる。

背景に対応するォブジェクトが静止しているので、図 1 5中のフレーム #n+ l の左から 1 0番目の画素の、シャツタが開いて最初のシャツタ時間/ Vの背景の成分は、 B09/vとなる。図 1 5中のフレーム #n+lの左から 1 1番目の画素の、シャッタが開いて最初および 2番目のシャッタ時間/ Vの背景の成分は、 B lO/v となる。図 1 5中のフレーム #n+lの左から 1 2番目の画素の、シャツタが開いて最初乃至 3番目の、シャツタ時間/ Vの背景の成分は、 B l l/v となる。

図 1 5中のフレーム #n+l において、左側から 1 0番目乃至 1 2番目の画素は、力バードバックグラウンド領域である混合領域に対応する。

図 1 6は、図 1 5に示す画素値から前景の成分を抽出した画像のモデル図である。

図 1 7は、静止している背景と共に図中の右側に移動するオブジェクトに対応する前景を撮像した画像の 3つのフレームの、隣接して 1列に並んでいる画素であって、フレーム上で同一の位置の画素の画素値を時間方向に展開したモデル図である。図 1 7において、アンカバード.バックグラウンド領域が含まれている。図 1 7において、前景に対応するォブジェクトは、剛体であり、かつ等速で移動していると仮定できる。前景に対応するオブジェクトが、次のフレームにおいて 4画素分右側に表示されるように移動しているので、動き量 V は、 4である _c 例えば、図 1 7中のフレーム #n- lの最も左側の画素の、シャツタが開いて最初の、シャツタ時間/ Vの前景の成分は、 F13/Vとなり、図 1 7中の左から 2番目の画素の、シャツタが開いて 2番目のシャツタ時間/ Vの前景の成分も、 F13/v となる。図 1 7中の左から 3番目の画素の、シャツタが開いて 3番目のシャツタ時間/ Vの前景の成分、およぴ図 1 7中の左から 4番目の画素の、シャツタが開いて 4番目のシャツタ時間/ Vの前景の成分は、 F 13/Vとなる。

図 1 7中のフレーム #n- lの左から 2番目の画素の、シャツタが開いて最初のシャツタ時間/ Vの前景の成分は、 F 14/v となり、図 1 7中の左から 3番目の画素の、シャツタが開いて 2番目のシャツタ時間/ Vの前景の成分も、 F14/vとなる。図 1 7中の左から 3番目の画素の、シャツタが開いて最初の、シャツタ時間 /vの前景の成分は、 F l ⁵/vとなる。

背景に対応するォブジェクトが静止しているので、図 1 7中のフレーム - 1 の最も左側の画素の、シャツタが開いて 2番目乃至 4番目の、シャツタ時間/ V の背景の成分は、 Β2δ/ν となる。図 1 7中のフレーム #η_ 1の左から 2番目の画素の、シャツタが開いて 3番目おょぴ 4番目の、シャツタ時間/ Vの背景の成分は、 Β26/νとなる。図 1 7中のフレーム #η- 1の左から 3番目の画素の、シャツタが開いて 4番目のシャッタ時間/ Vの背景の成分は、 Β27/νとなる。図 1 7中のフレーム #n- 1において、最も左側の画素乃至 3番目の画素は、ァンカバードバックグラウンド領域である混合領域に属する。

図 1 7中のフレーム #n- 1の左から 4番目の画素乃至 1 2番目の画素は、前景領域に属する。フレームの前景の成分は、 F13/v乃至 F24/vのいずれかである。図 1 7中のフレーム #nの最も左側の画素乃至左から 4番目の画素は、背景領域に属し、画素値は、それぞれ、 B25乃至 B28となる。

前景に対応するオブジェクトが、剛体であり、等速で移動すると仮定でき、前景の画像が次のフレームにおいて 4画素右側に表示されるように移動するので、図 1 7中のフレーム #nの左から 5番目の画素の、シャッタが開いて最初のシャッタ時間/ V の前景の成分は、 F13/v となり、図 1 7中の左から 6番目の画素の. シャツタが開いて 2番目のシャツタ時間/ Vの前景の成分も、 FlVvとなる。図 1 7中の左から 7番目の画素の、シャッタが開いて 3番目のシャッタ時間/ Vの前景の成分、および図 1 7中の左から 8番目の画素の、シャツタが開いて⁴番目のシャツタ時間/ Vの前景の成分は、 F13/vとなる。

図 1 7中のフレーム #nの左から 6番目の画素の、シャツタが開いて最初のシャッタ時間/ Vの前景の成分は、 F14/vとなり、図 1 7中の左から 7番目の画素の、シャツタが開いて 2番目のシャツタ時間/ V の前景の成分も、 F14/v となる, 図 1 7中の左から 8番目の画素の、シャツタが開いて最初のシャツタ時間/ Vの前景の成分は、 F15/vとなる。

背景に対応するオブジェクトが静止しているので、図 1 7中のフレーム #nの左から 5番目の画素の、シャッタが開いて 2番目乃至 4番目のシャッタ時間/ V の背景の成分は、 B29/vとなる。図 1 7中のフレーム #nの左から 6番目の画素の、シャッタが開いて 3番目および 4番目のシャッタ時間/ Vの背景の成分は、 B30/vとなる。図 1 7中のフレームの左から 7番目の画素の、シャツタが開いて 4番目のシャツタ時間/ Vの背景の成分は、 B31/vとなる。

図 1 7中のフレーム #nにおいて、左から 5番目の画素乃至 7番目の画素は、アンカバードバックグラウンド領域である混合領域に属する。図 1 7中のフレーム #nの左から 8番目の画素乃至 1 2番目の画素は、前景領域に属する。フレーム #nの前景領域における、シャツタ時間/ Vの期間に対応する ^(直は、 F13/v乃至 F20/vのいずれかである。

図 1 7中のフレーム #n+lの最も左側の画素乃至左から 8番目の画素は、背景領域に属し、画素値は、それぞれ、 B25乃至 B32となる。

前景に対応するオブジェクトが、剛体であり、等速で移動すると仮定でき、前景の画像が次のフレームにおいて 4画素右側に表示されるように移動するので、図 1 7中のフレーム #n+lの左から 9番目の画素の、シャツタが開いて最初のシャッタ時間/ Vの前景の成分は、 F13/vとなり、図 1 7中の左から 1 0番目の画素の、シャツタが開いて 2番目のシャツタ時間/ Vの前景の成分も、 F13/vとなる。図 1 7中の左から 1 1番目の画素の、シャツタが開いて 3番目のシャツタ時間/ Vの前景の成分、および図 1 7中の左から 1 2番目の画素の、シャツタが開いて 4番目のシャツタ時間/ Vの前景の成分は、 F13/vとなる。

図 1 7中のフレーム #n+lの左から 1 0番目の画素の、シャッタが開いて最初のシャツタ時間/ Vの前景の成分は、 F /v となり、図 1 7中の左から 1 1番目の画素の、シャツタが開いて 2番目のシャツタ時間/ Vの前景の成分も、 F /v となる。図 1 7中の左から 1 2番目の画素の、シャツタが開いて最初のシャツタ時間/ Vの前景の成分は、 F15/vとなる。

背景に対応するオブジェクトが静止しているので、図 1 7中のフレーム ίίη+1 の左から 9番目の画素の、シャツタが開いて 2番目乃至 4番目の、シャツタ時間の背景の成分は、 B33/vとなる。図 1 7中のフレーム #n+lの左から 1 0番目の画素の、シャッタが開いて 3番目および 4番目のシャッタ時間/ Vの背景の成分は、 B34/v となる。図 1 7中のフレーム #n+lの左から 1 1番目の画素の、シャッタが開いて 4番目のシャッタ時間/ Vの背景の成分は、 B35/vとなる。

図 1 7中のフレーム #n+lにおいて、左から 9番目の画素乃至 1 1番目の画素は、アンカバードバックグラウンド領域である混合領域に属する。

図 1 7中のフレーム #n+lの左から 1 2番目の画素は、前景領域に属する。フレーム #n+ lの前景領域における、シャツタ時間/ Vの前景の成分は、 F13/v乃至 F16/vのいずれかである。

図 1 8は、図 1 7に示す画素値から前景の成分を抽出した画像のモデル図である。

図 2に戻り、領域特定部 1 0 3は、複数のフレームの画素値を用いて、前景領域、背景領域、カバードバックグラウンド領域、またはアンカバードバックグラゥンド領域に属することを示すフラグを画素毎に対応付けて、領域情報として、混合比算出部 1 0 4および動きボケ調整部 1 0 6に供給する。

混合比算出部 1 0 4は、複数のフレームの画素値、および領域情報を基に、混合領域に含まれる画素について画素毎に混合比を算出し、算出した混合比を前景背景分離部 1 0 5に供給する。

前景背景分離部 1 0 5は、複数のフレームの画素値、領域情報、および混合比を基に、前景の成分のみからなる前景成分画像を抽出して、動きボケ調整部 1 0 6に供給する。

動きボケ調整部 1 0 6は、前景背景分離部 1 0 5から供給された前景成分画像、動き検出部 1 0 2から供給された動きべクトル、および領域特定部 1 0 3から供給された領域情報を基に、前景成分画像に含まれる動きボケの量を調整して、動きボケの量を調整した前景成分画像を出力する。

図 1 9のフローチャートを参照して、信号処理装置による動きボケの量の調整の処理を説明する。ステップ S 1 1において、領域特定部 1 0 3は、入力画像を基に、入力画像の画素毎に前景領域、背景領域、カバードバックグラウンド領域、またはアンカバードバックグラウンド領域のいずれかに属するかを示す領域情報を生成する領域特定の処理を実行する。領域特定の処理の詳細は、後述する。領域特定部 1 0 3は、生成した領域情報を混合比算出部 1 0 4に供給する。

なお、ステップ S 1 1において、領域特定部 1 0 3は、入力画像を基に、入力画像の画素毎に前景領域、背景領域、または混合領域 (カバードバックグラウンド領域、またはアンカバードバックグラウンド領域の区別をしない）のいずれかに属するかを示す領域情報を生成するようにしてもよい。この場合において、前景背景分離部 1 0 5および動きボケ調整部 1 0 6は、動きべクトルの方向を基に、混合領域がカバードバックグラウンド領域であるか、またはアンカバードノックグラウンド領域であるかを判定する。例えば、動きべクトルの方向に対応して、前景領域、混合領域、および背景領域と順に並んでいるとき、その混合領域は、カバードバックグラウンド領域と判定され、動きべクトルの方向に対応して、背景領域、混合領域、および前景領域と順に並んでいるとき、その混合領域は、ァンカバードバックグラウンド領域と判定される。

ステップ S 1 2において、混合比算出部 1 0 4は、入力画像および領域情報を基に、混合領域に含まれる画素毎に、混合比 a を算出する。混合比算出の処理の詳細は、後述する。混合比算出部 1 0 4は、算出した混合比を前景背景分離部 1 0 5に供給する。

ステップ S 1 3において、前景背景分離部 1 0 5は、領域情報、および混合比を基に、入力画像から前景の成分を抽出して、前景成分画像として動きボケ調整部 1 0 6に供給する。

ステップ S 1 4において、動きボケ調整部 1 0 6は、動きべクトルおよび領域情報を基に、動き方向に並ぶ連続した画素であって、アンカバードバックグラウンド領域、前景領域、およびカバードバックグラウンド領域のいずれかに属するものの画像上の位置を示す処理単位を生成し、処理単位に対応する前景成分に含まれる動きボケの量を調整する。動きボケの量の調整の処理の詳細については、後述する。

ステップ S 1 5において、信号処理装置は、画面全体について処理を終了したか否かを判定し、画面全体について処理を終了していないと判定された場合、ステツプ S 1 4に進み、処理単位に対応する前景の成分を対象とした動きボケの量の調整の処理を繰り返す。

ステップ S 1 5において、画面全体について処理を終了したと判定された場合、処理は終了する。このように、信号処理装置は、前景と背景を分離して、前景に含まれる動きボケの量を調整することができる。すなわち、信号処理装置は、前景の画素の画素値であるサンプルデータに含まれる動きボケの量を調整することができる。

以下、領域特定部 1 0 3、混合比算出部 1 0 4、前景背景分離部 1 0 5、および動きボケ調整部 1 0 6のそれぞれの構成について説明する。

図 2 0は、領域特定部 1 0 3の構成の一例を示すプロック図である。図 2 0に構成を示す領域特定部 1 0 3は、動きべクトルを利用しない。フレームメモリ 2 0 1は、入力された画像をフレーム単位で記憶する。フレームメモリ 2 0 1は、処理の対象がフレームであるとき、フレーム林 nの 2つ前のフレームであるフレーム #n_2、フレーム #n の 1つ前のフレームであるフレーム #n- l、フレーム #η、フレーム #ηの 1つ後のフレームであるフレーム #η+ 1、およびフレーム #ηの 2つ後のフレームであるフレームを記憶する。

静動判定部 2 0 2 _ 1は、フレーム #nの領域特定の対象である画素の画像上の位置と同一の位置にあるフレーム #n+2の画素の画素値、およびフレーム #nの領域特定の対象である画素の画像上の位置と同一の位置にあるフレーム #n+lの画素の画素値をフレームメモリ 2 0 1から読み出して、読み出した画素値の差の絶対値を算出する。静動判定部 2 0 2— 1は、フレーム #n+2の画素値とフレーム #n+ lの画素値との差の絶対値が、予め設定している閾値 Thより大きいか否かを判定し、差の絶対値が閾値 Thより大きいと判定された場合、動きを示す静動判定を領域判定部 2 0 3— 1に供給する。フレーム #n+2の画素の画素値とフレ一ム|^+ 1の画素の画素値との差の絶対値が閾値 Th以下であると判定された場合、静動判定部 2 0 2— 1は、静止を示す静動判定を領域判定部 2 0 3— 1に供給す ' る。

静動判定部 2 0 2— 2は、フレーム #nの領域特定の対象である画素の画像上の位置と同一の位置にあるフレーム #n+ lの画素の画素値、およびフレーム #nの対象となる画素の画素値をフレームメモリ 2 0 1から読み出して、画素値の差の絶対値を算出する。静動判定部 2 0 2— 2は、フレーム #n+ lの画素値とフレームの画素値との差の絶対値が、予め設定している閾値 Thより大きいか否かを判定し、画素値の差の絶対値が、閾値 Thより大きいと判定された場合、動きを示す静動判定を領域判定部 2 0 3— 1および領域判定部 2 0 3— 2に供給する。フレーム #n+lの画素の画素値とフレーム #nの画素の画素値との差の絶対値が、閾値 Th以下であると判定された場合、静動判定部 2 0 2— 2は、静止を示す静動判定を領域判定部 2 0 3— 1および領域判定部 2 0 3— 2に供給する。

静動判定部 2 0 2— 3は、フレームの領域特定の対象である画素の画素値、およびフレーム toの領域特定の対象である画素の画像上の位置と同一の位置にあるフレーム #n - 1の画素の画素値をフレームメモリ 2 0 1から読み出して、画素値の差の絶対値を算出する。静動判定部 2 0 2— 3は、フレーム #nの画素値とフレーム #_n_lの画素値との差の絶対値が、予め設定している閾値 Thより大きいか否かを判定し、画素値の差の絶対値が、閾値 Thより大きいと判定された場合、動きを示す静動判定を領域判定部 2 0 3— 2および領域判定部 2 0 3 _ 3に供給する。フレームの画素の画素値とフレーム #n - 1の画素の画素値との差の絶対値が、閾値 Th以下であると判定された場合、静動判定部 2 0 2— 3は、静止を示す静動判定を領域判定部 2 0 3— 2および領域判定部 2 0 3— 3に供給する。

静動判定部 2 0 2— 4は、フレーム toの領域特定の対象である画素の画像上の位置と同一の位置にあるフレーム #n-lの画素の画素値、およびフレーム thの領域特定の対象である画素の画像上の位置と同一の位置にあるフレーム #η - 2の画素の画素値をフレームメモリ 2 0 1から読み出して、画素値の差の絶対値を算出する。静動判定部 2 0 2— 4は、フレーム #η - 1の画素値とフレーム #η- 2の画素値との差の絶対値が、予め設定している閾値 Thより大きいか否かを判定し、画素値の差の絶対値が、閾値 Thより大きいと判定された場合、動きを示す静動判定を領域判定部 2 0 3— 3に供給する。フレーム #n-lの画素の画素値とフレ一ム - 2の画素の画素値との差の絶対値が、閾値 Th以下であると判定された場合、静動判定部 2 0 2— 4は、静止を示す静動判定を領域判定部 2 0 3— 3に供給する。 ' 領域判定部 2 0 3— 1は、静動判定部 2 0 2 - 1から供給された静動判定が静止を示し、かつ、静動判定部 2 0 2 _ 2から供給された静動判定が動きを示しているとき、フレーム^における領域特定の対象である画素がアンカバードバックグラウンド領域に属すると判定し、領域の判定される画素に対応するアンカバ一ドバックグラウンド領域判定フラグに、ァンカバードバックグラウンド領域に属することを示す" 1 " を設定する。

領域判定部 2 0 3— 1は、静動判定部 2 0 2— 1から供給された静動判定が動きを示すか、または、静動判定部 2 0 2— 2から供給された静動判定が静止を示しているとき、フレーム #nにおける領域特定の対象である画素がアンカバードバックグラウンド領域に属しないと判定し、領域の判定される画素に対応するァンカバードバックグラウンド領域判定フラグに、ァンカバードバックグラウンド領域に属しないことを示す" 0 " を設定する。

領域判定部 2 0 3— 1は、このように" 1 " または" 0 " が設定されたアンカバードバックグラウンド領域判定フラグを判定フラグ格納フレームメモリ 2 0 4 に供給する。

領域判定部 2 0 3 _ 2は、静動判定部 2 0 2 - 2から供給された静動判定が静止を示し、かつ、静動判定部 2 0 2— 3から供給された静動判定が静止を示しているとき、フレーム toにおける領域特定の対象である画素が静止領域に属すると判定し、領域の判定される画素に対応する静止領域判定フラグに、静止領域に属することを示す" 1 " を設定する。

領域判定部 2 0 3— 2は、静動判定部 2 0 2— 2から供給された静動判定が動きを示すか、または、静動判定部 2 0 2— 3から供給された静動判定が動きを示しているとき、フレームにおける領域特定の対象である画素が静止領域に属しないと判定し、領域の判定される画素に対応する静止領域判定フラグに、静止領域に属しないことを示す" 0 " を設定する。

領域判定部 2 0 3— ²は、このように" 1 " または" 0 " が設定された静止領域判定フラグを判定フラグ格納フレームメモリ 2 0 4に供給する。

領域判定部 2 0 3— 2は、静動判定部 2 0 2— 2から供給された静動判定が動きを示し、かつ、静動判定部 2 0 2— 3から供給された静動判定が動きを示しているとき、フレームにおける領域特定の対象である画素が動き領域に属すると判定し、領域の判定される画素に対応する動き領域判定フラグに、動き領域に属することを示す" 1 " を設定する。

領域判定部 2 0 3— 2は、静動判定部 2 0 2— 2から供給された静動判定が静止を示すか、または、静動判定部 2 0 2— 3から供給された静動判定が静止を示しているとき、フレーム #nにおける領域特定の対象である画素が動き領域に属しないと判定し、領域の判定される画素に対応する動き領域判定フラグに、動き領域に属しないことを示す" 0 " を設定する。

領域判定部 2 0 3— 2は、このように" 1 " または" 0 " が設定された動き領域判定フラグを判定フラグ格納フレームメモリ 2 0 4に供給する。

領域判定部 2 0 3— 3は、静動判定部 2 0 2— 3から供給された静動判定が動きを示し、かつ、静動判定部 2 0 2— 4から供給された静動判定が静止を示しているとき、フレームにおける領域特定の対象である画素がカバードバックグラウンド領域に属すると判定し、領域の判定される画素に対応するカバードバックグラウンド領域判定フラグに、カバードバックグラウンド領域に属することを示す" 1 " を設定する。

領域判定部 2 0 3— 3は、静動判定部 2 0 2— 3から供給された静動判定が静止を示すか、または、静動判定部 2 0 2— 4から供給された静動判定が動きを示しているとき、フレームにおける領域特定の対象である画素がカバードバックグラウンド領域に属しないと判定し、領域の判定される画素に対応するカバードバックグラウンド領域判定フラグに、力バードバックグラウンド領域に属しないことを示す" 0 " を設定する。

領域判定部 2 0 3— 3は、このように" 1 " または" 0 " が設定されたカバードバックグラウンド領域判定フラグを判定フラグ格納フレームメモリ 2 0 4に供給する。

判定フラグ格納フレームメモリ 2 0 4は、領域判定部 2 0 3 _ 1から供給されたアンカバードバックグラウンド領域判定フラグ、領域判定部 2 0 3 _ 2から供給された静止領域判定フラグ、領域判定部 2 0 3一 2から供給された動き領域判定フラグ、および領域判定部 2 0 3 _ 3力、ら供給された力バードバックグラウンド領域判定フラグをそれぞれ記憶する。

判定フラグ格納フレームメモリ 2 0 4は、記憶しているアンカバードノくックグラウンド領域判定フラグ、静止領域判定フラグ、動き領域判定フラグ、および力バードバックグラウンド領域判定フラグを合成部 2 0 5に供給する。合成部 2 0 5は、判定フラグ格納フレームメモリ 2 0 4から供給された、アンカバードバックグラウンド領域判定フラグ、静止領域判定フラグ、動き領域判定フラグ、およびカバードバックグラウンド領域判定フラグを基に、各画素が、アンカバードバックグラウンド領域、静止領域、動き領域、およびカバードバックグラウンド領域のいずれかに属することを示す領域情報を生成し、判定フラグ格納フレームメモリ 2 0 6に供給する。

判定フラグ格納フレームメモリ 2 0 6は、合成部 2 0 5から供給された領域情報を記憶すると共に、記憶している領域情報を出力する。

次に、領域特定部 1 0 3の処理の例を図 2 1乃至図 2 5を参照して説明する。前景に対応するオブジェクトが移動しているとき、ォブジェクトに対応する画像の画面上の位置は、フレーム毎に変化する。図 2 1に示すように、フレームにおいて、 Yn (x, y)で示される位置に位置するオブジェクトに対応する画像は、次のフレームであるフレーム #n+lにおいて、 Yn+1 (x， y)に位置する。

前景のオブジェクトに対応する画像の動き方向に隣接して 1列に並ぶ画素の画素値を時間方向に展開したモデル図を図 2 4に示す。例えば、前景のオブジェクトに対応する画像の動き方向が画面に対して水平であるとき、図 2 2におけるモデル図は、 1つのライン上の隣接する画素の画素値を時間方向に展開したモデルを示す。図 2 2において、フレーム #nにおけるラインは、フレーム #n+ lにおけるラインと同一である。

フレームにおいて、左から 2番目の画素乃至 1 3番目の画素に含まれているオブジェクトに対応する前景の成分は、フレーム #n+ lにおいて、左から 6番目乃至 1 7番目の画素に含まれる。

フレーム #nにおいて、カバードバックグラウンド領域に属する画素は、左から 1 1番目乃至 1 3番目の画素であり、アンカバードバックグラウンド領域に属する画素は、左から 2番目乃至 4番目の画素である。フレーム #n+lにおいて、カバードバックグラウンド領域に属する画素は、左から 1 5番目乃至 1 7番目の画素であり、アンカバードバックグラウンド領域に属する画素は、左から 6番目乃至 8番目の画素である。

図 2 2に示す例において、フレーム #nに含まれる前景の成分が、フレーム

#n+ l において 4画素移動しているので、動き量 V は、 4である。仮想分割数は、動き量 Vに対応し、 4である。

次に、注目しているフレームの前後における混合領域に属する画素の画素値の変化について説明する。

図 2 3に示す、背景が静止し、前景の動き量 Vが 4であるフレーム #nにおいて、カバードバックグラウンド領域に属する画素は、左から 1 5番目乃至 1 7番目の画素である。動き量 Vが 4であるので、 1つ前のフレーム #n- 1において、左から 1 5番目乃至 1 7番目の画素は、背景の成分のみを含み、背景領域に属する。また、更に 1つ前のフレーム #n_2において、左から 1 5番目乃至 1 7番目の画素は、背景の成分のみを含み、背景領域に属する。

ここで、背景に対応するオブジェクトが静止しているので、フレーム #n- 1の左から 1 5番目の画素の画素値は、フレーム - 2の左から 1 5番目の画素の画素値から変化しない。同様に、フレーム #n- lの左から 1 6番目の画素の画素値は、フレーム #n- 2の左から 1 6番目の画素の画素値から変化せず、フレーム #n- 1の左から 1 7番目の画素の画素は、フレーム #n- 2の左から 1 7番目の画素の画素値から変化しない。

すなわち、フレームにおけるカバードバックグラウンド領域に属する画素に対応する、フレーム - 1およびフレーム #n- ²の画素は、背景の成分のみから成り、画素値が変化しないので、その差の絶対値は、ほぼ 0の値となる。従って、フレーム ίίηにおける混合領域に属する画素に対応する、フレーム #η- 1およびフレーム #η - 2の画素に対する静動判定は、静動判定部 2 0 2— 4により、静止と判定される。

フレーム #ηにおけるカバードバックグラウンド領域に属する画素は、前景の成分を含むので、フレーム ttn- 1における背景の成分のみから成る場合と、画素値が異なる。従って、フレーム #nにおける混合領域に属する画素、および対応するフレーム #n- lの画素に対する静動判定は、静動判定部 2 0 2— 3により、動きと判定される。

このように、領域判定部 2 0 3— 3は、静動判定部 2 0 2— 3から動きを示す静動判定の結果が供給され、静動判定部 2 0 2— 4から静止を示す静動判定の結果が供給されたとき、対応する画素がカバードバックグラウンド領域に属すると判定する。

図 2 4に示す、背景が静止し、前景の動き量 Vが 4であるフレーム #nにおいて、アンカバードバックグラウンド領域に含まれる画素は、左から 2番目乃至 4 番目の画素である。動き量 V が 4であるので、 1つ後のフレーム #n+ l において、左から 2番目乃至 4番目の画素は、背景の成分のみを含み、背景領域に属する。また、更に 1つ後のフレーム #n+2 において、左から 2番目乃至 4番目の画素は、背景の成分のみを含み、背景領域に属する。

ここで、背景に対応するオブジェクトが静止しているので、フレーム #n+2の左から 2番目の画素の画素値は、フレーム #n+ lの左から 2番目の画素の画素値から変化しない。同様に、フレーム #n+2の左から 3番目の画素の画素値は、フレームの左から 3番目の画素の画素値から変化せず、フレーム #n+2の左から 4番目の画素の画素値は、フレーム #n+lの左から 4番目の画素の画素値から変化しない。

すなわち、フレーム #nにおけるアンカバードバックグラウンド領域に属する画素に対応する、フレーム #n+ lおよびフレーム #n+2の画素は、背景の成分のみから成り、画素値が変化しないので、その差の絶対値は、ほぼ 0の値となる。従つて、フレーム #nにおける混合領域に属する画素に対応する、フレーム #n+ lおよびフレーム +2の画素に対する静動判定は、静動判定部 2 0 2— 1により、静止と判定される。

フレーム #nにおけるアンカバードバックグラウンド領域に属する画素は、前景の成分を含むので、フレーム ίίη+ lにおける背景の成分のみから成る場合と、画素値が異なる。従って、フレーム #nにおける混合領域に属する画素、および対応するフレーム #n+ l の画素に対する静動判定は、静動判定部 2 0 2— 2により、動きと判定される。

このように、領域判定部 2 0 3— 1は、静動判定部 2 0 2— 2から動きを示す静動判定の結果が供給され、静動判定部 2 0 2— 1から静止を示す静動判定の結果が供給されたとき、対応する画素がアンカバードバックグラウンド領域に属すると判定する。

図 2 5は、フレーム林 n における領域特定部 1 0 3の判定条件を示す図である _c フレーム #nの判定の対象となる画素の画像上の位置と同一の位置にあるフレーム #n- 2の画素と、フレーム #nの判定の対象となる画素の画像上の位置と同一の位置にあるフレーム #n - 1の画素とが静止と判定され、フレーム #nの判定の対象となる画素の画像上の位置と同一の位置にあるフレーム #n- lの画素と、フレーム^の画^とが動きと判定されたとき、領域特定部 1 0 3は、フレーム #nの判定の対象となる画素が力バードバックグラウンド領域に属すると判定する。

フレーム #nの判定の対象となる画素の画像上の位置と同一の位置にあるフレ一ム#0 - 1の画素と、フレーム #nの画素とが静止と判定され、フレーム #nの画素と、フレーム #_nの判定の対象となる画素の画像上の位置と同一の位置にあるフレーム #n+ lの画素とが静止と判定されたとき、領域特定部 1 0 3は、フレーム #nの判定の対象となる画素が静止領域に属すると判定する。

フレームの判定の対象となる画素の画像上の位置と同一の位置にあるフレーム #n- 1の画素と、フレーム #nの画素とが動きと判定され、フレーム #nの画素と、フレーム #nの判定の対象となる画素の画像上の位置と同一の位置にあるフレーム #n+ lの画素とが動きと判定されたとき、領域特定部 1 0 3は、フレーム #nの判定の対象となる画素が動き領域に属すると判定する。

フレームの画素と、フレーム #nの判定の対象となる画素の画像上の位置と同一の位置にあるフレーム #n+ lの画素とが動きと判定され、フレーム #nの判定の対象となる画素の画像上の位置と同一の位置にあるフレーム #n+lの画素と、フレームの判定の対象となる画素の画像上の位置と同一の位置にあるフレーム #【ι+2の画素とが静止と判定されたとき、領域特定部 1 0 3は、フレームでの判定の対象となる画素がアンカバードバックグラウンド領域に属すると判定する。図 2 6 A乃至図 2 6 Dは、領域特定部 1 0 3の領域の特定の結果の例を示す図である。図 2 6 Aにおいて、カバードバックグラウンド領域に属すると判定された画素は、白で表示されている。図 2 6 Bにおいて、アンカバードバックグラウンド領域に属すると判定された画素は、白で表示されている。

図 2 6 Cにおいて、動き領域に属すると判定された画素は、白で表示されている。図 2 6 Dにおいて、静止領域に属すると判定された画素は、白で表示されている。

図 2 7は、判定フラグ格納フレームメモリ 2 0 6が出力する領域情報の内、混合領域を示す領域情報を画像として示す図である。図 2 7において、カバードバックグラウンド領域またはアンカバードバックグラウンド領域に属すると判定された画素、すなわち混合領域に属すると判定された画素は、白で表示されている _c 判定フラグ格納フレームメモリ 2 0 6が出力する混合領域を示す領域情報は、混合領域、および前景領域内のテクスチャの無い部分に囲まれたテクスチャの有る部分を示す。

次に、図 2 8のフローチャートを参照して、領域特定部 1 0 3の領域特定の処理を説明する。ステップ S 2 0 1において、フレームメモリ 2 0 1は、判定の対象となるフレーム #nを含むフレーム #n-2乃至フレーム #n+2の画像を取得する。ステップ S 2 0 2において、静動判定部 2 0 2— 3は、フレーム fe- 1 の画素とフレーム #nの同一位置の画素とで、静止か否かを判定し、静止と判定された場合、ステップ S 2 0 3に進み、静動判定部 2 0 2— 2は、フレーム #nの画素とフレーム #_n+lの同一位置の画素とで、静止か否かを判定する。

ステップ S 2 0 3において、フレーム #nの画素とフレーム #n+lの同一位置の画素とで、静止と判定された場合、ステップ S 2 0 4に進み、領域判定部 2 0 3 一 2は、領域の判定される画素に対応する静止領域判定フラグに、静止領域に属することを示す" 1 " を設定する。領域判定部 2 0 3— 2は、静止領域判定フラグを判定フラグ格納フレームメモリ 2 0 4に供給し、手続きは、ステップ S 2 0 5に進む。

ステップ S 2 0 2において、フレーム #n- 1の画素とフレーム #nの同一位置の画素とで、動きと判定された場合、または、ステップ S 2 0 3において、フレーム #nの画素とフレーム #n+lの同一位置の画素とで、動きと判定された場合、フレーム #nの画素が静止領域には属さないので、ステップ S 2 0 4の処理はスキップされ、手続きは、ステップ S 2 0 5に進む。

ステップ S 2 0 5において、静動判定部 2 0 2— 3は、フレーム #n_lの画素とフレーム #nの同一位置の画素とで、動きか否かを判定し、動きと判定された場合、ステップ S ² 0 6に進み、静動判定部 2 0 2— 2は、フレーム #nの画素とフレーム #n+ lの同一位置の画素とで、動きか否かを判定する。

ステップ S 2 0 6において、フレーム #nの画素とフレーム #n+lの同一位置の画素とで、動きと判定された場合、ステップ S 2 0 7に進み、領域判定部 2 0 3 一 2は、領域の判定される画素に対応する動き領域判定フラグに、動き領域に属することを示す" 1 " を設定する。領域判定部 2 0 3 _ 2は、動き領域判定フラグを判定フラグ格納フレームメモリ 2 0 4に供給し、手続きは、ステップ S 2 0

8に進む。ステップ S 2 0 5において、フレーム #n- 1の画素とフレーム #nの同一位置の画素とで、静止と判定された場合、または、ステップ S 2 0 6において、フレーム #nの画素とフレーム #n+ lの同一位置の画素とで、静止と判定された場合、フレーム #nの画素が動き領域には属さないので、ステップ S 2 0 7の処理はスキップされ、手続きは、ステップ S 2 0 8に進む。 ·

ステップ S 2 0 8において、静動判定部 2 0 2— 4は、フレーム #n- 2の画素とフレーム #n- lの同一位置の画素とで、静止か否かを判定し、静止と判定された場合、ステップ S 2 0 9に進み、静動判定部 2 0 2— 3は、フレーム #n- 1の画素とフレームの同一位置の画素とで、動きか否かを判定する。

ステップ S 2 0 9において、フレーム #n- 1の画素とフレーム #nの同一位置の画素とで、動きと判定された場合、ステップ S 2 1 0に進み、領域判定部 2 0 3 一 3は、領域の判定される画素に対応するカバードバックグラウンド領域判定フラグに、カバードバックグラウンド領域に属することを示す" 1 " を設定する。領域判定部 2 0 3— 3は、カバードバックグラウンド領域判定フラグを判定フラグ格納フレームメモリ 2 0 4に供給し、手続きは、ステップ S 2 1 1に進む。ステップ S 2 0 8において、フレーム #n- 2の画素とフレーム #n_ lの同一位置の画素とで、動きと判定された場合、または、ステップ S 2 0 9において、フレーム #n-lの画素とフレーム #nの同一位置の画素とで、静止と判定された場合、フレーム #nの画素がカバードバックグラウンド領域には属さないので、ステツプ S 2 1 0の処理はスキップされ、手続きは、ステップ S 2 1 1に進む。

ステップ S 2 1 1において、静動判定部 2 0 2— 2は、フレームの画素とフレーム #n+ lの同一位置の画素とで、動きか否かを判定し、動きと判定された場合、ステップ S 2 1 2に進み、静動判定部 2 0 2— 1は、フレーム #n+ lの画素とフレーム #_n+2の同一位置の画素とで、静止か否かを判定する。

ステップ S 2 1 2において、フレーム #n+lの画素とフレーム #n+2の同一位置の画素とで、静止と判定された場合、ステップ S 2 1 3に進み、領域判定部 2 0 3 — 1は、領域の判定される画素に対応するアンカバードバックグラウンド領域判定フラグに、アンカバードバックグラウンド領域に属することを示す" 1 " を設定する。領域判定部 2 0 3 - 1は、アンカバードバックグラウンド領域判定フラグを判定フラグ格納フレームメモリ 2 0 4に供給し、手続きは、ステップ S 2 1 4に進む。

ステップ S 2 1 1において、フレーム #nの画素とフレーム #n+lの同一位置の画素とで、静止と判定された場合、または、ステップ S 2 1 2において、フレーム #n+ lの画素とフレーム +2の同一位置の画素とで、動きと判定された場合、フレーム #nの画素がアンカバードバックグラウンド領域には属さないので、ステツプ S 2 1 3の処理はスキップされ、手続きは、ステップ S 2 1 4に進む。ステップ S 2 1 4において、領域特定部 1 0 3は、フレーム #nの全ての画素について領域を特定したか否かを判定し、フレーム #nの全ての画素について領域を特定していないと判定された場合、手続きは、ステップ S 2 0 2に戻り、他の画素について、領域特定の処理を繰り返す。

ステップ S 2 1 4において、フレーム #nの全ての画素について領域を特定したと判定された場合、ステップ S 2 1 5に進み、合成部 2 0 5は、判定フラグ格納フレームメモリ 2 0 4に記憶されているアンカバードバックグラウンド領域判定フラグ、およびカバードバックグラウンド領域判定フラグを基に、混合領域を示す領域情報を生成し、更に、各画素が、アンカパードバックグラウンド領域、静止領域、動き領域、およびカバードバックグラウンド領域のいずれかに属することを示す領域情報を生成し、生成した領域情報を判定フラグ格納フレームメモリ 2 0 6に設定し、処理は終了する。

このように、領域特定部 1 0 3は、フレームに含まれている画素のそれぞれについて、動き領域、静止領域、アンカバードバックグラウンド領域、またはカバ一ドバックグラウンド領域に属することを示す領域情報を生成することができる _c なお、領域特定部 1 0 3は、アンカバードバックグラウンド領域およぴカバードバックグラウンド領域に対応する領域情報に論理和を適用することにより、混合領域に対応する領域情報を生成して、フレームに含まれている画素のそれぞれについて、動き領域、静止領域、または混合領域に属することを示すフラグから成る領域情報を生成するようにしてもよい。

前景に対応するオブジェクトがテクスチャを有す場合、領域特定部！· 0 3は、より正確に動き領域を特定することができる。

領域特定部 1 0 3は、動き領域を示す領域情報を前景領域を示す領域情報として、また、静止領域を示す領域情報を背景領域を示す領域情報として出力することができる。

なお、背景に対応するオブジェクトが静止しているとして説明したが、背景領域に対応する画像が動きを含んでいても上述した領域を特定する処理を適用することができる。例えば、背景領域に対応する画像が一様に動いているとき、領域特定部 1 0 3は、この動きに対応して画像全体をシフトさせ、背景に対応するォブジエタトが静止している場合と同様に処理する。また、背景領域に対応する画像が局所毎に異なる動きを含んでいるとき、領域特定部 1 0 3は、動きに対応した画素を選択して、上述の処理を実行する。

図 2 9は、領域特定部 1 0 3の他の構成の一例を示すブロック図である。図 2 9に示す領域特定部 1 0 3は、動きべクトルを使用しない。背景画像生成部 3 0 1は、入力画像に対応する背景画像を生成し、生成した背景画像を 2値オブジェクト画像抽出部 3 0 2に供給する。背景画像生成部 3 0 1は、例えば、入力画像に含まれる背景のオブジェクトに対応する画像オブジェクトを抽出して、背景画像を生成する。

前景のオブジェクトに対応する画像の動き方向に隣接して 1列に並ぶ画素の画素値を時間方向に展開したモデル図の例を図 3 0に示す。例えば、前景のォプジエタトに対応する画像の動き方向が画面に対して水平であるとき、図 3 0におけるモデル図は、 1つのライン上の隣接する画素の画素値を時間方向に展開したモデルを示す。

図 3 0において、フレーム #nにおけるラインは、フレーム #n- lおよびフレーム #n+ lにおけるラインと同一である。フレーム #nにおいて、左から 6番目の画素乃至 1 7番目の画素に含まれているオブジェクトに対応する前景の成分は、フレーム #n_ lにおいて、左から 2番目乃至 1 3番目の画素に含まれ、フレーム #n+ lにおいて、左から 1 0番目乃至 2 1番目の画素に含まれる。

フレーム #n - 1において、カバードバックグラウンド領域に属する画素は、左から 1 1番目乃至 1 3番目の画素であり、アンカバードバックグラウンド領域に属する画素は、左から 2番目乃至 4番目の画素である。フレーム #nにおいて、カバードパックグラウンド領域に属する画素は、左から 1 5番目乃至 1 7番目の画素であり、アンカバードバックグラウンド領域に属する画素は、左から 6番目乃至 8番目の画素である。フレーム #n+lにおいて、カバードバックグラウンド領域に属する画素は、左から 1 9番目乃至 2 1番目の画素であり、アンカバードバックグラウンド領域に属する画素は、左から 1 0番目乃至 1 2番目の画素である。

フレーム #n- lにおいて、背景領域に属する画素は、左から 1番目の画素、および左から 1 4番目乃至 2 1番目の画素である。フレーム #nにおいて、背景領域に属する画素は、左から 1番目乃至 5番目の画素、および左から 1 8番目乃至 2 1番目の画素である。フレーム #n+lにおいて、背景領域に属する画素は、左から 1番目乃至 9番目の画素である。

背景画像生成部 3 0 1が生成する、図 3 0の例に対応する背景画像の例を図 3 1に示す。背景画像は、背景のオブジェクトに対応する画素から構成され、前景のオブジェクトに対応する画像の成分を含まない。

2値ォブジェクト画像抽出部 3 0 2は、背景画像および入力画像の相関を基に、 2値オブジェクト画像を生成し、生成した 2値オブジェクト画像を時間変化検出部 3 0 3に供給する。

図 3 2は、 2値オブジェクト画像抽出部 3 0 2の構成を示すブロック図である。相関値演算部 3 2 1は、背景画像生成部 3 0 1から供給された背景画像および入力画像の相関を演算し、相関値を生成して、生成した相関値をしきい値処理部 3 2 2に供給する。

相関値演算部 3 2 1は、例えば、図 3 3 Aに示すように、 X₄を中心とした 3 X 3の背景画像の中のブロックと、図 3 3 Bに示すように、背景画像の中のプロックに対応する Y₄を中心とした 3 X 3の入力画像の中のブロックに、式（4 ) を適用して、 Υ₄に対応する相関値を算出する。

相関値 (4)

1=0

X - (5)

9

相関値演算部 3 2 1は、このように各画素に対応して算出された相関値をしきい値処理部 3 2 2に供給する。

また、相関値演算部 3 2 1は、例えば、図 3 4 Aに示すように、 X₄を中心とした 3 X 3の背景画像の中のプロックと、図 3 4 Bに示すように、背景画像の中のブロックに対応する Y₄を中心とした 3 X 3の入力画像の中のブロックに、式 ( 7 ) を適用して、 Υ₄に対応する差分絶対値和を算出するようにしてもよい。差分絶対値和 =∑| ( - 1¾ | (7)

i= 0

相関値演算部 3 2 1は、このように算出された差分絶対値和を相関値として、しきい値処理部 3 2 2に供給する。

しきい値処理部 3 2 2は、相関画像の画素値としきい値 thO とを比較して、相関値がしきい値 thO以下である場合、 2値ォブジェクト画像の画素値に 1を設定し、相関値がしきい値 thOより大きい場合、 2値オブジェクト画像の画素値に 0を設定して、 0または 1が画素値に設定された 2値オブジェクト画像を出力する。しきい値処理部 3 2 2は、しきい値 thOを予め記憶するようにしてもよく、または、外部から入力されたしきい値 thO を使用するようにしてもよい図 3 5は、図 3 0に示す入力画像のモデルに対応する 2値オブジェクト画像の例を示す図である。 2値オブジェクト画像において、背景画像と相関の高い画素には、画素値に 0が設定される。

図 3 6は、時間変化検出部 3 0 3の構成を示すブロック図である。フレームメモリ 3 4 1は、フレーム #nの画素について領域を判定するとき、 2値オブジェクト画像抽出部 3 0 2から供給された、フレーム #n_ l、フレーム #n、およぴフレーム #n+ lの 2値オブジェクト画像を記'慮する。

領域判定部 3 4 2は、フレームメモリ 3 4 1に記憶されているフレーム #n - 1. フレーム #n、およびフレーム #n+ lの 2値オブジェクト画像を基に、フレームの各画素について領域を判定して、領域情報を生成し、生成した領域情報を出力する。

図 3 7は、領域判定部 3 4 2の判定を説明する図である。フレーム #nの 2値オブジェクト画像の注目している画素が 0であるとき、領域判定部 3 4 2は、フレーム #nの注目している画素が背景領域に属すると判定する。

フレーム #nの 2値ォブジェクト画像の注目している画素が 1であり、フレーム #n- lの 2値オブジェクト画像の対応する画素が 1であり、フレーム #n+ lの 2 値オブジェクト画像の対応する画素が 1であるとき、領域判定部 3 4 2は、フレーム #nの注目している画素が前景領域に属すると判定する。

フレーム #nの 2値ォブジェクト画像の注目している画素が 1であり、フレーム #n- 1の 2値オブジェクト画像の対応する画素が 0であるとき、領域判定部 3 4 2は、フレーム #nの注目している画素がカバードバックグラウンド領域に属すると判定する。

フレーム #_nの 2値ォブジェクト画像の注目している画素が 1であり、フレーム #n+ lの 2値オブジェクト画像の対応する画素が 0であるとき、領域判定部 3 4 2は、フレーム #nの注目している画素がアンカバードバックグラウンド領域に属すると判定する。

図 3 8は、図 3 0に示す入力画像のモデルに対応する 2値ォブジェクト画像について、時間変化検出部 3 0 3の判定した例を示す図である。時間変化検出部 3 0 3は、 2値オブジェクト画像のフレーム #nの対応する画素が 0なので、フレ一ム¾の左から 1番目乃至 5番目の画素を背景領域に属すると判定する。

時間変化検出部 3 0 3は、 2値オブジェクト画像のフレーム #nの画素が 1であり、フレーム #n+lの対応する画素が 0なので、左から 6番目乃至 9番目の画素をアンカバードバックグラウンド領域に属すると判定する。

時間変化検出部 3 0 3は、 2値オブジェクト画像のフレーム #nの画素が 1であり、フレーム #n-lの対応する画素が 1であり、フレーム #n+lの対応する画素が 1なので、左から 1 0番目乃至 1 3番目の画素を前景領域に属すると判定する。

時間変化検出部 3 0 3は、 2値オブジェクト画像のフレーム #nの画素が 1であり、フレーム #n-lの対応する画素が 0なので、左から 1 4番目乃至 1 7番目の画素をカバードバックグラウンド領域に属すると判定する。

時間変化検出部 3 0 3は、 2値ォブジェクト画像のフレーム #nの対応する画素が 0なので、左から 1 8番目乃至 2 1番目の画素を背景領域に属すると判定する。

次に、図 3 9のフローチャートを参照して、領域判定部 1 0 3の領域特定の処理を説明する。ステップ S 3 0 1において、領域判定部 1 0 3の背景画像生成部 3 0 1は、入力画像を基に、例えば、入力画像に含まれる背景のオブジェクトに対応する画像ォブジェクトを抽出して背景画像を生成し、生成した背景画像を 2 値オブジェクト画像抽出部 3 0 2に供給する。

ステップ S 3 0 2において、 2値ォブジェクト画像抽出部 3 0 2は、例えば、図 3 3 Aおよび図 3 3 Bを参照して説明した演算により、入力画像と背景画像生成部 3 0 1から供給された背景画像との相関値を演算する。ステップ S 3 0 3において、 2値オブジェクト画像抽出部 3 0 2は、例えば、相関値としきい値 thO とを比較することにより、相関値およびしきい値 thOから 2値ォブジェクト画像を演算する。

ステップ S 3 0 4において、時間変化検出部 3 0 3は、領域判定の処理を実行して、処理は終了する。

図 4 0のフローチヤ一トを参照して、ステップ S 3 0 4に対応する領域判定の処理の詳細を説明する。ステップ S 3 2 1において、時間変化検出部 3 0 3の領域判定部 3 4 2は、フレームメモリ 3 4 1に記憶されているフレーム #nにおいて、注目する画素が 0であるか否かを判定し、フレーム #nにおいて、注目する画素が 0であると判定された場合、ステップ S 3 2 2に進み、フレーム #nの注目する画素が背景領域に属すると設定して、処理は終了する。

ステップ S 3 2 1において、フレームにおいて、注目する画素が 1であると判定された場合、ステップ S 3 2 3に進み、時間変化検出部 3 0 3の領域判定部 3 4 2は、フレームメモリ 3 4 1に記憶されているフレーム #nにおいて、注目する画素が 1であり、かつ、フレーム #n-lにおいて、対応する画素が 0であるか否かを判定し、フレーム toにおいて、注目する画素が 1であり、かつ、フレーム #n- lにおいて、対応する画素が 0であると判定された場合、ステップ S 3 2 4に進み、フレーム #nの注目する画素がカバードバックグラウンド領域に属すると設定して、処理は終了する。

ステップ S 3 2 3において、フレーム #nにおいて、注目する画素が 0である力 \ または、フレーム #n- lにおいて、対応する画素が 1であると判定された場合、ステップ S 3 2 5に進み、時間変化検出部 3 0 3の領域判定部 3 4 2は、フレームメモリ 3 4 1に記憶されているフレーム #nにおいて、注目する画素が 1 であり、かつ、フレーム #n+lにおいて、対応する画素が 0であるか否かを判定し、フレーム #nにおいて、注目する画素が 1であり、かつ、フレーム #n+lにおいて、対応する画素が 0であると判定された場合、ステップ S 3 2 6に進み、フレーム #nの注目する画素がアンカバードバックグラウンド領域に属すると設定して、処理は終了する。

ステップ S 3 2 5において、フレーム #nにおいて、注目する画素が 0である力または、フレーム #n+ lにおいて、対応する画素が 1であると判定された場合、ステップ S 3 2 7に進み、時間変化検出部 3 0 3の領域判定部 3 4 2は、フレーム #nの注目する画素を前景領域と設定して、処理は終了する。

このように、領域特定部 1 0 3は、入力された画像と対応する背景画像との相関値を基に、入力画像の画素が前景領域、背景領域、カバードバックグラウンド領域、およびアンカバードバックグラウンド領域のいずれかに属するかを特定して、特定した結果に対応する領域情報を生成することができる。

図 4 1は、領域特定部 1 0 3の他の構成を示すブロック図である。図 4 1に示す領域特定部 1 0 3は、動き検出部 1 0 2から供給される動きべクトルとその位置情報を使用する。図 2 9に示す場合と同様の部分には、同一の番号を付してあり、その説明は省略する。

口バスト化部 3 6 1は、 2値オブジェクト画像抽出部 3 0 2から供給された、 N個のフレームの 2値オブジェクト画像を基に、ロバスト化された 2値オブジェクト画像を生成して、時間変化検出部 3 0 3に出力する。

図 4 2は、ロバスト化部 3 6 1の構成を説明するブロック図である。動き補償部 3 8 1は、動き検出部 1 0 2から供給された動きべクトルとその位置情報を基に、 N個のフレームの 2値オブジェクト画像の動きを補償して、動きが補償された 2値ォブジェクト画像をスィッチ 3 8 2に出力する。

図 4 3および図 4 4の例を参照して、動き補償部 3 8 1の動き捕償について説明する。例えば、フレーム #nの領域を判定するとき、図 4 3に例を示すフレーム #n- 1、フレーム、およびフレーム #n+ lの 2値オブジェクト画像が入力された場合、動き補償部 3 8 1は、動き検出部 1 0 2から供給された動きべクトルを基に、図 4 4に例を示すように、フレーム #n- l の 2値オブジェクト画像、およびフレーム #n+ l の 2値ォブジェクト画像を動き補償して、動き補償された 2値オブジェクト画像をスィッチ 3 8 2に供給する。

スィツチ 3 8 2は、 1番目のフレームの動き捕償された 2値オブジェクト画像をフレームメモリ 3 8 3— 1に出力し、 2番目のフレームの動き捕償された 2値オブジェクト画像をフレームメモリ 3 8 3— 2に出力する。同様に、スィッチ 3 8 2は、 3番目乃至 N— 1番目のフレームの動き補償された 2値オブジェクト画像のそれぞれをフレームメモリ 3 8 3— 3乃至フレームメモリ 3 8 3 - ( N— 1 ) のいずれかに出力し、 N番目のフレームの動き補償された 2値オブジェクト画像をフレームメモリ 3 8 3— Nに出力する。

フレームメモリ 3 8 3— 1は、 1番目のフレームの動き補償された 2値ォブジェクト画像を記憶し、記憶されている 2値オブジェクト画像を重み付け部 3 8 4 _ 1に出力する。フレームメモリ 3 8 3— 2は、 2番目のフレームの動き補償された 2値ォブジェクト画像を記憶し、記憶されている 2値オブジェクト画像を重み付け部 3 8 4— 2に出力する。

同様に、フレームメモリ 3 8 3 _ 3乃至フレームメモリ 3 8 3 - (N— 1 ) のそれぞれは、 3番目のフレーム乃至 N— 1番目のフレームの動き補償された 2値オブジェクト画像のいずれかを記憶し、記憶されている 2値ォブジェクト画像を重み付け部 3 8 4 _ 3乃至重み付け部 3 8 4— （N— 1 ) のいずれかに出力する。フレームメモリ 3 8 3— Nは、 N番目のフレームの動き補償された 2値オブジェクト画像を記憶し、記憶されている 2値オブジェクト画像を重み付け部 3 8 4 - Nに出力する。

重み付け部 3 8 4— 1は、フレームメモリ 3 8 3— 1力、ら供給された 1番目のフレームの動き補償された 2値オブジェクト画像の画素値に予め定めた重み wl を乗じて、積算部 3 8 5に供給する。重み付け部 3 8 4— 2は、フレームメモリ 3 8 3— 2から供給された 2番目のフレームの動き補償された 2値ォブジタト画像の画素値に予め定めた重み w2を乗じて、積算部 3 8 5に供給する。

同様に、重み付け部 3 8 4— 3乃至重み付け部 3 8 4— （N— 1 ) のそれぞれは、フレームメモリ 3 8 3— 3乃至フレームメモリ 3 8 3— ( N— 1 ) のいずれかから供給された 3番目乃至 N— 1番目のいずれかのフレームの動き補償された 2値ォブジェクト画像の画素値に予め定めた重み w3乃至重み w (N- 1)のいずれかを乗じて、積算部 3 8 5に供給する。重み付け部 3 8 4— Nは、フレームメモリ 3 8 3一 Nから供給された N番目のフレームの動き補償された 2値オブジェクト画像の画素値に予め定めた重み wNを乗じて、積算部 3 8 5に供給する。

積算部 3 8 5は、 1乃至 N番目のフレームの動き補償され、それぞれ重み wl 乃至 wNのいずれかが乗じられた、 2値ォブジェクト画像の対応する画素値を積算して、積算された画素値を予め定めたしきい値 thO と比較することにより 2 値オブジェクト画像を生成する。

このように、ロバスト化部 3 6 1は、 N個の 2値オブジェクト画像から口バスト化された 2値オブジェト画像を生成して、時間変化検出部 3 0 3に供給するので、図 4 1に構成を示す領域特定部 1 0 3は、入力画像にノイズが含まれていても、図 2 9に示す場合に比較して、より正確に領域を特定することができる。次に、図 4 1に構成を示す領域特定部 1 0 3の領域特定の処理について、図 4 5のフローチャートを参照して説明する。ステップ S 3 4 1乃至ステップ S 3 4 3の処理は、図 3 9のフローチヤ一トで説明したステップ S 3 0 1乃至ステップ S 3 0 3とそれぞれ同様なのでその説明は省略する。

ステップ S 3 4 4において、ロバスト化部 3 6 1は、ロバスト化の処理を実行する。

ステップ S 3 4 5において、時間変化検出部 3 0 3は、領域判定の処理を実行して、処理は終了する。ステップ S 3 4 5の処理の詳細は、図 4 0のフローチヤートを参照して説明した処理と同様なのでその説明は省略する。

次に、図 4 6のフローチャートを参照して、図 4 5のステップ S 3 4 4の処理に対応する、ロバスト化の処理の詳細について説明する。ステップ S 3 6 1において、動き補償部 3 8 1は、動き検出部 1 0 2から供給される動きベクトルとその位置情報を基に、入力された 2値オブジェクト画像の動き補償の処理を実行する。ステップ S 3 6 2において、フレームメモリ 3 8 3— 1乃至 3 8 3一 Nのいずれかは、スィッチ 3 8 2を介して供給された動き補償された 2値オブジェクト画像を記憶する。

ステップ S 3 6 3において、ロバスト化部 3 6 1は、 N個の 2値オブジェクト画像が記憶されたか否かを判定し、 N個の 2値ォブジェクト画像が記憶されていないと判定された場合、ステップ S 3 6 1に戻り、 2値オブジェクト画像の動き補償の処理および 2値ォブジェクト画像の記憶の処理を繰り返す。

ステップ S 3 6 3において、 N個の 2値オブジェクト画像が記憶されたと判定された場合、ステップ S 3 6 4に進み、重み付け部 3 8 4— 1乃至 3 8 4—Nのそれぞれは、 N個の 2値ォブジェクト画像のそれぞれに wl乃至 wNのいずれかの重みを乗じて、重み付けする。

ステップ S 3 6 5において、積算部 3 8 5は、重み付けされた N個の 2値ォブジェクト画像を積算する。

ステップ S 3 6 6において、積算部 3 8 5は、例えば、予め定められたしきい値 thl との比較などにより、積算された画像から 2値オブジェクト画像を生成して、処理は終了する。

このように、図 4 1に構成を示す領域特定部 1 0 3は、ロバスト化された 2値オブジェクト画像を基に、領域情報を生成することができる。

以上のように、領域特定部 1 0 3は、フレームに含まれている画素のそれぞれについて、動き領域、静止領域、アンカバードバックグラウンド領域、または力バードバックグラウンド領域に属することを示す領域情報を生成することができる。

図 4 7は、混合比算出部 1 0 4の構成を示すブロック図である。推定混合比処理部 4 0 1は、動き検出部 1 0 2から供給された動きべクトルおよびその位置情報、並びに入力画像を基に、カバードバックグラウンド領域のモデルに対応する演算により、画素毎に推定混合比を算出して、算出した推定混合比を混合比決定部 4 0 3に供給する。

推定混合比処理部 4 0 2は、動き検出部 1 0 2から供給された動きべクトルおよびその位置情報、並びに入力画像を基に、アンカバードバックグラウンド領域のモデルに対応する演算により、画素毎に推定混合比を算出して、算出した推定混合比を混合比決定部 4 0 3に供給する。

前景に対応するォブジェクトがシャッタ時間内に等速で動いていると仮定できるので、混合領域に属する画素の混合比は、以下の性質を有する。すなわち、混合比ひは、画素の位置の変化に対応して、直線的に変化する。画素の位置の変化を 1次元とすれば、混合比ひの変化は、直線で表現することができ、画素の位置の変化を 2次元とすれば、混合比 αの変化は、平面で表現することができる。

なお、 1フレームの期間は短いので、前景に対応するオブジェクトが剛体であり、等速で移動していると仮定が成り立つ。

この場合、混合比の傾きは、前景のシャツタ時間内での動き量 Vの逆比となる。

理想的な混合比の例を図 4 8に示す。理想的な混合比の混合領域における傾き 1は、動き量 Vの逆数として表すことができる。

図 4 8に示すように、理想的な混合比 a は、背景領域において、 1の値を有し、前景領域において、 0の値を有し、混合領域において、 0を越え 1未満の値を有する。

図 4 9の例において、フレーム #nの左から 7番目の画素の画素値 C06は、フレーム #η_1の左から 7番目の画素の画素値 P06を用いて、式（8 ) で表すことができる。

C06 = Β06/ν + Β06/ν + FOllv + F02lv

= P06fv + P06/v + FOllv + F02iv

= 2/v *P06 +∑FUv (8) i=l

式（8 ) において、画素値 C06を混合領域の画素の画素値 Mと、画素値 P06 を背景領域の画素の画素値 Bと表現する。すなわち、混合領域の画素の画素値 M および背景領域の画素の画素値 Bは、それぞれ、式（9) および式（1 0) のように表現することができる。

M=C06 ( 9 )

B=P06 ( 1 0)

式（8) 中の 2/vは、混合比に対応する。動き量 Vが 4なので、フレーム #nの左から 7番目の画素の混合比は、 0.5となる。

以上のように、注目しているフレーム #nの画素値 Cを混合領域の画素値と見なし、フレーム #nの前のフレーム #n- 1の画素値 Pを背景領域の画素値と見なすことで、混合比を示す式（3) は、式（1 1) のように書き換えられる。

C=a - P+f (1 1 )

式（1 1) の f は、注目している画素に含まれる前景の成分の和 ∑iFi/vである _c 式（1 1) に含まれる変数は、混合比および前景の成分の和 f の 2つである _c 同様に、アンカバードバックグラウンド領域における、動き量 V が 4であり、時間方向の仮想分割数が 4である、画素値を時間方向に展開したモデルを図 5 0 に示す。

アンカバードバックグラウンド領域において、上述したカバードバックグラウンド領域における表現と同様に、注目しているフレーム #ηの画素値 Cを混合領域の画素値と見なし、フレーム #ηの後のフレーム #η+1の画素値 Νを背景領域の画素値と見なすことで、混合比を示す式（3) は、式（1 2) のように表現することができる。

C= a - N+f (1 2)

なお、背景のオブジェクトが静止しているとして説明したが、背景のオブジェクトが動いている場合においても、背景の動き量 Vに対応させた位置の画素の画素値を利用することにより、式（8) 乃至式（1 2) を適用することができる c 例えば、図 4 9において、背景に対応する'ォブジェクトの動き量 V が 2であり- 仮想分割数が 2であるとき、背景に対応するオブジェクトが図中の右側に動いているとき、式（1 0) における背景領域の画素の画素値 Bは、画素値 P04とされる。

式（1 1) および式（1 2) は、それぞれ 2つの変数を含むので、そのままでは混合比を求めることができない。

そこで、前景のオブジェクトの動き量 Vに合わせて、混合領域に属する画素と、対応する背景領域に属する画素との組について式を立て、混合比 αを求める。

動き量 Vとして、動き検出部 102から供給された動きべクトルおよびその位置情報が利用される。

推定混合比処理部 40 1による、カバードバックグラウンド領域に対応するモデルを基にした、動き量 Vを使用した推定混合比の算出について説明する。

カバードバックグラウンド領域に対応する図 4 9に示す例において、フレーム ίίη-lの Ρ02について、式 (1 3) が成立し、フレーム #ηの C06について、式 (14) が成立する。

Ρ02 = 2iv*B02 + , / (13) i=l

C06 = 2ίν ·Β06 +∑Filv (14) 式（1 3) および式（14) において、混合比に対応する値は、 2/vであり、同一である。式（1 3) および式（1 4) において、前景の成分の和に対応する値は、

* であり、同一である。すなわち、フレーム #n- 1の P02およびフレーム #nの C06の混合比および前景の成分の和は、同一であり、フレーム #nの C06は、前景のオブジェクトの動きにより、フレーム ίίη- 1の Ρ02に対応していると言える。複数フレームにわたって、前景に対応するオブジェクトが等速で動くという仮定と、前景の成分が一定であるという仮定を持ち込むことで、このように、前景のオブジェクトの動き量 Vに対応して、混合比および前景の成分の和が同一である混合領域に属する画素と、対応する背景領域に属する画素との複数の組を選択することができる。例えば、混合領域に属する画素と、対応する背景領域に属する画素との複数の組を 5つの組とすることができる。

例えば、図 5 1に示すように、前景のオブジェクトの動き量 Vに対応して、フレーム #n - 3乃至フレーム #n+2から、混合領域に属する画素 Mtl乃至 Mt5と、対応する背景領域に属する画素 Btl乃至 Bt5とを選択することができる。

画素 Mtl乃至 Mt5、および画素 Btl乃至 Bt5について、式（1 5) 乃至式 (1 9) が成立する。

Mtl=a? - Btl+f (1 5)

Mt2=a ■ Bt2+f (1 6)

Mt3=a - Bt3+f (1 7)

Mt4二 - Bt4+f (1 8)

Mt5=Qf - Bt5+f (1 9)

式（ 1 5) 乃至式（1 9) の f は、前景の成分の和 ∑iFi/vである。

式（1 5) 乃至式（1 9) の 5つの式は、共通する変数である混合比および前景の成分の和 f を含むので、式（1 5) 乃至式（1 9) に最小自乗法を適用して、混合比および前景の成分の和 f を求めることができる。

例えば、推定混合比処理部 40 1は、混合比 Of および前景の成分の和 f を算出するための正規方程式を予め記憶し、記憶している正規方程式に混合領域に属する画素値、および対応する背景領域に属する画素値を設定して、行列解法により混合比および前景の成分の和 f を算出する。

なお、背景が動いているとき、図 5 2に例を示すように、推定混合比処理部 4 0 1は、背景の動き量 v'に対応させて、正規方程式に混合領域に属する画素値、および対応する背景領域に属する画素値を設定して、行列解法により混合比および前景の成分の和 f を算出する。

すなわち、推定混合比処理部 4 0 1は、対応する複数の画素がカバードバックグラウンド領域に属すると仮定して、複数のオブジェクトのうちの前景のォブジェクトの動き量 Vを基に、連続する所定数のフレームの画素の画素値（画素データ）であって、複数のォブジヱクトが混合されてなる画素の画素値である、対応する複数の混合画素データを抽出するとともに、複数のォブジユタトのうちの背景のオブジェクトの動き量 v'を基に、連続する所定数のフレームのうちの、混合画素データが存在するフレームとは異なるフレームから、混合画素データに対応し、背景のオブジェクトからなる画素の画素値（画素データ）である背景画素データを抽出し、抽出された混合画素データおよび背景画素データを基に、連続する所定数のフレームに対応する混合画素データおよび背景画素データの関係式を生成し、関係式に基づいて、連続する所定数のフレームに対応して、 1つの混合比を検出し、検出した混合比を推定混合比とする。

このように推定混合比処理部 4 0 1は、カバードバックダラゥンド領域に対応するモデルを基に、動き量 Vを使用して推定混合比を算出する。

推定混合比処理部 4 0 2は、同様に、アンカバードバックグラウンド領域に対応するモデルを基に、動き量 Vを使用して推定混合比を算出する。アンカバードバックグラウンド領域に対応するモデルにおいて、対応する背景領域に属する画素は、注目している画素のフレームの後のフレームから選択される。

すなわち、推定混合比処理部 4 0 2は、対応する複数の画素がアンカバードバックグラウンド領域に属すると仮定して、複数のオブジェクトのうちの前景のォブジエタトの動き量 Vを基に、連続する所定数のフレームの画素の画素値（画素データ）であって、複数のオブジェクトが混合されてなる画素の画素値である、対応する複数の混合画素データを抽出するとともに、複数のオブジェクトのうちの背景のオブジェクトの動き量 v'を基に、連続する所定数のフレームのうちの、混合画素データが存在するフレームとは異なるフレームから、混合画素データに対応し、背景のオブジェクトからなる画素の画素値（画素データ）である背景画素データを抽出し、抽出された混合画素データおよび背景画素データを基に、連続する所定数のフレームに対応する混合画素データおよび背景画素データの関係式を生成し、関係式に基づいて、連続する所定数のフレームに対応して、 1つの混合比を検出し、検出した混合比を推定混合比とする。

図 5 3は、カバードバックグラウンド領域に対応するモデルを基に、動き量 V を使用して推定混合比を算出する推定混合比処理部 4 0 1の構成を示すプロック図である。

フレームメモリ 4 2 1は、入力画像の複数のフレームを記憶し、記憶しているフレームを混合比演算部 4 2 2に供給する。フレームメモリ 4 2 1は、例えば、フレームごとに、 6つのフレームを記憶し、記憶している 6つのフレームを混合比演算部 4 2 2に供給する。

混合比演算部 4 2 2は、混合比および前景の成分の和 f を算出するための正規方程式を予め記憶している。

混合比演算部 4 2 2は、正規方程式に、フレームメモリ 4 2 1から供給されたフレームに含まれる、混合領域に属する画素値、および対応する背景領域に属する画素値を設定する。混合比演算部 4 2 2は、混合領域に属する画素値、および対応する背景領域に属する画素値が設定された正規方程式を、行列解法により解き、推定混合比を算出し、算出した推定混合比を出力する。

正規方程式加算部 4 4 1は、推定混合比を算出するための正規方程式を予め記 feして V、る。

正規方程式加算部 4 4 1は、正規方程式に、フレームメモリ 4 2 1から供給された M個のフレームの画像に含まれる、混合領域に属する画素値、および対応する背景領域に属する画素値を設定する。正規方程式加算部 4 4 1は、合領域に属する画素値、および対応する背景領域に属する画素値が設定された正規方程式を、正規方程式演算部 4 4 2に供給する。

正規方程式演算部 4 4 2は、正規方程式加算部 4 4 1から供給された、画素値が設定された正規方程式を、掃き出し法（Gauss- Jordanの消去法）などを適用して解き、推定混合比を算出し、算出した推定混合比を出力する。

このように、推定混合比処理部 4 0 1は、カバ一ドバックグラウンド領域に対応するモデルを基に、動き量 Vを使用して推定混合比を算出する。

推定混合比処理部 4 0 2は、推定混合比処理部 4 0 1と同様の構成を有するので、その説明は省略する。

図 5 5は、推定混合比処理部 4 0 1により算出された推定混合比の例を示す図である。図 5 5に示す推定混合比は、等速で動いているオブジェクトに対応する前景の動き Vが 1 1であり、 7つの組の画素を設定した正規方程式を解いて算出された結果を、 1ラインに対して示すものである。

推定混合比は、混合領域において、図 4 8に示すように、ほぼ直線的に変化していることがわかる。

図 4 7に戻り、混合比決定部 4 0 3は、領域特定部 1 0 1から供給された、混合比が算出される画素が、前景領域、背景領域、カバードバックグラウンド領域、またはアンカバードバックグラウンド領域のいずれかに属するかを示す領域情報を基に、混合比 α を設定する。混合比決定部 4 0 3は、対象となる画素が前景領域に属する場合、 0を混合比に設定し、対象となる画素が背景領域に属する場合、 1を混合比に設定し、対象となる画素がカバードバックダラゥンド領域に属する場合、推定混合比処理部 4 0 1から供給された推定混合比を混合比に設定し、対象となる画素がアンカバードバックグラウンド領域に属する場合、推定混合比処理部 4 0 2から供給された推定混合比を混合比 a に設定する。混合比決定部 4 0 3は、領域情報を基に設定した混合比を出力する _c このように、混合比算出部 1 0 4は、画像に含まれる画素毎に混合比を算出して、算出した混合比を出力することができる。

図 5 6は、混合比算出部 1 0 4の他の構成を示すブロック図である。選択部 4 6 1は、領域特定部 1 0 3から供給された領域情報を基に、カバードバックグラゥンド領域に属する画素および、これに対応する前および後のフレームの画素を推定混合比処理部 4 6 2に供給する。選択部 4 6 1は、領域特定部 1 0 3から供給された領域情報を基に、アンカバードバックグラウンド領域に属する画素および、これに対応する前および後のフレームの画素を推定混合比処理部 4 6 3に供給する。

推定混合比処理部 4 6 2は、動き検出部 1 0 2から供給された動きべクトルおよびその位置情報、並びに選択部 4 6 1から入力された画素値を基に、カバードバックグラウンド領域に対応する正規方程式を基に、カバードバックグラウンド領域に属する、注目している画素の推定混合比を算出して、算出した推定混合比を選択部 4 6 4に供給する。

推定混合比処理部 4 6 3は、動き検出部 1 0 2から供給された動きべクトルおよびその位置情報、並びに選択部 4 6 1から入力された画素値を基に、カバードバックグラウンド領域に対応する正規方程式を基に、アンカバードバックダラゥンド領域に属する、注目している画素の推定混合比を算出して、算出した推定混合比を選択部 4 6 4に供給する。

選択部 4 6 4は、領域特定部 1 0 3から供給された領域情報を基に、対象となる画素が前景領域に属する場合、 0を混合比に設定し、対象となる画素が背景領域に属する場合、 1を混合比 α に設定する。選択部 4 6 4は、対象となる画素がカバードバックグラウンド領域に属する場合、推定混合比処理部 4 6 2から供給された推定混合比を選択して混合比に設定し、対象となる画素がアンカバードバックグラウンド領域に属する場合、推定混合比処理部 4 6 3から供給された推定混合比を選択して混合比 α に設定する。選択部 4 6 4は、領域情報を基に選択して設定した混合比 α を出力する。

このように、図 5 6に示す他の構成を有する混合比算出部 1 0 4は、画像に含まれる画素毎に混合比を算出して、算出した混合比を出力することができる。

図 5 7のフローチャートを参照して、混合比算出部 1 0 4の混合比 α の算出の処理を説明する。ステップ S 5 0 1において、混合比算出部 1 0 4は、領域特定部 1 0 1から供給された領域情報を取得する。ステップ S 5 0 2において、推定混合比処理部 4 0 1は、動き検出部 1 0 2から供給された動きべクトルおよびその位置情報を基に、カバードバックグラウンド領域に対応するモデルによる混合比推定の処理を実行し、推定混合比を混合比決定部 4 0 3に供給する。混合比推定の処理の詳細は、図 5 8のフローチャートを参照して、後述する。

ステップ S 5 0 3において、推定混合比処理部 4 0 2は、動き検出部 1 0 2から供給された動きべクトルおよびその位置情報を基に、アンカバードバックグラゥンド領域に対応するモデルによる混合比推定の処理を実行し、推定混合比を混合比決定部 4 0 3に供給する。

ステップ S 5 0 4において、混合比算出部 1 0 4は、フレーム全体について、混合比を推定したか否かを判定し、フレーム全体について、混合比を推定していないと判定された場合、ステップ S 5 0 2に戻り、次の画素について混合比を推定する処理を実行する。

ステップ S 5 0 4において、フレーム全体について、混合比を推定したと判定された場合、ステップ S 5 0 5に進み、混合比決定部 4 0 3は、領域特定部 1 0 1から供給された、混合比が算出される画素が、前景領域、背景領域、カバ一ドバックグラウンド領域、またはァンカバードバックグラウンド領域のいずれかに属するかを示す領域情報を基に、混合比 α を設定する。混合比決定部 4 0 3は、対象となる画素が前景領域に属する場合、 0を混合比 α こ設定し、対象となる画素が背景領域に属する場合、 1を混合比に設定し、対象となる画素がカバードバックグラウンド領域に属する場合、推定混合比処理部 4 0 1から供給された推定混合比を混合比ひに設定し、対象となる画素がアンカバードバックグラウンド領域に属する場合、推定混合比処理部 4 0 2から供給された推定混合比を混合比に設定し、処理は終了する。

このように、混合比算出部 1 0 4は、動き検出部 1 0 2から供給された動きべクトルおよびその位置情報、領域特定部 1 0 1から供給された領域情報、並びに入力画像を基に、各画素に対応する特徴量である混合比ひを算出することができる。

混合比を利用することにより、動いているオブジェクトに対応する画像に含まれる動きボケの情報を残したままで、画素値に含まれる前景の成分と背景の成分とを分離することが可能になる。

図 5 6に構成を示す混合比算出部 1 0 4の処理は、図 5 7のフローチャートを参照して説明した処理と同様なので、その説明は省略する。

次に、図 5 7のステップ S 5 0 2に対応する、推定混合比処理部 4 0 1が実行する、カバードバックグラウンド領域に対応するモデルによる混合比推定の算出の処理を図 5 7のフローチヤ一トを参照して説明する。

ステップ S 5 2 1において、混合比演算部 4 4 2の正規方程式加算部 4 4 1は、動き検出部 1 0 2から供給された動きべクトルおよびその位置情報を読み込み、動き量 Vを取得する。

ステップ S 5 2 2において、正規方程式加算部 4 4 1は、フレームメモリ 4 2 1から供給された M個のフレームの画像から画素を選択して、予め記憶している正規方程式に選択した画素の画素値を設定する。

ステップ S 5 2 3において、正規方程式加算部 4 4 1は、対象となる画素について画素値の設定を終了したか否かを判定し、対象となる画素について画素値の設定を終了していないと判定された場合、ステップ S 5 2 2に戻り、画素値の設定の処理を繰り返す。

ステップ S 5 2 3において、対象となる画素について画素値の設定を終了したと判定された場合、ステップ S 5 2 4に進み、正規方程式加算部 4 4 1は、画素値を設定した正規方程式を正規方程式演算部 4 4 2に供給し、正規方程式演算部 4 4 2は、画素値が設定された正規方程式に掃き出し法（Gauss- Jordanの消去法）などを適用して正規方程式を解き、推定混合比を算出して、処理は終了する c このように、推定混合比処理部 4 0 1は、推定混合比を算出することができる _c 図 5 7のステップ S 5 0 3における、推定混合比処理部 4 0 2が実行する、ァンカバードバックグラウンド領域に対応するモデルによる混合比推定の処理は、アンカバードバックグラウンド領域のモデルに対応する正規方程式を利用した、図 5 8のフローチャートに示す処理と同様なので、その説明は省略する。

推定混合比処理部 4 6 2が実行する処理は、推定混合比処理部 4 0 1の処理と同様なので、その説明は省略する。推定混合比処理部 4 6 3が実行する処理は、推定混合比処理部 4 0 2の処理と同様なので、その説明は省略する。

次に、前景背景分離部 1 0 5について説明する。図 5 9は、前景背景分離部 1 0 5の構成の一例を示すブロック図である。前景背景分離部 1 0 5に供給された入力画像は、分離部 6 0 1、スィッチ 6 0 2、およびスィッチ 6 0 4に供給される。カバードバックグラウンド領域を示す情報、およびアンカバードバックグラゥンド領域を示す、領域特定部 1 0 3から供給された領域情報は、分離部 6 0 1 に供給される。前景領域を示す領域情報は、スィッチ 6 0 2に供給される。背景領域を示す領域情報は、スィッチ 6 0 4に供給される。

混合比算出部 1 0 4から供給された混合比は、分離部 6 0 1に供給される。分離部 6 0 1は、カバードバックグラウンド領域を示す領域情報、アンカバードバックグラウンド領域を示す領域情報、および混合比を基に、入力画像から前景の成分を分離して、分離した前景の成分を合成部 6 0 3に供給するとともに、入力画像から背景の成分を分離して、分離した背景の成分を合成部 6 0 5に供給する。

スィツチ 6 0 2は、前景領域を示す領域情報を基に、前景に対応する画素が入力されたとき、閉じられ、入力画像に含まれる前景に対応する画素のみを合成部 6 0 3に供給する。

スィッチ 6 0 4は、背景領域を示す領域情報を基に、背景に対応する画素が入力されたとき、閉じられ、入力画像に含まれる背景に対応する画素のみを合成部 6 0 5に供給する。

合成部 6 0 3は、分離部 6 0 1から供給された前景に対応する成分、スィッチ 6 0 2から供給された前景に対応する画素を基に、前景成分画像を合成し、合成した前景成分画像を出力する。前景領域と混合領域とは重複しないので、合成部 6 0 3は、例えば、前景に対応する成分と、前景に対応する画素とに論理和の演算を適用して、前景成分画像を合成する。

合成部 6 0 3は、前景成分画像の合成の処理の最初に実行される初期化の処理において、内蔵しているフレームメモリに全ての画素値が 0である画像を格納し、前景成分画像の合成の処理において、前景成分画像を格納（上書き）する。従つて、合成部 6 0 3が出力する前景成分画像の内、背景領域に対応する画素には、画素値として 0が格納されている。

合成部 6 0 5は、分離部 6 0 1から供給された背景に対応する成分、スィツチ 6 0 4から供給された背景に対応する画素を基に、背景成分画像を合成して、合成した背景成分画像を出力する。背景領域と混合領域とは重複しないので、合成部 6 0 5は、例えば、背景に対応する成分と、背景に対応する画素とに論理和の演算を適用して、背景成分画像を合成する。

合成部 6 0 5は、背景成分画像の合成の処理の最初に実行される初期化の処理において、内蔵しているフレームメモリに全ての画素値が 0である画像を格納し、背景成分画像の合成の処理において、背景成分画像を格納（上書き）する。従つて、合成部 6 0 5が出力する背景成分画像の内、前景領域に対応する画素には、画素値として 0が格納されている。

図 6 O Aは、前景背景分離部 1 0 5に入力される入力画像、並びに前景背景分離部 1 0 5から出力される前景成分画像および背景成分画像を示す図である。図 6 0 Bは、前景背景分離部 1 0 5に入力される入力画像、並びに前景背景分離部 1 0 5から出力される前景成分画像および背景成分画像のモデルを示す図である _c 図 6 O Aは、表示される画像の模式図であり、図 6 0 Bは、図 6 O Aに対応する前景領域に属する画素、背景領域に属する画素、および混合領域に属する画素を含む 1ラインの画素を時間方向に展開したモデル図を示す。

図 6 O Aおよび図 6 0 Bに示すように、前景背景分離部 1 0 5から出力される背景成分画像は、背景領域に属する画素、および混合領域の画素に含まれる背景の成分から構成される。図 6 O Aおよび図 6 0 Bに示すように、前景背景分離部 1 0 5から出力される前景成分画像は、前景領域に属する画素、および混合領域の画素に含まれる前景の成分から構成される。

混合領域の画素の画素値は、前景背景分離部 1 0 5により、背景の成分と、前景の成分とに分離される。分離された背景の成分は、背景領域に属する画素と共に、背景成分画像を構成する。分離された前景の成分は、前景領域に属する画素と共に、前景成分画像を構成する。

このように、前景成分画像は、背景領域に対応する画素の画素値が 0とされ、前景領域に対応する画素および混合領域に対応する画素に意味のある画素値が設定される。同様に、背景成分画像は、前景領域に対応する画素の画素値が 0とされ、背景領域に対応する画素および混合領域に対応する画素に意味のある画素値が設定される。

次に、分離部 6 0 1が実行する、混合領域に属する画素から前景の成分、および背景の成分を分離する処理について説明する。

図 6 1は、図中の左から右に移動するオブジェクトに対応する前景を含む、 2 つのフレームの前景の成分および背景の成分を示す画像のモデルである。図 6 1 に示す画像のモデルにおいて、前景の動き量 Vは 4であり、仮想分割数は、 4 とされている。

フレーム #nにおいて、最も左の画素、および左から 1 4番目乃至 1 8番目の画素は、背景の成分のみから成り、背景領域に属する。フレーム #nにおいて、左から 2番目乃至 4番目の画素は、背景の成分および前景の成分を含み、アンカバードバックグラウンド領域に属する。フレーム #_nにおいて、左から 1 1番目乃至 1 3番目の画素は、背景の成分および前景の成分を含み、カバードバックグラウンド領域に属する。フレーム #nにおいて、左から 5番目乃至 1 0番目の画素は、前景の成分のみから成り、前景領域に属する。

フレーム #n+ lにおいて、左から 1番目乃至 5番目の画素、および左から 1 8 番目の画素は、背景の成分のみから成り、背景領域に属する。フレーム #n+lにおいて、左から 6番目乃至 8番目の画素は、背景の成分および前景の成分を含み、アンカバードバックグラウンド領域に属する。フレーム #n+lにおいて、左から 1 5番目乃至 1 7番自の画素は、背景の成分および前景の成分を含み、カバードバックグラウンド領域に属する。フレーム #n+lにおいて、左から 9番目乃至 1 4番目の画素は、前景の成分のみから成り、前景領域に属する。

図 6 2は、カバードバックグラウンド領域に属する画素から前景の成分を分離する処理を説明する図である。図 6 2において、 1乃至ひ 1 8は、フレーム #nにおける画素のぞれぞれに対応する混合比である。図 6 2において、左から 1 5番目乃至 1 7番目の画素は、カバードバックグラウンド領域に属する。

' フレーム #n の左から 1 5番目の画素の画素値 C15 は、式（20) で表される _c C15=B15/v+F09/v+F08/v+F07/v

=α 15-B15+F09/v+F08/v+F07/v

= 15 -P15+F09/v+F08/v+F07/v (2 0) ここで、 15 は、フレーム #n の左から 1 5番目の画素の混合比である。 P15 は、フレーム #n- 1の左から 1 5番目の画素の画素値である。

式（2 0) を基に、フレーム #nの左から 1 5番目の画素の前景の成分の和 fl5は、式（2 1) で表される。

fl5=F09/v+F08/v+F07/v

=C15-Qf 15-P15 (2 1)

同様に、フレーム #nの左から 1 6番目の画素の前景の成分の和 fl6は、式 ( 2 2) で表され、フレーム #nの左から 1 7番目の画素の前景の成分の和 fl7 は、式（2 3) で表される。

fl6=C16-Qf 16-P16 (2 2)

fl7=C17 - α?17·Ρ17 (2 3)

このように、カバードバックグラウンド領域に属する画素の画素値 Cに含まれる前景の成分 fcは、式（24) で計算される。

fc=C-a? ·Ρ ( 24) Pは、 1つ前のフレームの、対応する画素の画素値である。

図 6 3は、アンカバードバックグラウンド領域に属する画素から前景の成分を分離する処理を説明する図である。図 6 3において、 1乃至 1 8は、フレ一ム#0における画素のぞれぞれに対応する混合比である。図 6 3において、左から 2番目乃至 4番目の画素は、アンカバードバックグラウンド領域に属する。フレーム #nの左から 2番目の画素の画素値 C02は、式（2 5) で表される。

C02=B02/v+B02/v+B02/v+F01/v

= a?2-B02+F01/v

= a2-N02+F01/v ( 2 5)

ここで、ひ 2は、フレーム #nの左から 2番目の画素の混合比である。 N02は、フレーム #n+lの左から 2番目の画素の画素値である。

式（2 5) を基に、フレーム #nの左から 2番目の画素の前景の成分の和 f02 は、式 (2 6) で表される。

f02=F01/v

：: C02 - 2·Ν02 (2 6)

同様に、フレーム #ηの左から 3番目の画素の前景の成分の和 f03は、式（2 7) で表され、フレーム #nの左から 4番目の画素の前景の成分の和 f04は、式 (2 8) で表される。

f03=C03-ひ 3·Ν03 (2 7)

f04=C04-a4-N04 (2 8)

このように、アンカバードバックグラウンド領域に属する画素の画素値 Cに含まれる前景の成分 fuは、式（2 9) で計算される。

fu二 C -び ·Ν (2 9)

Νは、 1つ後のフレームの、対応する画素の画素値である。

このように、分離部 6 0 1は、領域情報に含まれる、カバードバックグラウンド領域を示す情報、およびァンカバードバックグラウンド領域を示す情報、並ぴに画素毎の混合比を基に、混合領域に属する画素から前景の成分、および背景の成分を分離することができる。

図 6 4は、以上で説明した処理を実行する分離部 6 0 1の構成の一例を示すブロック図である。分離部 6 0 1に入力された画像は、フレームメモリ 6 2 1に供給され、混合比算出部 1 0 4から供給されたカバードバックグラウンド領域およびアンカバードバックグラゥンド領域を示す領域情報、並びに混合比は、分離処理ブロック 6 2 2に入力される。

フレームメモリ 6 2 1は、入力された画像をフレーム単位で記憶する。フレームメモリ 6 2 1は、処理の対象がフレーム #ηであるとき、フレーム #nの 1つ前のフレームであるフレーム #n- 1、フレーム #n、およびフレーム #nの 1つ後のフレームであるフレーム #n+lを記憶する。

フレームメモリ 6 2 1は、フレーム #n- 1、フレーム、およびフレーム #n+l の対応する画素を分離処理プロック 6 2 2に供給する。

分離処理プロック 6 2 2は、カバードバックグラウンド領域およびァンカバードバックグラウンド領域を示す領域情報、並びに混合比を基に、フレームメモリ 6 2 1から供給されたフレーム #n- 1、フレーム #n、およびフレーム #n+lの対応する画素の画素値に図 6 2および図 6 3を参照して説明した演算を適用して、フレーム #nの混合領域に属する画素から前景の成分および背景の成分を分離して、フレームメモリ 6 2 3に供給する。

分離処理プロック 6 2 2は、アンカバード領域処理部 6 3 1、力パード領域処理部 6 3 2、合成部 6 3 3、および合成部 6 3 4で構成されている。

アンカバード領域処理部 6 3 1の乗算器 6 4 1は、混合比を、フレームメモリ 6 2 1から供給されたフレーム #n+lの画素の画素値に乗じて、スィツチ 6 4 2に出力する。スィツチ 6 4 2は、フレームメモリ 6 2 1から供給されたフレーム #nの画素（フレーム #n+l の画素に対応する）がアンカバードバックグラウンド領域であるとき、閉じられ、乗算器 6 4 1から供給された混合比 αを乗じた画素値を演算器 6 4 3および合成部 6 3 4に供給する。スィッチ 6 4 2から出力されるフレーム #η+1の画素の画素値に混合比を乗じた値は、フレームの対応する画素の画素値の背景の成分に等しい。

演算器 6 4 3は、フレームメモリ 6 2 1から供給されたフレームの画素の画素値から、スィッチ 6 4 2から供給された背景の成分を減じて、前景の成分を求める。演算器 6 4 3は、アンカバードバックグラウンド領域に属する、フレームの画素の前景の成分を合成部 6 3 3に供給する。

カバード領域処理部 6 3 2の乗算器 6 5 1は、混合比を、フレームメモリ 6 2 1から供給されたフレーム #n- 1の画素の画素値に乗じて、スィツチ 6 5 2 に出力する。スィッチ 6 5 2は、フレームメモリ 6 2 1から供給されたフレーム #nの画素（フレーム #n_lの画素に対応する）がカバードバックグラウンド領域であるとき、閉じられ、乗算器 6 5 1から供給された混合比を乗じた画素値を演算器 6 5 3および合成部 6 3 4に供給する。スィッチ 6 5 2から出力されるフレーム #n- lの画素の画素値に混合比を乗じたィ直は、フレーム #ηの対応する画素の画素値の背景の成分に等しい。

演算器 6 5 3は、フレームメモリ 6 2 1から供給されたフレーム #ηの画素の画素値から、スィッチ 6 5 2から供給された背景の成分を減じて、前景の成分を求める。演算器 6 5 3は、カバードバックグラウンド領域に属する、フレーム #ηの画素の前景の成分を合成部 6 3 3に供給する。

合成部 6 3 3は、フレームの、演算器 6 4 3から供給された、アンカバー • ドバックグラウンド領域に属する画素の前景の成分、および演算器 6 5 3から供給された、カバードバックグラウンド領域に属する画素の前景の成分を合成して、フレームメモリ 6 2 3に供給する。

合成部 6 3 4は、フレーム ttnの、スィッチ 6 4 2から供給された、アンカバードバックグラウンド領域に属する画素の背景の成分、およびスィッチ 6 5 2から供給された、カバードバックグラウンド領域に属する画素の背景の成分を合成して、フレームメモリ 6 2 3に供給する。

フレームメモリ 6 2 3は、分離処理ブロック 6 2 2から供給された、フレーム #nの混合領域の画素の前景の成分と、背景の成分とをそれぞれに記憶する。フレームメモリ 6 2 3は、記憶しているフレーム #nの混合領域の画素の前景の成分、および記憶しているフレーム #nの混合領域の画素の背景の成分を出力する。

特徴量である混合比を利用することにより、画素値に含まれる前景の成分と背景の成分とを完全に分離することが可能になる。

合成部 6 0 3は、分離部 6 0 1から出力された、フレーム #nの混合領域の画素の前景の成分と、前景領域に属する画素とを合成して前景成分画像を生成する _c 合成部 6 0 5は、分離部 6 0 1から出力された、フレーム #nの混合領域の画素の背景の成分と、背景領域に属する画素とを合成して背景成分画像を生成する。図 6 5 Aは、図 6 1のフレーム #nに対応する、前景成分画像の例を示す図である。図 6 5 Bは、図 6 1のフレーム #nに対応する、背景成分画像の例を示す図である。

図 6 5 Aは、図 6 1のフレーム #nに対応する、前景成分画像の例を示す。最も左の画素、および左から 1 4番目の画素は、前景と背景が分離される前において、背景の成分のみから成っていたので、画素値が 0とされる。

左から 2番目乃至 4番目の画素は、前景と背景とが分離される前において、ァンカバードバックグラウンド領域に属し、背景の成分が 0とされ、前景の成分がそのまま残されている。左から 1 1番目乃至 1 3番目の画素は、前景と背景とが分離される前において、カバードバックグラウンド領域に属し、背景の成分が 0 とされ、前景の成分がそのまま残されている。左から 5番目乃至 1 0番目の画素は、前景の成分のみから成るので、そのまま残される。

図 6 5 Bは、図 6 1のフレーム #nに対応する、背景成分画像の例を示す。最も左の画素、および左から 1 4番目の画素は、前景と背景とが分離される前において、背景の成分のみから成っていたので、そのまま残される。

左から 2番目乃至 4番目の画素は、前景と背景とが分離される前において、ァンカバードバックグラウンド領域に属し、前景の成分が 0とされ、背景の成分がそのまま残されている。左から 1 1番目乃至 1 3番目の画素は、前景と背景とが分離される前において、カバードバックグラウンド領域に属し、前景の成分が 0 とされ、背景の成分がそのまま残されている。左から 5番目乃至 1 0番目の画素は、前景と背景とが分離される前において、前景の成分のみから成っていたので、画素値が 0とされる。

次に、図 6 6に示すフローチャートを参照して、前景背景分離部 1 0 5による前景と背景との分離の処理を説明する。ステップ S 6 0 1において、分離部 6 0 1のフレームメモリ 6 2 1は、入力画像を取得し、前景と背景との分離の対象となるフレーム #nを、その前のフレーム #n- lおよびその後のフレーム #n+ l と共に記憶する。

ステップ S 6 0 2において、分離部 6 0 1の分離処理ブロック 6 2 2は、混合比算出部 1 0 4から供給された領域情報を取得する。ステップ S 6 0 3において、分離部 6 0 1の分離処理プロック 6 2 2は、混合比算出部 1 0 4から供給された混合比 Q? を取得する。

ステップ S 6 0 4において、アンカバード領域処理部 6 3 1は、領域情報および混合比を基に、フレームメモリ 6 2 1から供給された、アンカバードバックグラウンド領域に属する画素の画素値から、背景の成分を抽出する。

ステップ S 6 0 5において、アンカバード領域処理部 6 3 1は、領域情報およぴ混合比を基に、フレームメモリ 6 2 1から供給された、アンカバードバックグラウンド領域に属する画素の画素値から、前景の成分を抽出する。

ステップ S 6 0 6において、カバード領域処理部 6 3 2は、領域情報および混合比を基に、フレームメモリ 6 2 1から供給された、カバードバックダラゥンド領域に属する画素の画素値から、背景の成分を抽出する。

ステップ S 6 0 7において、カバード領域処理部 6 3 2は、領域情報および混合比を基に、フレームメモリ 6 2 1から供給された、カバードバックグラウンド領域に属する画素の画素値から、前景の成分を抽出する。

ステップ S 6 0 8において、合成部 6 3 3は、ステップ S 6 0 5の処理で抽出されたアンカバードバックグラウンド領域に属する画素の前景の成分と、ステツプ S 6 0 7の処理で抽出されたカバードバックグラウンド領域に属する画素の前景の成分とを合成する。合成された前景の成分は、合成部 6 0 3に供給される。更に、合成部 6 0 3は、スィッチ 6 0 2を介して供給された前景領域に属する画素と、分離部 6 0 1から供給された前景の成分とを合成して、前景成分画像を生成する。

ステップ S 6 0 9において、合成部 6 3 4は、ステップ S 6 0 4の処理で抽出されたアンカバードバックグラウンド領域に属する画素の背景の成分と、ステツプ S 6 0 6の処理で抽出されたカバードバックグラウンド領域に属する画素の背景の成分とを合成する。合成された背景の成分は、合成部 6 0 5に供給される。更に、合成部 6 0 5は、スィッチ 6 0 4を介して供給された背景領域に属する画素と、分離部 6 0 1から供給された背景の成分とを合成して、背景成分画像を生成する。 ■

ステップ S 6 1 0において、合成部 6 0 3は、前景成分画像を出力する。ステップ S 6 1 1において、合成部 6 0 5は、背景成分画像を出力し、処理は終了する。

このように、前景背景分離部 1 0 5は、領域情報および混合比を基に、入力画像から前景の成分と、背景の成分とを分離し、前景の成分のみから成る前景成分画像、および背景の成分のみから成る背景成分画像を出力することができる。次に、前景成分画像からの動きボケの量の調整について説明する。

図 6 7は、動きボケ調整部 1 0 6の構成の一例を示すプロック図である。動き検出部 1 0 2から供給された動きべクトルとその位置情報、および領域特定部 1 0 3から供給された領域情報は、処理単位決定部 8 0 1およびモデル化部 8 0 2 に供給される。前景背景分離部 1 0 5から供給された前景成分画像は、足し込み部 8 0 4に供給される。

処理単位決定部 8 0 1は、動きべクトルとその位置情報、および領域情報を基に、動きべクトルと共に、生成した処理単位をモデル化部 8 0 2に供給する。処理単位決定部 8 0 1は、生成した処理単位を足し込み部 8 0 4に供給する。図 6 8の Aで示すように、例えば、処理単位決定部 8 0 1が生成する処理単位は、前景成分画像のカバードバックグラウンド領域に対応する画素から始まり、アンカバードバックグラウンド領域に対応する画素までの動き方向に並ぶ連続する画素、またはアンカバードバックグラウンド領域に対応する画素から始まり、カバードバックグラウンド領域に対応する画素までの動き方向に並ぶ連続する画素を示す。処理単位は、例えば、左上点（処理単位で指定される画素であって、画像上で最も左または最も上に位置する画素の位置）および右下点の 2つのデータから成る。

モデル化部 8 0 2は、動きべクトルおよび入力された処理単位を基に、モデル化を実行する。より具体的には、例えば、モデル化部 8 0 2は、処理単位に含まれる画素の数、画素値の時間方向の仮想分割数、および画素毎の前景の成分の数に対応する複数のモデルを予め記憶しておき、処理単位、および画素値の時間方向の仮想分割数を基に、図 6 9に示すような、画素値と前景の成分との対応を指定するモデルを選択するようにしても良い。

例えば、処理単位に対応する画素の数が 1 2でありシャツタ時間内の動き量 V が 5であるときにおいては、モデル化部 8 0 2は、仮想分割数を 5とし、最も左に位置する画素が 1つの前景の成分を含み、左から 2番目の画素が 2つの前景の成分を含み、左から 3番目の画素が 3つの前景の成分を含み、左から 4番目の画素が 4つの前景の成分を含み、左から 5番目の画素が 5つの前景の成分を含み、左から 6番目の画素が 5つの前景の成分を含み、左から 7番目の画素が 5つの前景の成分を含み、左から 8番目の画素が 5つの前景の成分を含み、左から 9番目の画素が 4つの前景の成分を含み、左から 1 0番目の画素が 3つの前景の成分を含み、左から 1 1番目の画素が 2つの前景の成分を含み、左から 1 2番目の画素が 1つの前景の成分を含み、全体として 8つの前景の成分から成るモデルを選択する。

なお、モデル化部 8 0 2は、予め記億してあるモデルから選択するのではなく、動きべクトル、および処理単位が供給されたとき、動きべクトル、および処理単位を基に、モデルを生成するようにしてもよい。

モデル化部 8 0 2は、選択したモデルを方程式生成部 8 0 3に供給する。

方程式生成部 8 0 3は、モデル化部 8 0 2から供給されたモデルを基に、方程式を生成する。図 6 9に示す前景成分画像のモデルを参照して、前景の成分の数が 8であり、処理単位に対応する画素の数が 1 2であり、動き量 V が 5であり、仮想分割数が 5であるときの、方程式生成部 8 0 3が生成する方程式について説明する。

前景成分画像に含まれるシャツタ時間/ Vに対応する前景成分が FOl/v乃至 F08/vであるとき、 FOl/v乃至 F08/vと画素値 C01乃至 C12との関係は、式（3 0) 乃至式（4 1) で表される。

C01=F01/v (3 0)

C02=F02/v+F01/v (3 1)

C03=F03/v+F02/v+F01/v (3 2)

C04=F04/v+F03/v+F02/v+F01/v (3 3)

C05=F05/v+F04/v+F03/v+F02/v+F01/v (3 4)

C06二 F06/v+F05/v+F04/v+F03/v+F02/v (3 5)

C07=F07/v+F06/v+F05/v+F04/v+F03/v (3 6)

C08=F08/v+F07/v+F06/v+F05/v+F04/v (3 7)

C09=F08/v+F07/v+F06/v+F05/v (3 8)

C10=F08/v+F07/v+F06/v (3 9)

Cll=F08/v+F07/v (40)

C12=F08/v (4 1) 方程式生成部 8 0 3は、生成した方程式を変形して方程式を生成する。方程式生成部 8 0 3が生成する方程式を、式（4 2) 乃至式（5 3) に示す。

C01=l · FOl/v+0 ■ F02/v+0 ■ F03/v+0 ■ F04/v+0■ F05/v

+0 - F06/v+0 · F07/V+0 · F08/v (4 2)

C02=l - FOl/v+1 - F02/v+0 - F03/v+0 - F04/v+0 - F05/v +0 - F06/v+0 - F07/v+0 - F08/v (43

C03=l - FOl/v+1 - F02/v+l - F03/v+0 - F04/v+0 - F05/v

+0 · F06/v+0 - F07/v+0■ F08/v (44

C04=l - FOl/v+1 - F02/v+l · F03/v+l - F04/v+0 - F05/v

+0 · F06/v+0 · F07/v+0 · F08/v (4 5

C05二 1 - FOl/v+1 - F02/v+l - F03/v+l - F04/v+l - F05/v

+0 - F06/V+0 - F07/v+0 · F08/v (46

C06=0 - FOl/v+1 - F02/v+l - F03/v+l - F04/v+l · F05/v

+1 - F06/v+0 - F07/v+0 - F08/v (47

C07=0 - FOl/v+0 - F02/v+l - F03/v+l - F04/v+l - F05/v

+1 - F06/v+l■ F07/V+0 - F08/v (48

C08二 0 - FOl/v+0 · F02/v+0 · F03/v+l - F04/v+l · F05/v

+1 · F06/v+l · F07/v+l · F08/v (49

C09=0 - FOl/v+0 - F02/v+0 - F03/v+0 - F04/v+l - F05/v

+1 - F06/v+l - F07/v+l - F08/v ( 50

C10=0 - FOl/v+0 - F02/v+0 - F03/v+0 - F04/v+0 - F05/v

+1 - F06/v+l - F07/V+1 · F08/v ( 5 1

C11=0 · FOl/v+0 - F02/v+0 - F03/v+0 - F04/v+0 - F05/v

+0 - F06/v+l - F07/V+1 - F08/v ( 5 2

C12=0 - FOl/v+0 - F02/V+0 - F03/v+0 - F04/v+0 - F05/v

+0 - F06/V+0 - F07/v+l■ F08/v ( 5 3 式（42) 乃至式（5 3) は、式（54) として表すこともできる。

S

し = 2^ cii Filv (54) i=01

式（54) において、 jは、画素の位置を示す。この例において、 jは、 1乃至 1 2のいずれか 1つの値を有する。また、 iは、前景値の位置を示す。この例において、 iは、 1乃至 8のいずれか 1つの値を有する。 aijは、 iおよび jの値に対応して、 0または 1の値を有する。 .

誤差を考慮して表現すると、式（54) は、式（5 5) のように表すことができる。

式（5 5) において、 ejは、注目画素 Cjに含まれる誤差である。

式（5 5) は、式（56) に書き換えることができる。 ej二 Cj Fiiv (56)

ここで、最小自乗法を適用するため、誤差の自乗和 Eを式（5 7) に示すように定義する。

誤差が最小になるためには、誤差の自乗和 Eに対する、変数 Fkによる偏微分の値が 0になればよい。式（5 8) を満たすように Fkを求める。

式（5 8) において、動き量 vは固定値であるから、式（5 9) を導くことができる。 = 0 (59)

式（5 9) を展開して、移項すると、式（60) を得る。

12 J2

∑( kj*∑aij^Fi) = v^∑aki* Cj (60)

/ = 1 ί=01 j=oi

式（6 0) の kに 1乃至 8の整数のいずれか 1つを代入して得られる 8つの式に展開する。得られた 8つの式を、行列により 1つの式により表すことができる。この式を正規方程式と呼ぶ。

このような最小自乗法に基づく、方程式生成部 8 0 3が生成する正規方程式の例を式（6 1 ) に示す。

式（6 1 ) を A ' F=v ' C と表すと、 C， A， vが既知であり、 Fは未知である。また A，vは、モデル化の時点で既知だが、 Cは、足し込み動作において画素値を入力することで既知となる。

最小自乗法に基づく正規方程式により前景成分を算出することにより、' 画素 C に含まれている誤差を分散させることができる。

方程式生成部 8 0 3は、このように生成された正規方程式を足し込み部 8 0 4 に供給する。

足し込み部 8 0 4は、処理単位決定部 8 0 1から供給された処理単位を基に、前景成分画像に含まれる画素値 Cを、方程式生成部 8 0 3から供給された行列の式に設定する。足し込み部 8 0 4は、画素値 Cを設定した行列を演算部 8 0 5に供給する。

演算部 8 0 5は、掃き出し法（Gaus s- Jordanの消去法）などの解法に基づく処理により、動きボケが除去された前景成分 Fi/vを算出して、動きボケが除去された前景の画素値である、 0乃至 8の整数のいずれかの iに対応する Fiを算出して、図 7 0に例を示す、動きボケが除去された画素値である Fiから成る、動きボケが除去された前景成分画像を動きボケ付加部 8 0 6および選択部 8 0 7 に出力する。

なお、図 7 0に示す動きボケが除去された前景成分画像において、 C03乃至 C10のそれぞれに F01乃至 F08のそれぞれが設定されているのは、画面に対する前景成分画像の位置を変化させないためであり、任意の位置に対応させることができる。

動きボケ付加部 8 0 6は、動き量 Vとは異なる値の動きボケ調整量 v'、例えば、動き量 Vの半分の値の動きボケ調整量 V'や、動き量 Vと無関係の値の動きボケ調整量 ν'を与えることで、動きボケの量を調整することができる。例えば、図 7 1に示すように、動きボケ付加部 8 0 6は、動きボケが除去された前景の画素値 Fiを動きボケ調整量 v'で除すことにより、前景成分 Fi/v'を算出して、前景成分 Fi/v'の和を算出して、動きボケの量が調整された画素値を生成する。例えば、動きボケ調整量 v'が 3のとき、画素値 C02は、（F01 ) /Vとされ、画素値 C03は、（F01+F02) /v'とされ、画素値 C04は、（FO 1+F02+F03) /v，とされ、画素値 C05は、（F02+F03+F04) /v'とされる。

動きボケ付加部 8 0 6は、動きボケの量を調整した前景成分画像を選択部 8 0 7に供給する。

選択部 8 0 7は、例えば使用者の選択に対応した選択信号を基に、演算部 8 0 5から供給された動きボケが除去された前景成分画像、および動きボケ付加部 8 0 6から供給された動きボケの量が調整された前景成分画像のいずれか一方を選択して、選択した前景成分画像を出力する。

このように、動きボケ調整部 1 0 6は、選択信号および動きボケ調整量 v'を基に、動きボケの量を調整することができる。

また、例えば、図 7 2に示すように、処理単位に対応する画素の数が 8であり - 動き量 vが 4であるとき、動きボケ調整部 1 0 6は、式 ( 6 2 ) に示す行列の式を生成する。

動きボケ調整部 1 0 6は、このように処理単位の長さに対応した数の式を立てて、動きボケの量が調整された画素値である Fiを算出する。同様に、例えば、処理単位に含まれる画素の数が 1 0 0あるとき、 1 0 0個の画素に対応する式を生成して、 Fiを算出する。

図 7 3は、動きボケ調整部 1 0 6の他の構成の一例を示す図である。図 6 7に示す場合と同様の部分には同一の番号を付してあり、その説明は省略する。選択部 8 2 1は、選択信号を基に、入力された動きべクトルとその位置信号をそのまま処理単位決定部 8 0 1およびモデル化部 8 0 2に供給するか、または動きべクトルの大きさを動きボケ調整量 v'に置き換えて、その大きさが動きボケ調整量 v，に置き換えられた動きべクトルとその位置信号を処理単位決定部 8 0 1およびモデル化部 8 0 2に供給する。

このようにすることで、図 7 3の動きボケ調整部 1 0 6の処理単位決定部 8 0 1乃至演算部 8 0 5は、動き量 Vと動きボケ調整量 v'との値に対応して、動きボケの量を調整することができる。例えば、動き量 Vが 5であり、動きボケ調整量 v'が 3であるとき、図 7 3の動きボケ調整部 1 0 6の処理単位決定部 8 0 1乃至演算部 8 0 5は、図 6 9に示す動き量 Vが 5である前景成分画像に対して、 3である動きボケ調整量 v'対応する図 7 1に示すようなモデルに従って、演算を実行し、（動き量 V) I (動きボケ調整量 ν' ) = 5/3、すなわちほぼ 1. 7 の動き量 vに応じた動きボケを含む画像を算出する。なお、この場合、算出される画像は、 3である動き量 Vに対応した動きボケを含むのではないので、動きボケ付加部 8 0 6の結果とは動き量 Vと動きボケ調整量 v'の関係の意味合いが異なる点に注意が必要である。

以上のように、動きボケ調整部 1 0 6は、動き量 Vおよび処理単位に対応して、式を生成し、生成した式に前景成分画像の画素値を設定して、動きボケの量が調整された前景成分画像を算出する。

次に、図 7 4のフローチャードを参照して、動きボケ調整部 1 0 6による前景成分画像に含まれる動きボケの量の調整の処理を説明する。

ステップ S 8 0 1において、動きボケ調整部 1 0 6の処理単位決定部 8 0 1は、動きベクトルおよび領域情報を基に、処理単位を生成し、生成した処理単位をモデル化部 8 0 2に供給する。

ステップ S 8 0 2において、動きボケ調整部 1 0 6のモデル化部 8 0 2は、動き量 Vおよび処理単位に対応して、モデルの選択や生成を行う。ステップ S 8 0 3において、方程式生成部 8 0 3は、選択されたモデルを基に、正規方程式を作成する。

ステップ S 8 0 4において、足し込み部 8 0 4は、作成された正規方程式に前景成分画像の画素値を設定する。ステップ S 8 0 5において、足し込み部 8 0 4 は、処理単位に対応する全ての画素の画素値の設定を行ったか否かを判定し、処理単位に対応する全ての画素の画素値の設定を行っていないと判定された場合、ステップ S 8 0 4に戻り、正規方程式への画素値の設定の処理を繰り返す。

ステップ S 8 0 5において、処理単位の全ての画素の画素の設定を行ったと判定された場合、ステップ S 8 0 6に進み、演算部 8 0 5は、足し込み部 8 0 4 から供給された画素値が設定された正規方程式を基に、動きボケの量を調整した前景の画素値を算出して、処理は終了する。

このように、動きボケ調整部 1 0 6は、動きべクトルおよび領域情報を基に、動きボケを含む前景画像から動きボケの量を調整することができる。すなわち、サンプルデータである画素値に含まれる動きボケの量を調整することができる。

以上のように、図 2に構成を示す信号処理装置は、入力画像に含まれる動きポケの量を調整することができる。図 2に構成を示す信号処理装置は、埋もれた情報である混合比を算出して、算出した混合比を出力することができる。図 7 5は、動きボケ調整部 1 0 6の構成の他の一例を示すプロック図である。動き検出部 1 0 2から供給された動きべクトルとその位置情報は、処理単位決定部 9 0 1および補正部 9 0 5に供給され、領域特定部 1 0 3カゝら供給された領域情報は、処理単位決定部 9 0 1に供給される。前景背景分離部 1 0 5から供給された前景成分画像は、演算部 9 0 4に供給される。

処理単位決定部 9 0 1は、動きべクトルとその位置情報、および領域情報を基に、動きべクトノレと共に、生成した処理単位をモデル化部 9 0 2に供給する。モデル化部 9 0 2は、動きべクトルおよび入力された処理単位を基に、モデル化を実行する。

方程式生成部 9 0 3は、モデル化部 9 0 2から供給されたモデルを基に、方程式を生成する。

図 7 6乃至図 7 8に示す前景成分画像のモデルを参照して、前景の成分の数が 8であり、処理単位に対応する画素の数が 1 2であり、動き量 Vが 5であるときの、方程式生成部 9 0 3が生成する方程式の例について説明する。

前景成分画像に含まれるシャッタ時間/ Vに対応する前景成分が FO l/v乃至

F08/vであるとき、 FO l/v乃至 F08/vと画素値 C01乃至 C12との関係は、上述したように、式（3 0 ) 乃至式（4 1 ) で表される。

画素値 C12および C11に注目すると、画素値 C12は、式（6 3 ) に示すように、前景の成分 F08/vのみを含み、画素値 C11は、前景の成分 F08/vおよび前景の成分 F07/vの積和から成る。従って、前景の成分 F07/vは、式（6 4 ) で求めることができる。

F08/v=C12 ( 6 3 ) F07/v=Cll-C12 (64)

同様に、画素値 CIO乃至 C01に含まれる前景の成分を考慮すると、前景の成分 F06/v 乃至 FOl/v は、式（6 5) 乃至式（7 0) により求めることができる。

F06/v=C10 - C11 (6 5)

F05/v=C09-C10 (6 6)

F04/v=C08-C09 ( 6 7)

F03/v=C07 - C08+C12 (6 8)

F02/v=C06-C07+Cll-C12 (6 9)

F01/v=C05- C06+C10 - Cll (70)

方程式生成部 9 0 3は、式（6 3) 乃至式（7 0) に例を示す、画素値の差により前景の成分を算出するための方程式を生成する。方程式生成部 9 0 3は、生成した方程式を演算部 9 04に供給する。

演算部 9 04は、方程式生成部 9 0 3から供給された方程式に前景成分画像の画素値を設定して、画素値を設定した方程式を基に、前景の成分を算出する。演算部 9 04は、例えば、式（ 6 3 ) 乃至式（7 0) が方程式生成部 9 0 3から供給されたとき、式（6 3) 乃至式（7 0) に画素値 C05乃至 C12を設定する。演算部 9 04は、画素値が設定された式に基づき、前景の成分を算出する。例えば、演算部 9 04は、画素値 C05乃至 C12が設定された式（6 3) 乃至式 (7 0) に基づく演算により、図 7 7に示すように、前景の成分 FOl/v乃至 F08/vを算出する。演算部 9 04は、前景の成分 FOl/v乃至 F08/vを補正部 9 0 5に供給する。

補正部 9 0 5は、演算部 9 04から供給された前景の成分に、処理単位決定部 9 0 1から供給された動きべクトルに含まれる動き量 Vを乗じて、動きボケを除去した前景の画素値を算出する。例えば、補正部 9 0 5は、演算部 9 04から供給された前景の成分 FOl/v乃至 F08/vが供給されたとき、前景の成分 FOl/v 乃至 F08/vのそれぞれに、 5である動き量 Vを乗じることにより、図 7 8に示すように、動きボケを除去した前景の画素値 F01乃至 F08を算出する。補正部 9 0 5は、以上のように算出された、動きボケを除去した前景の画素値から成る前景成分画像を動きボケ付加部 9 0 6および選択部 9 0 7に供給する。動きボケ付加部 9 0 6は、動き量 Vとは異なる値の動きボケ調整量 v'、例えば、動き量 Vの半分の値の動きボケ調整量 v'、動き量 Vと無関係の値の動きボケ調整量 v'で、動きボケの量を調整することができる。例えば、図 7 1に示すように、動きボケ付加部 9 0 6は、動きボケが除去された前景の画素値 Fiを動きボケ調整量 V で除すことにより、前景成分 Fi/v'を算出して、前景成分

Fi/v の和を算出して、動きボケの量が調整された画素値を生成する。例えば、動きボケ調整量 v'が 3のとき、画素値 C02は、（F01) /v'とされ、画素値 C03 は、（F01+F02) /v'とされ、画素値 C04は、（F01+F02+F03) /v'とされ、画素値 C05は、（F02+F03+F04) /v'とされる。

動きボケ付加部 9 0 6は、動きボケの量を調整した前景成分画像を選択部 9 0 7に供給する。

選択部 9 0 7は、例えば使用者の選択に対応した選択信号を基に、補正部 9 0 5から供給された動きボケが除去された前景成分画像、および動きボケ付加部 9 0 6から供給された動きボケの量が調整された前景成分画像のいずれか一方を選択して、選択した前景成分画像を出力する。

次に、図 7 5に構成を示す動きボケ調整部 1 0 6による前景の動きボケの量の調整の処理を図 7 9のフローチヤ一トを参照して説明する。

ステップ S 9 0 1において、動きボケ調整部 1 0 6の処理単位決定部 9 0 1は、動きベクトルおよび領域情報を基に、処理単位を生成し、生成した処理単位をモデル化部 9 0 2および補正部 9 0 5に供給する。

ステップ S 9 0 2において、動きボケ調整部 1 0 6のモデル化部 9 0 2は、動き量 Vおよび処理単位に対応して、モデルの選択や生成を行う。ステップ S 9 0 3において、方程式生成部 9 0 3は、選択または生成されたモデルを基に、前景成分画像の画素値の差により前景の成分を算出するための方程式を生成する。ステップ S 9 0 4において、演算部 9 0 4は、作成された方程式に前景成分画像の画素値を設定し、画素値が設定された方程式を基に、画素値の差分から前景の成分を抽出する。ステップ S 9 0 5において、演算部 9 0 4は、処理単位に対応する全ての前景の成分を抽出したか否かを判定し、処理単位に対応する全ての前景の成分を抽出していないと判定された場合、ステップ S 9 0 4に戻り、前景の成分を抽出の処理を繰り返す。

ステップ S 9 0 5において、処理単位に対応する全ての前景の成分を抽出したと判定された場合、ステップ S 9 0 6に進み、補正部 9 0 5は、動き量 Vを基に、演算部 9 0 4から供給された前景の成分 FOl/v乃至 F0⁸/vのそれぞれを補正して、動きボケを除去した前景の画素値 F01乃至 F08を算出する。

ステップ S 9 0 7において、動きボケ付加部 9 0 6は、動きボケの量を調整した前景の画素値を算出して、選択部 9 0 7は、動きボケが除去された画像または動きボケの量が調整された画像のいずれかを選択して、選択した画像を出力して、処理は終了する。

このように、図 7 5に構成を示す動きボケ調整部 1 0 6は、より簡単な演算で、より迅速に、動きボケを含む前景画像から動きボケを調整することができる。ウィナー · フィルタなど従来の動きボケを部分的に除去する手法が、理想状態では効果が認められるが、量子化され、ノイズを含んだ実際の画像に対して十分な効果が得られないのに対し、図 7 5に構成を示す動きボケ調整部 1 0 6においても、量子化され、ノイズを含んだ実際の画像に対しても十分な効果が認められ、精度の良い動きボケの除去が可能となる。

図 8 0は、信号処理装置の機能の他の構成を示すプロック図である。

図 2に示す部分と同様の部分には同一の番号を付してあり、その説明は適宜省略する。

オブジェクト抽出部 1 0 1は、入力画像に含まれる前景のオブジェクトに対応する画像オブジェクトを粗く抽出して、抽出した画像オブジェクトを動き検出部 1 0 2に供給する。動き検出部 1 0 2は、粗く抽出された前景のオブジェクトに対応する画像オブジェクトの動きべクトルを算出して、算出した動きべクトルおよび動きべクトルの位置情報を混合比算出部 1 0 4に供給する。

領域特定部 1 0 3は、領域情報を混合比算出部 1 0 4および合成部 1 0 0 1に供給する。

混合比算出部 1 0 4は、混合比 Of を前景背景分離部 1 0 5および合成部 1 0 0 1に供給する。

前景背景分離部 1 0 5は、前景成分画像を合成部 1 0 0 1に供給する。

合成部 1 0 0 1は、混合比算出部 1 0 4から供給された混合比、領域特定部 1 0 3から供給された領域情報を基に、任意の背景画像と、前景背景分離部 1 0 5から供給された前景成分画像とを合成して、任意の背景画像と前景成分画像とが合成された合成画像を出力する。

図 8 1は、合成部 1 0 0 1の構成を示す図である。背景成分生成部 1 0 2 1は、混合比および任意の背景画像を基に、背景成分画像を生成して、混合領域画像合成部 1 0 2 2に供給する。

混合領域画像合成部 1 0 2 2は、背景成分生成部 1 0 2 1から供給された背景成分画像と前景成分画像とを合成することにより、混合領域合成画像を生成して、生成した混合領域合成画像を画像合成部 1 0 2 3に供給する。

画像合成部 1 0 2 3は、領域情報を基に、前景成分画像、混合領域画像合成部 1 0 2 2から供給された混合領域合成画像、および任意の背景画像を合成して、合成画像を生成して出力する。

このように、合成部 1 0 0 1は、前景成分画像を、任意の背景画像に合成することができる。

特徴量である混合比 α を基に前景成分画像を任意の背景画像と合成して得られた画像は、単に画素を合成した画像に比較し、より自然なものと成る。

図 8 2は、動きボケの量を調整する信号処理装置の機能の更に他の構成を示すプロック図である。図 2に示す信号処理装置が領域特定と混合比の算出を順番に行うのに対して、図 8 2に示す信号処理装置は、領域特定と混合比の算出を並行して行う。

図 2のプロック図に示す機能と同様の部分には同一の番号を付してあり、その説明は省略する。

入力画像は、混合比算出部 1 1 0 1、前景背景分離部 1 1 0 2、領域特定部 1 0 3、およびオブジェクト抽出部 1 0 1に供給される。

混合比算出部 1 1 0 1は、入力画像を基に、画素がカバードバックグラウンド領域に属すると仮定した場合における推定混合比、および画素がアンカバードバックグラウンド領域に属すると仮定した場合における推定混合比を、入力画像に含まれる画素のそれぞれに対して算出し、算出した画素がカバードバックグラウンド領域に属すると仮定した場合における推定混合比、および画素がアンカバードバックグラウンド領域に属すると仮定した場合における推定混合比を前景背景分離部 1 1 0 2に供給する。

図 8 3は、混合比算出部 1 1 0 1の構成の一例を示すプロック図である。図 8 3に示す推定混合比処理部 4 0 1は、図 4 7に示す推定混合比処理部 4 0 1と同じである。図 8 3に示す推定混合比処理部 4 0 2は、図 4 7に示す推定混合比処理部 4 0 2と同じである。

推定混合比処理部 4 0 1は、動きべクトルおよびその位置情報、並びに入力画像を基に、カバードバックグラウンド領域のモデルに対応する演算により、画素毎に推定混合比を算出して、算出した推定混合比を出力する。

推定混合比処理部 4 0 2は、動きべクトルおよびその位置情報、並びに入力画像を基に、アンカバードバックグラウンド領域のモデルに対応する演算により、画素毎に推定混合比を算出して、算出した推定混合比を出力する。

前景背景分離部 1 1 0 2は、混合比算出部 1 1 0 1から供給された、画素が力バードバックグラウンド領域に属すると仮定した場合における推定混合比、および画素がアンカバードバックグラウンド領域に属すると仮定した場合における推定混合比、並びに領域特定部 1 0 3から供給された領域情報を基に、入力画像から前景成分画像を生成し、生成した前景成分画像を動きボケ調整部 1 0 6および選択部 1 0 7に供給する。

図 8 4は、前景背景分離部 1 1 0 2の構成の一例を示すプロック図である。図 5 9に示す前景背景分離部 1 0 5と同様の部分には同一の番号を付してあり、その説明は省略する。

選択部 1 1 2 1は、領域特定部 1 0 3から供給された領域情報を基に、混合比算出部 1 1 0 1から供給された、画素がカバードバックグラウンド領域に属すると仮定した場合における推定混合比、および画素がアンカバードバックグラウンド領域に属すると仮定した場合における推定混合比のいずれか一方を選択して、選択した推定混合比を混合比として分離部 6 0 1に供給する。

分離部 6 0 1は、選択部 1 1 2 1から供給された混合比および領域情報を基に、混合領域に属する画素の画素値から前景の成分および背景の成分を抽出し、抽出した前景の成分を合成部 6 0 3に供給すると共に、背景の成分を合成部 6 0 5に供給する。

分離部 6 0 1は、図 6 4に示す構成と同じ構成とすることができる。

合成部 6 0 3は、前景成分画像を合成して、出力する。合成部 6 0 5は、背景成分画像を合成して出力する。

図 8 2に示す動きボケ調整部 1 0 6は、図 2に示す場合と同様の構成とすることができ、領域情報および動きべクトルを基に、前景背景分離部 1 1 0 2から供給された前景成分画像に含まれる動きボケの量を調整して、動きボケの量が調整された前景成分画像を出力する。 ' 図 8 2に示す選択部 1 0 7は、例えば使用者の選択に対応した選択信号を基に、前景背景分離部 1 1 0 2から供給された前景成分画像、および動きボケ調整部 1 0 6から供給された動きボケの量が調整された前景成分画像のいずれか一方を選択して、選択した前景成分画像を出力する。

このように、図 8 2に構成を示す信号処理装置は、入力画像に含まれる前景のオブジェクトに対応する画像に対して、その画像に含まれる動きボケの量を調整して出力することができる。図 8 2に構成を示す信号処理装置は、第 1の実施例と同様に、埋もれた情報である混合比を算出して、算出した混合比を出力することができる。

図 8 5は、前景成分画像を任意の背景画像と合成する信号処理装置の機能の他の構成を示すプロック図である。図 8 0に示す信号処理装置が領域特定と混合比 of の算出をシリアルに行うのに対して、図 8 5に示す信号処理装置は、領域特定と混合比 Of の算出をパラレルに行う。

図 8 2のブロック図に示す機能と同様の部分には同一の番号を付してあり、その説明は省略する。

図 8 5に示す混合比算出部 1 1 0 1は、動きべクトルおよびその位置情報、並びに入力画像を基に、画素がカバードバックグラウンド領域に属すると仮定した場合における推定混合比、および画素がアンカバードバックグラウンド領域に属すると仮定した場合における推定混合比を、入力画像に含まれる画素のそれぞれに対して算出し、算出した画素がカバードバックグラウンド領域に属すると仮定した場合における推定混合比、および画素がアンカバードバックグラウンド領域に属すると仮定した場合における推定混合比を前景背景分離部 1 1 0 2および合成部 1 2 0 1に供給する。

図 8 5に示す前景背景分離部 1 1 0 2は、混合比算出部 1 1 0 1から供給された、画素がカバードバックグラウンド領域に属すると仮定した場合における推定混合比、および画素がアンカバードバックグラウンド領域に属すると仮定した場合における推定混合比、並びに領域特定部 1 0 3から供給された領域情報を基に、入力画像から前景成分画像を生成し、生成した前景成分画像を合成部 1 2 0 1に供給する。

合成部 1 2 0 1は、混合比算出部 1 1 0 1から供給された、画素がカバードバックグラウンド領域に属すると仮定した場合における推定混合比、および画素がアンカバードバックグラウンド領域に属すると仮定した場合における推定混合比、領域特定部 1 0 3から供給された領域情報を基に、任意の背景画像と、前景背景分離部 1 1 0 2から供給された前景成分画像とを合成して、任意の背景画像と前景成分画像とが合成された合成画像を出力する。

図 8 6は、合成部 1 2 0 1の構成を示す図である。図 8 1のプロック図に示す機能と同様の部分には同一の番号を付してあり、その説明は省略する。

選択部 1 2 2 1は、領域特定部 1 0 3から供給された領域情報を基に、混合比算出部 1 1 0 1から供給された、画素がカバードバックグラウンド領域に属すると仮定した場合における推定混合比、および画素がアンカバードバックグラウンド領域に属すると仮定した場合における推定混合比のいずれか一方を選択して、選択した推定混合比を混合比 α として背景成分生成部 1 0 2 1に供給する。図 8 6に示す背景成分生成部 1 0 2 1は、選択部 1 2 2 1から供給された混合比および任意の背景画像を基に、背景成分画像を生成して、混合領域画像合成部 1 0 2 2に供給する。

図 8 6に示す混合領域画像合成部 1 0 2 2は、背景成分生成部 1 0 2 1から供給された背景成分画像と前景成分画像とを合成することにより、混合領域合成画像を生成して、生成した混合領域合成画像を画像合成部 1 0 2 3に供給する。画像合成部 1 0 2 3は、領域情報を基に、前景成分画像、混合領域画像合成部 1 0 2 2から供給された混合領域合成画像、および任意の背景画像を合成して、合成画像を生成して出力する。

このように、合成部 1 2 0 1は、前景成分画像を、任意の背景画像に合成することができる。

なお、混合比は、画素値に含まれる背景の成分の割合として説明したが、画素^ ί直に含まれる前景の成分の割合としてもよい。

また、前景となるオブジェクトの動きの方向は左から右として説明したが、その方向に限定されないことは勿論である。

以上においては、 3次元空間と時間軸情報を有する現実空間の画像をビデオ力メラを用いて 2次元空間と時間軸情報を有する時空間への射影を行った場合を例としたが、本発明は、この例に限らず、より多くの第 1の次元の第 1の情報を、より少ない第 2の次元の第 2の情報に射影した場合に、その射影によつて発生する歪みを補正したり、有意情報を抽出したり、またはより自然に画像を合成する場合に適応することが可能である。

なお、センサは、 CCDに限らす、固体撮像素子である、例えば、 CMOS

(Compl ementary Metal Oxi de Semiconductor (相補性金属酸ィ匕膜半導体） ) ヽ BBD (Bucket Brigade Device) 、 CID (Charge Inject ion Devi ce) 、または CPD (Charge Pr iming Devi ce) などのセンサでもよく、また、検出素子がマトリックス状に配置されているセンサに限らず、検出素子が 1列に並んでいるセンサでもよい。

本発明の画像処理を行うプログラムを記録した記録媒体は、図 1に示すように、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク 5 1 (フレキシブルディスクを含む）、光ディスク 5 2 (CD-ROM (Compact Di sk-Read Only Memory) , DVD (Di gital

Versat i l e Di sk)を含む）、光磁気ディスク 5 3 (MD (Mi ni -Disk) (商標）を含む）、もしくは半導体メモリ 5 4などよりなるリムーバブルメディアにより構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される、プログラムが記録されている R0M 2 2や、記憶部 2 8に含まれるハードデイスクなどで構成される。

また、画像処理を行うプログラムは、有線または無線の伝送路を介して、コンピュータに供給されるようにしてもよい。

なお、本明細書において、記録媒体に記録されるプログラムを記述するステツプは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。産業上の利用可能性

第 1の発明によれば、複数のオブジェクトの混ざり合いの状態を示す混合比を検出することができるようになる。

第 2の発明によれば、複数のォブジェクトの混ざり合いの状態を示す混合比を検出することができるようになる。

Claims

請求の範囲

1 . 時間積分効果を有する所定数の画素を有する撮像素子によって取得された所定数の画素データからなる画像データを画像処理し、現実世界では複数であるオブジェクトの前記画素データにおける混合状態を示す混合比を算出する画像処理装置において、

前記複数のオブジェクトのうちの前景となる前景オブジェクトの動きを基に、連続する所定数のフレームの前記画素データであって、前記複数のオブジェクトが混合されてなる前記画素データである、対応する複数の混合画素データを抽出するとともに、前記複数のオブジェクトのうちの背景となる背景オブジェクトの動きを基に、連続する前記所定数のフレームのうちの、前記混合画素データが存在するフレームとは異なるフレームから、前記混合画素データに対応し、前記背景ォブジュタトからなる前記画素データである背景画素データを抽出する画素データ抽出手段と、

抽出された前記混合画素データおよび前記背景画素データを基に、連続する前記所定数のフレームに対応する前記混合画素データおよぴ前記背景画素データの関係式を生成する関係式生成手段と、

前記関係式に基づいて、連続する前記所定数のフレームに対応して、 1つの混合比を検出する混合比検出手段と

を含むことを特徴とする画像処理装置。

2 . 前記画素データ抽出手段は、前記フレームにおける前記前景オブジェクトの動きの量に対応して、前記混合画素データを抽出する

ことを特徴とする請求の範囲第 1項に記載の画像処理装置。

3 . 前記画素データ抽出手段は、前記フレームにおける.前記背景オブジェクトの動きの量に対応して、前記背景画素データを抽出する

4 . 前記関係式生成手段は、前記混合比を最小自乗法により算出するための、前記混合画素データおよび前記背景画素データの前記関係式を生成することを特徴とする請求の範囲第 1項に記載の画像処理装置。

5 . 前記前景オブジェクトおよび前記背景オブジェクトの少なくとも一方の動きを検出する動き検出手段をさらに含む

6 . 前記混合画素データからなる混合領域、前記背景画素からなる背景領域、および前記前景ォブジタトに対応する前記画素データである前景画素データからなる前景領域を特定する領域特定手段をさらに含む

7 . 前記混合比を基に、前記混合画素データから少なくとも前記前景オブジェクトを分離する分離手段をさらに含む

8 . 分離された前記前景オブジェクトの動きボケの量を調整する動きボケ調整手段をさらに含む

ことを特徴とする請求の範囲第 7項に記載の画像処理装置。

9 . 前記混合比を基に、所望の他のオブジェクトと分離された前記前景ォブジエタトと'を合成する合成手段をさらに含む

1 0 . 時間積分効果を有する所定数の画素を有する撮像素子によって取得された所定数の画素データからなる画像データを画像処理し、現実世界では複数であるオブジェクトの前記画素データにおける混合状態を示す混合比を算出する画像処理方法において、

前記複数のオブジェクトのうちの前景となる前景ォブジェクトの動きを基に、連続する所定数のフレームの前記画素データであって、前記複数のオブジェクトが混合されてなる前記画素データである、対応する複数の混合画素データを抽出するとともに、前記複数のオブジェクトのうちの背景となる背景ォブジェクトの動きを基に、連続する前記所定数のフレームのうちの、前記混合画素データが存在するフレームとは異なるフレームから、前記混合画素データに対応し、前記背景ォブジェクトからなる前記画素データである背景画素データを抽出する画素データ抽出ステップと、

抽出された前記混合画素データおよび前記背景画素データを基に、連続する前記所定数のフレームに対応する前記混合画素データおよぴ前記背景画素データの関係式を生成する関係式生成ステップと、

前記関係式に基づいて、連続する前記所定数のフレームに対応して、 1つの混合比を検出する混合比検出ステップと

を含むことを特徴とする画像処理方法。

- 1 1 . 前記画素データ抽出ステップにおいて、前記フレームにおける前記前景オブジェクトの動きの量に対応して、前記混合画素データが抽出される

ことを特徴とする請求の範囲第 1 0項に記載の画像処理方法。

1 2 . 前記画素データ抽出ステップにおいて、前記フレームにおける前記背景才ブジェクトの動きの量に対応して、前記背景画素データが抽出される

1 3 . 前記関係式生成ステップにおいて、前記混合比を最小自乗法により算出するための、前記混合画素データおよび前記背景画素データの前記関係式が生成される

1 4 . 前記前景オブジェクトおよび前記背景ォブジェクトの少なくとも一方の動きを検出する動き検出ステップをさらに含む

1 5 . 前記混合画素データからなる混合領域、前記背景画素からなる背景領域、および前記前景オブジェクトに対応する前記画素データである前景画素データからなる前景領域を特定する領域特定ステツプをさらに含む

1 6 . 前記混合比を基に、前記混合画素データから少なくとも前記前景ォブジェクトを分離する分離ステップをさらに含むことを特徴とする請求の範囲第 1 0項に記載の画像処理方法。

1 7 . 分離された前記前景オブジェクトの動きボケの量を調整する動きボケ調整ステップをさらに含む

ことを特徴とする請求の範囲第 1 6項に記載の画像処理方法。

1 8 . 前記混合比を基に、所望の他のオブジェクトと分離された前記前景ォブジェクトとを合成する合成ステップをさらに含む

1 9 . 時間積分効果を有する所定数の画素を有する撮像素子によって取得された所定数の画素データからなる画像データを画像処理し、現実世界では複数であるオブジェクトの前記画素データにおける混合状態を示す混合比を算出する画像処理用のプログラムであって、

前記複数のォブジェクトのうちの前景となる前景オブジェクトの動きを基に、連続する所定数のフレームの前記画素データであって、前記複数のオブジェクトが混合されてなる前記画素データである、対応する複数の混合画素データを抽出するとともに、前記複数のオブジェクトのうちの背景となる背景ォブジェクトの動きを基に、連続する前記所定数のフレームのうちの、前記混合画素データが存在するフレームとは異なるフレームから、前記混合画素データに対応し、前記背景オブジェクトからなる前記画素データである背景画素データを抽出する画素データ抽出ステップと、

抽出された前記混合画素データおよび前記背景画素データを基に、連続する前記所定数のフレームに対応する前記混合画素データおよび前記背景画素データの関係式を生成する関係式生成ステップと、

を含むことを特徴とするコンピュータが読み取り可能なプログラムが記録されている記録媒体。

2 0 . 前記画素データ抽出ステップにおいて、前記フレームにおける前記前景オブジェクトの動きの量に対応して、前記混合画素データが抽出される

ことを特徴とする請求の範囲第 1 9項に記載の記録媒体。

2 1 . 前記画素データ抽出ステップにおいて、前記フレームにおける前記背景オブジェク卜の動きの量に対応して、前記背景画素データが抽出される

ことを特徴とする請求の範囲第 1 9項に記載の記録媒体。

2 2 . 前記関係式生成ステップにおいて、前記混合比を最小自乗法により算出するための、前記混合画素データおよび前記背景画素データの前記関係式が生成される

ことを特徴とする請求の範囲第 1 9項に記載の記録媒体。

2 3 . 前記プログラムは、前記前景オブジェクトおよび前記背景オブジェクトの少なくとも一方の動きを検出する動き検出ステップをさらに含む

ことを特徴とする請求の範囲第 1 9項に記載の記録媒体。

2 4 . 前記プログラムは、前記混合画素データからなる混合領域、前記背景画素からなる背景領域、および前記前景オブジェクトに対応する前記画素データである前景画素データからなる前景領域を特定する領域特定ステップをさらに含むことを特徴とする請求の範囲第 1 9項に記載の記録媒体。 ' 2 5 . 前記プログラムは、前記混合比を基に、前記混合画素データから少なくとも前記前景オブジェクトを分離する分離ステツプをさらに含む

ことを特徴とする請求の範囲第 1 9項に記載の記録媒体。

2 6 . 前記プログラムは、分離された前記前景オブジェクトの動きボケの量を調整する動きボケ調整ステップをさらに含む

ことを特徴とする請求の範囲第 2 5項に記載の記録媒体。

2 7 . 前記プログラムは、前記混合比を基に、所望の他のオブジェクトと分離された前記前景オブジェタトとを合成する合成ステツプをさらに含む

ことを特徴とする請求の範囲第 2 5項に記載の記録媒体。

2 8 . 時間積分効果を有する所定数の画素を有する撮像素子によって取得された所定数の画素データからなる画像データを画像処理し、現実世界では複数であるオブジェクトの前記画素データにおける混合状態を示す混合比を算出するコンピュータに、

前記複数のォブジェクトのうちの前景となる前景オブジェクトの動きを基に、連続する所定数のフレームの前記画素データであって、前記複数のオブジェクトが混合されてなる前記画素データである、対応する複数の混合画素データを抽出するとともに、前記複数のオブジェクトのうちの背景となる背景ォブジェクトの動きを基に、連続する前記所定数のフレームのうちの、前記混合画素データが存在するフレームとは異なるフレームから、前記混合画素データに対応し、前記背景ォブジェクトからなる前記画素データである背景画素データを抽出する画素データ抽出ステップと、

を実行させるプログラム。

2 9 . 前記画素データ抽出ステップにおいて、前記フレームにおける前記前景オブジェクトの動きの量に対応して、前記混合画素データが抽出される

ことを特徴とする請求の範囲第 2 8項に記載のプログラム。

3 0 . 前記画素データ抽出ステップにおいて、前記フレームにおける前記背景オブジェクトの動きの量に対応して、前記背景画素データが抽出される

ことを特徴とする請求の範囲第 2 8項に記載のプログラム。

3 1 . 前記関係式生成ステップにおいて、前記混合比を最小自乗法により算出するための、前記混合画素データおよぴ前記背景画素データの前記関係式が生成される

ことを特徴とする請求の範囲第 2 8項に記載のプログラム。

3 2 . 前記前景ォブジェクトおよび前記背景オブジェクトの少なくとも一方の動きを検出する動き検出ステップをさらに含む

ことを特徴とする請求の範囲第 2 8項に記載のプログラム。

3 3 . 前記混合画素データからなる混合領域、前記背景画素からなる背景領域、および前記前景ォブジェクトに対応する前記画素データである前景画素データからなる前景領域を特定する領域特定ステップをさらに含む

ことを特徴とする請求の範囲第 2 8項に記載のプログラム。

3 4 . 前記混合比を基に、前記混合画素データから少なくとも前記前景ォプジエタトを分離する分離ステップをさらに含む

ことを特徴とする請求の範囲第 2 8項に記載のプログラム。

3 5 . 分離された前記前景オブジェクトの動きボケの量を調整する動きボケ調整ステップをさらに含む

ことを特徴とする請求の範囲第 3 4項に記載のプログラム。

3 6 . 前記混合比を基に、所望の他のオブジェクトと分離された前記前景ォブジェクトとを合成する合成ステップをさらに含む

ことを特徴とする請求の範囲第 3 4項に記載のプログラム。

3 7 . それぞれ時間積分効果を有する所定数の画素を有する撮像素子によって撮像された被写体画像を、所定数の画素データからなる画像データとして出力する撮像手段と、

現実世界では複数であるォプジェクトを含む前記画像データ内の前記複数のォブジェクトのうちの前景となる前景オブジェクトの動きを基に、連続する所定数のフレームの前記画素データであって、前記複数のオブジェクトが混合されてなる前記画素データである、対応する複数の混合画素データを抽出するとともに、前記複数のオブジェクトのうちの背景となる背景オブジェクトの動きを基に、連続する前記所定数のフレームのうちの、前記混合画素データが存在するフレームとは異なるフレームから、前記混合画素データに対応し、前記背景オブジェクトからなる前記画素データである背景画素データを抽出する画素データ抽出手段と、抽出された前記混合画素データおよび前記背景画素データを基に、連続する前記所定数のフレームに対応する前記混合画素データおよび前記背景画素データの関係式を生成する関係式生成手段と、

を含むことを特徴とする撮像装置。

3 8 . 前記画素データ抽出手段は、前記フレームにおける前記前景ォブジェクトの動きの量に対応して、前記混合画素データを抽出する

ことを特徴とする請求の範囲第 3 7項に記載の撮像装置。

3 9 . 前記画素データ抽出手段は、前記フレームにおける前記背景ォブジェクトの動きの量に対応して、前記背景画素データを抽出する

ことを特徴とする請求の範囲第 3 7項に記載の撮像装置。

4 0 . 前記関係式生成手段は、前記混合比を最小自乗法により算出するための、前記混合画素データおよび前記背景画素データの前記関係式を生成する

ことを特徴とする請求の範囲第 3 7項に記載の撮像装置。

4 1 . 前記前景オブジェクトおよび前記背景オブジェクトの少なくとも一方の動きを検出する動き検出手段をさらに含む

ことを特徴とする請求の範囲第 3 7項に記載の撮像装置。

4 2 . 前記混合画素データからなる混合領域、前記背景画素からなる背景領域、および前記前景ォブジクトに対応する前記画素データである前景画素データからなる前景領域を特定する領域特定手段をさらに含む

ことを特徴とする請求の範囲第 3 7項に記載の撮像装置。

4 3 . 前記混合比を基に、前記混合画素データから少なくとも前記前景ォブジエタトを分離する分離手段をさらに含む

ことを特徴とする請求の範囲第 3 7項に記載の撮像装置。

4 4 . 分離された前記前景オブジェクトの動きボケの量を調整する動きボケ調整手段をさらに含む

ことを特徴とする請求の範囲第 4 3項に記載の撮像装置。

4 5 . 前記混合比を基に、所望の他のオブジェクトと分離された前記前景ォプジェクトとを合成する合成手段をさらに含む

ことを特徴とする請求の範囲第 4 3項に記載の撮像装置。