JP4660979B2 - 画像処理装置および方法、記録媒体、並びにプログラム - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、画像処理装置および方法、記録媒体、並びにプログラムに関し、特に、センサにより検出した信号と現実世界との違いを考慮した画像処理装置および方法、記録媒体、並びにプログラムに関する。
【０００２】
【従来の技術】
入力画像を基に、より高解像度の画像を生成する処理の１つとして、クラス分類適応処理がある。クラス分類適応処理の例として、空間方向に、より高解像度の画像を生成する処理で使用される係数を予め生成し、生成した係数を基に、空間方向に、より高解像度の画像を生成する処理があげられる。
【０００３】
図１は、SD（Standard Definition（標準精細度））画像からHD（High Definition（高精細度））画像を生成するクラス分類適応処理において使用される係数を生成する、従来の画像処理装置の構成を示すブロック図である。
【０００４】
フレームメモリ１１は、HD画像である入力画像を、フレーム単位で記憶する。
フレームメモリ１１は、記憶しているHD画像を加重平均部１２および対応画素取得部１６に供給する。
【０００５】
加重平均部１２は、フレームメモリ１１に記憶されているHD画像を４分の１加重平均して、SD画像を生成し、生成したSD画像をフレームメモリ１３に供給する。
【０００６】
フレームメモリ１３は、加重平均部１２から供給されたSD画像をフレーム単位で記憶し、記憶しているSD画像をクラス分類部１４および予測タップ取得部１５に供給する。
【０００７】
クラス分類部１４は、クラスタップ取得部２１および波形分類部２２で構成され、フレームメモリ１３に記憶されているSD画像の、注目している画素である注目画素をクラス分類する。クラスタップ取得部２１は、フレームメモリ１３から、注目画素に対応するSD画像の画素である、所定の数のクラスタップを取得し、取得したクラスタップを波形分類部２２に供給する。
【０００８】
図２は、クラスタップ取得部２１が取得するクラスタップを説明する図である。クラスタップ取得部２１は、図２に示すように、所定の位置の１１個のクラスタップを取得する。
【０００９】
波形分類部２２は、クラスタップを基に、注目画素を複数のクラスのうちの１つのクラスに分類し、分類されたクラスに対応するクラス番号を予測タップ取得部１５に供給する。波形分類部２２は、１１個のクラスタップを基に、注目画素を、２０４８のクラスのうちの１つのクラスに分類する。
【００１０】
予測タップ取得部１５は、クラス番号を基に、フレームメモリ１３から分類されたクラスに対応する、SD画像の画素である、所定の数の予測タップを取得し、取得した予測タップおよびクラス番号を対応画素取得部１６に供給する。
【００１１】
図３は、予測タップ取得部１５が取得する予測タップを説明する図である。予測タップ取得部１５は、図３に示すように、所定の位置の９個の予測タップを取得する。
【００１２】
対応画素取得部１６は、予測タップおよびクラス番号を基に、フレームメモリ１１から、予測すべき画素値に対応するHD画像の画素を取得し、予測タップ、クラス番号、および取得した予測すべき画素値に対応するHD画像の画素を正規方程式生成部１７に供給する。
【００１３】
正規方程式生成部１７は、予測タップ、クラス番号、および取得した予測すべき画素値を基に、各クラスに対応し、予測タップおよび予測すべき画素値の関係に対応する正規方程式を生成し、各クラスに対応する、生成した正規方程式を係数計算部１８に供給する。
【００１４】
係数計算部１８は、正規方程式生成部１７から供給された正規方程式を解いて、各クラスに対応する係数セットを計算し、クラス番号と共に、計算した係数セットを係数セットメモリ１９に供給する。
【００１５】
係数セットメモリ１９は、クラス番号を基に、算出された係数セットをクラスに対応させて記憶する。
【００１６】
図４は、クラス分類適応処理の概略を説明する図である。クラス分類適応処理において、HD画像である教師画像から、４分の１加重平均の処理により、対応するSD画像を生成する。生成されたSD画像は、生徒画像と称する。
【００１７】
次に、HD画像である教師画像、および対応するSD画像である生徒画像を基に、SD画像からHD画像を生成するための係数セットが生成される。係数セットは、線形予測などにより、SD画像からHD画像を生成するための係数で構成される。
【００１８】
このように生成された係数セットおよびSD画像から、線形予測などにより、４倍密画像が生成される。係数セットおよび入力画像から、より高密度な画像などを生成する処理をマッピングとも称する。
【００１９】
生成された４倍密画像、および対応するHD画像を基に、SNRの比較、または目視による定性評価が行われる。
【００２０】
特定の教師画像、および対応する生徒画像から生成された係数セットは、特定の教師画像、および対応する生徒画像のセルフの係数セットと称する。セルフの係数セットを使用したマッピングは、セルフマッピングと称する。複数の他の教師画像、および対応する生徒画像から生成された係数セットは、クロスの係数セットと称する。
【００２１】
一方、静止している所定の背景の前で移動する前景である物体をビデオカメラで撮像して得られる画像には、物体の移動速度が比較的速い場合、動きボケが生じ、背景と前景の混ざり合いが生ずる。
【００２２】
従来のクラス分類適応処理においては、図５に示すように、前景、背景、並びに前景および背景の混ざり合いが生じている部分の全てに対して、以上のような学習の処理により、１つの係数セットが生成され、この係数セットを基に、マッピングの処理が実行される。
【００２３】
図６のフローチャートを参照して、SD画像からHD画像を生成する処理において使用される係数を生成する、従来の学習の処理を説明する。ステップＳ１１において、画像処理装置は、生徒画像に未処理の画素があるか否かを判定し、生徒画像に未処理の画素があると判定された場合、ステップＳ１２に進み、ラスタースキャン順に、生徒画像から注目画素を取得する。
【００２４】
ステップＳ１３において、クラス分類部１４のクラスタップ取得部２１は、フレームメモリ１３に記憶されている生徒画像から、注目画素に対応するクラスタップを取得する。ステップＳ１４において、クラス分類部１４の波形分類部２２は、クラスタップを基に、注目画素をクラス分類する。ステップＳ１５において、予測タップ取得部１５は、分類されたクラスを基に、フレームメモリ１３に記憶されている生徒画像から、注目画素に対応する予測タップを取得する。
【００２５】
ステップＳ１６において、対応画素取得部１６は、分類されたクラスを基に、フレームメモリ１１に記憶されている教師画像から、予測すべき画素値に対応する画素を取得する。
【００２６】
ステップＳ１７において、正規方程式生成部１７は、分類されたクラスを基に、クラス毎の行列に、予測タップおよび予測すべき画素値に対応する画素の画素値を足し込み、ステップＳ１１に戻り、画像処理装置は、未処理の画素があるか否かの判定を繰り返す。予測タップおよび予測すべき画素値に対応する画素の画素値を足し込まれるクラス毎の行列は、クラス毎の係数を計算するための正規方程式に対応する。
【００２７】
ステップＳ１１において、生徒画像に未処理の画素がないと判定された場合、ステップＳ１８に進み、正規方程式生成部１７は、予測タップおよび予測すべき画素値に対応する画素の画素値が設定された、クラス毎の行列を係数計算部１８に供給する。係数計算部１８は、予測タップおよび予測すべき画素値に対応する画素の画素値が設定された、クラス毎の行列を解いて、クラス毎の係数セットを計算する。
【００２８】
ステップＳ１９において、係数計算部１８は、計算されたクラス毎の係数を係数セットメモリ１９に出力する。係数セットメモリ１９は、クラス毎に係数セットを記憶し、処理は終了する。
【００２９】
図７は、クラス分類適応処理により、SD画像からHD画像を生成する従来の画像処理装置の構成を示すブロック図である。
【００３０】
フレームメモリ３１は、SD画像である入力画像を、フレーム単位で記憶する。
フレームメモリ３１は、記憶しているSD画像をマッピング部３２に供給する。
【００３１】
マッピング部３２に入力されたSD画像は、クラス分類部４１および予測タップ取得部４２に供給される。
【００３２】
クラス分類部４１は、クラスタップ取得部５１および波形分類部５２で構成され、フレームメモリ３１に記憶されているSD画像の、注目している画素である、注目画素をクラス分類する。クラスタップ取得部５１は、フレームメモリ３１から注目画素に対応する、所定の数のクラスタップを取得し、取得したクラスタップを波形分類部５２に供給する。
【００３３】
波形分類部５２は、クラスタップを基に、所定の数のクラスのうちの、１つのクラスに注目画素を分類し、分類されたクラスに対応するクラス番号を予測タップ取得部４２に供給する。
【００３４】
予測タップ取得部４２は、クラス番号を基に、フレームメモリ３１に記憶されている入力画像から、分類されたクラスに対応する、所定の数の予測タップを取得し、取得した予測タップおよびクラス番号を予測演算部４３に供給する。
【００３５】
予測演算部４３は、クラス番号を基に、係数セットメモリ３３に記憶されている係数セットから、クラスに対応する係数セットを取得する。予測演算部４３は、クラスに対応する係数セット、および予測タップを基に、線形予測により予測画像の画素値を予測する。予測演算部４３は、予測した画素値をフレームメモリ３４に供給する。
【００３６】
フレームメモリ３４は、予測演算部４３から供給された予測された画素値を記憶し、予測された画素値が設定されたHD画像を出力する。
【００３７】
図８は、入力画像の画素値、およびクラス分類適応処理により生成された出力画像の画素値を示す図である。図８に示すように、クラス分類適応処理により生成される画像は、SD画像の帯域制限で失われた波形を含む。その意味で、クラス分類適応処理による、より高解像度の画像の生成の処理は、解像度を創造していると言える。
【００３８】
図９のフローチャートを参照して、クラス分類適応処理を実行する画像処理装置による、SD画像からHD画像を生成する、従来の画像の創造の処理を説明する。
【００３９】
ステップＳ３１において、画像処理装置は、入力画像に未処理の画素があるか否かを判定し、入力画像に未処理の画素があると判定された場合、ステップＳ３２に進み、マッピング部３２は、係数セットメモリ３３に記憶されている係数セットを取得する。ステップＳ３３において、画像処理装置は、ラスタースキャン順に、入力画像から注目画素を取得する。
【００４０】
ステップＳ３４において、クラス分類部４１のクラスタップ取得部５１は、フレームメモリ３１に記憶されている入力画像から、注目画素に対応するクラスタップを取得する。ステップＳ３５において、クラス分類部４１の波形分類部５２は、クラスタップを基に、注目画素を１つのクラスにクラス分類する。
【００４１】
ステップＳ３６において、予測タップ取得部４２は、分類されたクラスを基に、フレームメモリ３１に記憶されている入力画像から、注目画素に対応する予測タップを取得する。
【００４２】
ステップＳ３７において、予測演算部４３は、分類されたクラスに対応する係数セット、および予測タップを基に、線形予測により、予測画像の画素値を予測する。
【００４３】
ステップＳ３８において、予測演算部４３は、予測された画素値をフレームメモリ３４に出力する。フレームメモリ３４は、予測演算部４３から供給された画素値を記憶する。手続きは、ステップＳ３１に戻り、未処理の画素があるか否かの判定を繰り返す。
【００４４】
ステップＳ３１において、入力画像に未処理の画素がないと判定された場合、ステップＳ３９に進み、フレームメモリ３４は、予測値が設定された、記憶している予測画像を出力して、処理は終了する。
【００４５】
また、入力画像をより解像度感を強調した画像に変換するため、エッジ強調の処理が利用される。エッジ強調の処理においても、以上で説明したクラス分類適応処理と同様に、同一の処理が画面全体に対して実行される。
【００４６】
【発明が解決しようとする課題】
静止している背景の前で物体が移動するとき、移動する物体の画像自身の混ざり合いによる動きボケのみならず、背景の画像と移動する物体の画像との混ざり合いが生じる。従来、背景の画像と移動する物体の画像との混ざり合いに対応して画像を処理することは、考えられていなかった。
【００４７】
本発明はこのような状況に鑑みてなされたものであり、背景の画像と移動する物体の画像との混ざり合いに対応して画像を処理することができるようにすることを目的とする。
【００４８】
【課題を解決するための手段】
本発明の画像処理装置は、入力画像データの注目フレームとその前後のフレームの対応する画素どうしの画素データの差分絶対値に基づいて、前景オブジェクトを構成する前景オブジェクト成分、および背景オブジェクトを構成する背景オブジェクト成分が混合されてなる混合領域、前景オブジェクト成分からなる前景領域、および背景オブジェクトを構成する背景オブジェクト成分からなる背景領域の一方により構成される非混合領域、混合領域の背景オブジェクト成分から前景オブジェクト成分に変化する領域であるカバードバックグラウンド領域、および、混合領域の前景オブジェクト成分から背景オブジェクト成分に変化する領域であるアンカバードバックグラウンド領域を特定し、特定結果に対応する領域特定情報を出力する領域特定手段を含み、領域特定手段は、注目フレームとその１つ前のフレームの対応する画素どうしの画素データの差分絶対値と、注目フレームとその１つ後のフレームの対応する画素どうしの画素データの差分絶対値が所定の閾値以下である場合、その画素を背景領域の画素と特定し、注目フレームとその１つ前のフレームの対応する画素どうしの画素データの差分絶対値と、注目フレームとその１つ後のフレームの対応する画素どうしの画素データの差分絶対値が所定の閾値より大きい場合、その画素を前景領域の画素と特定し、注目フレームとその１つ前のフレームの対応する画素どうしの画素データの差分絶対値が所定の閾値より大きく、注目フレームより１つ前のフレームと注目フレームより２つ前のフレームの対応する画素どうしの画素データの差分絶対値が所定の閾値以下である場合、その画素をカバードバックグラウンド領域の画素と特定し、注目フレームとその１つ後のフレームの対応する画素どうしの画素データの差分絶対値が所定の閾値より大きく、注目フレームより１つ後のフレームと注目フレームより２つ後のフレームの対応する画素どうしの画素データの差分絶対値が所定の閾値以下である場合、その画素をアンカバードバックグラウンド領域の画素と特定することを特徴とする。
【００５３】
本発明の画像処理方法は、入力画像データの注目フレームとその前後のフレームの対応する画素どうしの画素データの差分絶対値に基づいて、前景オブジェクトを構成する前景オブジェクト成分、および背景オブジェクトを構成する背景オブジェクト成分が混合されてなる混合領域、前景オブジェクト成分からなる前景領域、および背景オブジェクトを構成する背景オブジェクト成分からなる背景領域の一方により構成される非混合領域、混合領域の背景オブジェクト成分から前景オブジェクト成分に変化する領域であるカバードバックグラウンド領域、および、混合領域の前景オブジェクト成分から背景オブジェクト成分に変化する領域であるアンカバードバックグラウンド領域を特定し、特定結果に対応する領域特定情報を出力する領域特定ステップを含み、領域特定ステップでは、注目フレームとその１つ前のフレームの対応する画素どうしの画素データの差分絶対値と、注目フレームとその１つ後のフレームの対応する画素どうしの画素データの差分絶対値が所定の閾値以下である場合、その画素を背景領域の画素と特定し、注目フレームとその１つ前のフレームの対応する画素どうしの画素データの差分絶対値と、注目フレームとその１つ後のフレームの対応する画素どうしの画素データの差分絶対値が所定の閾値より大きい場合、その画素を前景領域の画素と特定し、注目フレームとその１つ前のフレームの対応する画素どうしの画素データの差分絶対値が所定の閾値より大きく、注目フレームより１つ前のフレームと注目フレームより２つ前のフレームの対応する画素どうしの画素データの差分絶対値が所定の閾値以下である場合、その画素をカバードバックグラウンド領域の画素と特定し、注目フレームとその１つ後のフレームの対応する画素どうしの画素データの差分絶対値が所定の閾値より大きく、注目フレームより１つ後のフレームと注目フレームより２つ後のフレームの対応する画素どうしの画素データの差分絶対値が所定の閾値以下である場合、その画素をアンカバードバックグラウンド領域の画素と特定することを特徴とする。
【００５８】
本発明の記録媒体のプログラムは、時間積分効果を有する所定数の画素を有する撮像素子によって取得された所定数の画素データからなる入力画像データを処理するコンピュータに、入力画像データの注目フレームとその前後のフレームの対応する画素どうしの画素データの差分絶対値に基づいて、前景オブジェクトを構成する前景オブジェクト成分、および背景オブジェクトを構成する背景オブジェクト成分が混合されてなる混合領域、前景オブジェクト成分からなる前景領域、および背景オブジェクトを構成する背景オブジェクト成分からなる背景領域の一方により構成される非混合領域、混合領域の背景オブジェクト成分から前景オブジェクト成分に変化する領域であるカバードバックグラウンド領域、および、混合領域の前景オブジェクト成分から背景オブジェクト成分に変化する領域であるアンカバードバックグラウンド領域を特定し、特定結果に対応する領域特定情報を出力する領域特定ステップを含み、領域特定ステップでは、注目フレームとその１つ前のフレームの対応する画素どうしの画素データの差分絶対値と、注目フレームとその１つ後のフレームの対応する画素どうしの画素データの差分絶対値が所定の閾値以下である場合、その画素を背景領域の画素と特定し、注目フレームとその１つ前のフレームの対応する画素どうしの画素データの差分絶対値と、注目フレームとその１つ後のフレームの対応する画素どうしの画素データの差分絶対値が所定の閾値より大きい場合、その画素を前景領域の画素と特定し、注目フレームとその１つ前のフレームの対応する画素どうしの画素データの差分絶対値が所定の閾値より大きく、注目フレームより１つ前のフレームと注目フレームより２つ前のフレームの対応する画素どうしの画素データの差分絶対値が所定の閾値以下である場合、その画素をカバードバックグラウンド領域の画素と特定し、注目フレームとその１つ後のフレームの対応する画素どうしの画素データの差分絶対値が所定の閾値より大きく、注目フレームより１つ後のフレームと注目フレームより２つ後のフレームの対応する画素どうしの画素データの差分絶対値が所定の閾値以下である場合、その画素をアンカバードバックグラウンド領域の画素と特定する処理を実行させるためのプログラムである。
【００６３】
本発明のプログラムは、時間積分効果を有する所定数の画素を有する撮像素子によって取得された所定数の画素データからなる入力画像データを処理するコンピュータに、入力画像データの注目フレームとその前後のフレームの対応する画素どうしの画素データの差分絶対値に基づいて、前景オブジェクトを構成する前景オブジェクト成分、および背景オブジェクトを構成する背景オブジェクト成分が混合されてなる混合領域、前景オブジェクト成分からなる前景領域、および背景オブジェクトを構成する背景オブジェクト成分からなる背景領域の一方により構成される非混合領域、混合領域の背景オブジェクト成分から前景オブジェクト成分に変化する領域であるカバードバックグラウンド領域、および、混合領域の前景オブジェクト成分から背景オブジェクト成分に変化する領域であるアンカバードバックグラウンド領域を特定し、特定結果に対応する領域特定情報を出力する領域特定ステップを含み、領域特定ステップでは、注目フレームとその１つ前のフレームの対応する画素どうしの画素データの差分絶対値と、注目フレームとその１つ後のフレームの対応する画素どうしの画素データの差分絶対値が所定の閾値以下である場合、その画素を背景領域の画素と特定し、注目フレームとその１つ前のフレームの対応する画素どうしの画素データの差分絶対値と、注目フレームとその１つ後のフレームの対応する画素どうしの画素データの差分絶対値が所定の閾値より大きい場合、その画素を前景領域の画素と特定し、注目フレームとその１つ前のフレームの対応する画素どうしの画素データの差分絶対値が所定の閾値より大きく、注目フレームより１つ前のフレームと注目フレームより２つ前のフレームの対応する画素どうしの画素データの差分絶対値が所定の閾値以下である場合、その画素をカバードバックグラウンド領域の画素と特定し、注目フレームとその１つ後のフレームの対応する画素どうしの画素データの差分絶対値が所定の閾値より大きく、注目フレームより１つ後のフレームと注目フレームより２つ後のフレームの対応する画素どうしの画素データの差分絶対値が所定の閾値以下である場合、その画素をアンカバードバックグラウンド領域の画素と特定する処理を実行させるプログラムである。
【００６８】
本発明の画像処理装置および方法、記録媒体、並びにプログラムにおいては、入力画像データの注目フレームとその前後のフレームの対応する画素どうしの画素データの差分絶対値に基づいて、前景オブジェクトを構成する前景オブジェクト成分、および背景オブジェクトを構成する背景オブジェクト成分が混合されてなる混合領域、前景オブジェクト成分からなる前景領域、および背景オブジェクトを構成する背景オブジェクト成分からなる背景領域の一方により構成される非混合領域、混合領域の背景オブジェクト成分から前景オブジェクト成分に変化する領域であるカバードバックグラウンド領域、および、混合領域の前景オブジェクト成分から背景オブジェクト成分に変化する領域であるアンカバードバックグラウンド領域が特定され、特定結果に対応する領域特定情報が出力される。具体的には、注目フレームとその１つ前のフレームの対応する画素どうしの画素データの差分絶対値と、注目フレームとその１つ後のフレームの対応する画素どうしの画素データの差分絶対値が所定の閾値以下である場合、その画素が背景領域の画素と特定され、注目フレームとその１つ前のフレームの対応する画素どうしの画素データの差分絶対値と、注目フレームとその１つ後のフレームの対応する画素どうしの画素データの差分絶対値が所定の閾値より大きい場合、その画素が前景領域の画素と特定され、注目フレームとその１つ前のフレームの対応する画素どうしの画素データの差分絶対値が所定の閾値より大きく、注目フレームより１つ前のフレームと注目フレームより２つ前のフレームの対応する画素どうしの画素データの差分絶対値が所定の閾値以下である場合、その画素がカバードバックグラウンド領域の画素と特定され、注目フレームとその１つ後のフレームの対応する画素どうしの画素データの差分絶対値が所定の閾値より大きく、注目フレームより１つ後のフレームと注目フレームより２つ後のフレームの対応する画素どうしの画素データの差分絶対値が所定の閾値以下である場合、その画素がアンカバードバックグラウンド領域の画素と特定される。
【００６９】
【発明の実施の形態】
図１０は、本発明に係る画像処理装置の一実施の形態の構成を示すブロック図である。CPU（Central Processing Unit）７１は、ROM（Read Only Memory）７２、または記憶部７８に記憶されているプログラムに従って各種の処理を実行する。RAM（Random Access Memory）７３には、CPU７１が実行するプログラムやデータなどが適宜記憶される。これらのCPU７１、ROM７２、およびRAM７３は、バス７４により相互に接続されている。
【００７０】
CPU７１にはまた、バス７４を介して入出力インタフェース７５が接続されている。入出力インタフェース７５には、キーボード、マウス、マイクロホンなどよりなる入力部７６、ディスプレイ、スピーカなどよりなる出力部７７が接続されている。CPU７１は、入力部７６から入力される指令に対応して各種の処理を実行する。そして、CPU７１は、処理の結果得られた画像や音声等を出力部７７に出力する。
【００７１】
入出力インタフェース７５に接続されている記憶部７８は、例えばハードディスクなどで構成され、CPU７１が実行するプログラムや各種のデータを記憶する。通信部７９は、インターネット、その他のネットワークを介して外部の装置と通信する。この例の場合、通信部７９はセンサの出力を取り込む取得部として働く。
【００７２】
また、通信部７９を介してプログラムを取得し、記憶部７８に記憶してもよい。
【００７３】
入出力インタフェース７５に接続されているドライブ８０は、磁気ディスク９１、光ディスク９２、光磁気ディスク９３、または半導体メモリ９４などが装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記憶部７８に転送され、記憶される。
【００７４】
図１１は、画像処理装置の機能の構成を示すブロック図である。
【００７５】
なお、画像処理装置の各機能をハードウェアで実現するか、ソフトウェアで実現するかは問わない。つまり、本明細書の各ブロック図は、ハードウェアのブロック図と考えても、ソフトウェアによる機能ブロック図と考えても良い。
【００７６】
ここで、画像処理装置に入力される入力画像には、動きボケが含まれている。
動きボケとは、撮像の対象となる、現実世界におけるオブジェクトの動きと、センサの撮像の特性とにより生じる、動いているオブジェクトに対応する画像に含まれている歪みをいう。
【００７７】
この明細書では、撮像の対象となる、現実世界におけるオブジェクトに対応する画像を、画像オブジェクトと称する。
【００７８】
画像処理装置に供給された入力画像は、オブジェクト抽出部１０１、領域特定部１０３、および領域処理部１０４に供給される。
【００７９】
オブジェクト抽出部１０１は、入力画像に含まれる前景のオブジェクトに対応する画像オブジェクトを粗く抽出して、抽出した画像オブジェクトを動き検出部１０２に供給する。オブジェクト抽出部１０１は、例えば、入力画像に含まれる前景のオブジェクトに対応する画像オブジェクトの輪郭を検出することで、前景のオブジェクトに対応する画像オブジェクトを粗く抽出する。
【００８０】
オブジェクト抽出部１０１は、入力画像に含まれる背景のオブジェクトに対応する画像オブジェクトを粗く抽出して、抽出した画像オブジェクトを動き検出部１０２に供給する。オブジェクト抽出部１０１は、例えば、入力画像と、抽出された前景のオブジェクトに対応する画像オブジェクトとの差から、背景のオブジェクトに対応する画像オブジェクトを粗く抽出する。
【００８１】
また、例えば、オブジェクト抽出部１０１は、内部に設けられている背景メモリに記憶されている背景の画像と、入力画像との差から、前景のオブジェクトに対応する画像オブジェクト、および背景のオブジェクトに対応する画像オブジェクトを粗く抽出するようにしてもよい。
【００８２】
動き検出部１０２は、例えば、ブロックマッチング法、勾配法、位相相関法、およびペルリカーシブ法などの手法により、粗く抽出された前景のオブジェクトに対応する画像オブジェクトの動きベクトルを算出して、算出した動きベクトルおよび動きベクトルの位置情報（動きベクトルに対応する画素の位置を特定する情報）を領域特定部１０３に供給する。
【００８３】
動き検出部１０２が出力する動きベクトルには、動き量vに対応する情報が含まれている。
【００８４】
また、例えば、動き検出部１０２は、画像オブジェクトの画素を特定する画素位置情報と共に、画像オブジェクト毎の動きベクトルを領域特定部１０３に出力するようにしてもよい。
【００８５】
動き量vは、動いているオブジェクトに対応する画像の位置の変化を画素間隔を単位として表す値である。例えば、前景に対応するオブジェクトの画像が、あるフレームを基準として次のフレームにおいて４画素分離れた位置に表示されるように移動しているとき、前景に対応するオブジェクトの画像の動き量vは、４とされる。
【００８６】
領域特定部１０３は、入力された画像の画素のそれぞれを、前景領域、背景領域、または混合領域のいずれかに特定し、画素毎に前景領域、背景領域、または混合領域のいずれかに属するかを示す情報（以下、領域情報と称する）を領域処理部１０４に供給する。
【００８７】
領域処理部１０４は、領域特定部１０３から供給された領域情報を基に、前景領域、背景領域、または混合領域毎に、入力画像を分割し、分割された入力画像毎に画像処理を実行する。例えば、領域処理部１０４は、前景領域、背景領域、または混合領域毎に、入力画像を分割し、分割された入力画像毎に、より高解像度の画像を生成するクラス分類適応処理で使用される係数を生成する。
【００８８】
例えば、領域処理部１０４は、前景領域、背景領域、または混合領域毎に、入力画像を分割し、分割された入力画像毎にクラス分類適応処理を適用して、より高解像度の画像を創造する。
【００８９】
または、例えば、領域処理部１０４は、前景領域、背景領域、または混合領域毎に、入力画像を分割し、分割された入力画像毎に、それぞれ異なる係数を使用した、エッジ強調の度合いの異なるエッジ強調の処理を適用する。
【００９０】
次に、図１２乃至図１８を参照して、画像処理装置に供給される入力画像について説明する。
【００９１】
図１２は、センサによる撮像を説明する図である。センサは、例えば、固体撮像素子であるCCD（Charge-Coupled Device）エリアセンサを備えたCCDビデオカメラなどで構成される。現実世界における、前景に対応するオブジェクトは、現実世界における、背景に対応するオブジェクトと、センサとの間を、例えば、図中の左側から右側に水平に移動する。
【００９２】
センサは、前景に対応するオブジェクトを、背景に対応するオブジェクトと共に撮像する。センサは、撮像した画像を１フレーム単位で出力する。例えば、センサは、１秒間に３０フレームから成る画像を出力する。センサの露光時間は、１／３０秒とすることができる。露光時間は、センサが入力された光の電荷への変換を開始してから、入力された光の電荷への変換を終了するまでの期間である。以下、露光時間をシャッタ時間とも称する。
【００９３】
図１３は、画素の配置を説明する図である。図１３中において、Ａ乃至Ｉは、個々の画素を示す。画素は、画像に対応する平面上に配置されている。１つの画素に対応する１つの検出素子は、センサ上に配置されている。センサが画像を撮像するとき、１つの検出素子は、画像を構成する１つの画素に対応する画素値を出力する。例えば、検出素子のＸ方向の位置は、画像上の横方向の位置に対応し、検出素子のＹ方向の位置は、画像上の縦方向の位置に対応する。
【００９４】
図１４に示すように、例えば、CCDである検出素子は、シャッタ時間に対応する期間、入力された光を電荷に変換して、変換された電荷を蓄積する。電荷の量は、入力された光の強さと、光が入力されている時間にほぼ比例する。検出素子は、シャッタ時間に対応する期間において、入力された光から変換された電荷を、既に蓄積されている電荷に加えていく。すなわち、検出素子は、シャッタ時間に対応する期間、入力される光を積分して、積分された光に対応する量の電荷を蓄積する。検出素子は、時間に対して、積分効果があるとも言える。
【００９５】
検出素子に蓄積された電荷は、図示せぬ回路により、電圧値に変換され、電圧値は更にデジタルデータなどの画素値に変換されて出力される。従って、センサから出力される個々の画素値は、前景または背景に対応するオブジェクトの空間的に広がりを有するある部分を、シャッタ時間について積分した結果である、１次元の空間に射影された値を有する。
【００９６】
画像処理装置は、このようなセンサの蓄積の動作により生ずる、異なる性質を有する領域を特定し、特定された領域毎に、領域の性質に対応する処理を実行する。
【００９７】
図１５は、動いている前景に対応するオブジェクトと、静止している背景に対応するオブジェクトとを撮像して得られる画像を説明する図である。図１５（Ａ）は、動きを伴う前景に対応するオブジェクトと、静止している背景に対応するオブジェクトとを撮像して得られる画像を示している。図１５（Ａ）に示す例において、前景に対応するオブジェクトは、画面に対して水平に左から右に動いている。
【００９８】
図１５（Ｂ）は、図１５（Ａ）に示す画像の１つのラインに対応する画素値を時間方向に展開したモデル図である。図１５（Ｂ）の横方向は、図１５（Ａ）の空間方向Ｘに対応している。
【００９９】
背景領域の画素は、背景のオブジェクトに対応する画像の成分（以下、背景の成分とも称する）のみから、その画素値が構成されている。前景領域の画素は、前景のオブジェクトに対応する画像の成分（以下、前景の成分とも称する）のみから、その画素値が構成されている。
【０１００】
混合領域の画素は、背景の成分、および前景の成分から、その画素値が構成されている。混合領域は、背景の成分、および前景の成分から、その画素値が構成されているので、歪み領域ともいえる。混合領域は、更に、カバードバックグラウンド領域およびアンカバードバックグラウンド領域に分類される。
【０１０１】
カバードバックグラウンド領域は、前景領域に対して、前景のオブジェクトの進行方向の前端部に対応する位置の混合領域であり、時間の経過に対応して背景成分が前景に覆い隠される領域をいう。
【０１０２】
これに対して、アンカバードバックグラウンド領域は、前景領域に対して、前景のオブジェクトの進行方向の後端部に対応する位置の混合領域であり、時間の経過に対応して背景成分が現れる領域をいう。
【０１０３】
このように、前景領域、背景領域、またはカバードバックグラウンド領域若しくはアンカバードバックグラウンド領域を含む画像が、オブジェクト抽出部１０１、領域特定部１０３、および領域処理部１０４に入力画像として入力される。
【０１０４】
図１６は、以上のような、背景領域、前景領域、混合領域、カバードバックグラウンド領域、およびアンカバードバックグラウンド領域を説明する図である。図１５に示す画像に対応する場合、背景領域は、静止部分であり、前景領域は、動き部分であり、混合領域のカバードバックグラウンド領域は、背景から前景に変化する部分であり、混合領域のアンカバードバックグラウンド領域は、前景から背景に変化する部分である。
【０１０５】
図１７は、静止している前景に対応するオブジェクトおよび静止している背景に対応するオブジェクトを撮像した画像における、隣接して１列に並んでいる画素の画素値を時間方向に展開したモデル図である。例えば、隣接して１列に並んでいる画素として、画面の１つのライン上に並んでいる画素を選択することができる。
【０１０６】
図１７に示すF01乃至F04の画素値は、静止している前景のオブジェクトに対応する画素の画素値である。図１７に示すB01乃至B04の画素値は、静止している背景のオブジェクトに対応する画素の画素値である。
【０１０７】
図１７における縦方向は、図中の上から下に向かって時間が経過する。図１７中の矩形の上辺の位置は、センサが入力された光の電荷への変換を開始する時刻に対応し、図１７中の矩形の下辺の位置は、センサが入力された光の電荷への変換を終了する時刻に対応する。すなわち、図１７中の矩形の上辺から下辺までの距離は、シャッタ時間に対応する。
【０１０８】
以下において、シャッタ時間とフレーム間隔とが同一である場合を例に説明する。
【０１０９】
図１７における横方向は、図１５で説明した空間方向Xに対応する。より具体的には、図１７に示す例において、図１７中の”F01”と記載された矩形の左辺から”B04”と記載された矩形の右辺までの距離は、画素のピッチの８倍、すなわち、連続している８つの画素の間隔に対応する。
【０１１０】
前景のオブジェクトおよび背景のオブジェクトが静止している場合、シャッタ時間に対応する期間において、センサに入力される光は変化しない。
【０１１１】
ここで、シャッタ時間に対応する期間を２つ以上の同じ長さの期間に分割する。例えば、仮想分割数を４とすると、図１７に示すモデル図は、図２０に示すモデルとして表すことができる。仮想分割数は、前景に対応するオブジェクトのシャッタ時間内での動き量vなどに対応して設定される。例えば、４である動き量vに対応して、仮想分割数は、４とされ、シャッタ時間に対応する期間は４つに分割される。
【０１１２】
図中の最も上の行は、シャッタが開いて最初の、分割された期間に対応する。
図中の上から２番目の行は、シャッタが開いて２番目の、分割された期間に対応する。図中の上から３番目の行は、シャッタが開いて３番目の、分割された期間に対応する。図中の上から４番目の行は、シャッタが開いて４番目の、分割された期間に対応する。
【０１１３】
以下、動き量vに対応して分割されたシャッタ時間をシャッタ時間/vとも称する。
【０１１４】
前景に対応するオブジェクトが静止しているとき、センサに入力される光は変化しないので、前景の成分F01/vは、画素値F01を仮想分割数で除した値に等しい。同様に、前景に対応するオブジェクトが静止しているとき、前景の成分F02/vは、画素値F02を仮想分割数で除した値に等しく、前景の成分F03/vは、画素値F03を仮想分割数で除した値に等しく、前景の成分F04/vは、画素値F04を仮想分割数で除した値に等しい。
【０１１５】
背景に対応するオブジェクトが静止しているとき、センサに入力される光は変化しないので、背景の成分B01/vは、画素値B01を仮想分割数で除した値に等しい。同様に、背景に対応するオブジェクトが静止しているとき、背景の成分B02/vは、画素値B02を仮想分割数で除した値に等しく、B03/vは、画素値B03を仮想分割数で除した値に等しく、B04/vは、画素値B04を仮想分割数で除した値に等しい。
【０１１６】
すなわち、前景に対応するオブジェクトが静止している場合、シャッタ時間に対応する期間において、センサに入力される前景のオブジェクトに対応する光が変化しないので、シャッタが開いて最初の、シャッタ時間/vに対応する前景の成分F01/vと、シャッタが開いて２番目の、シャッタ時間/vに対応する前景の成分F01/vと、シャッタが開いて３番目の、シャッタ時間/vに対応する前景の成分F01/vと、シャッタが開いて４番目の、シャッタ時間/vに対応する前景の成分F01/vとは、同じ値となる。F02/v乃至F04/vも、F01/vと同様の関係を有する。
【０１１７】
背景に対応するオブジェクトが静止している場合、シャッタ時間に対応する期間において、センサに入力される背景のオブジェクトに対応する光は変化しないので、シャッタが開いて最初の、シャッタ時間/vに対応する背景の成分B01/vと、シャッタが開いて２番目の、シャッタ時間/vに対応する背景の成分B01/vと、シャッタが開いて３番目の、シャッタ時間/vに対応する背景の成分B01/vと、シャッタが開いて４番目の、シャッタ時間/vに対応する背景の成分B01/vとは、同じ値となる。B02/v乃至B04/vも、同様の関係を有する。
【０１１８】
次に、前景に対応するオブジェクトが移動し、背景に対応するオブジェクトが静止している場合について説明する。
【０１１９】
図１９は、前景に対応するオブジェクトが図中の右側に向かって移動する場合の、カバードバックグラウンド領域を含む、１つのライン上の画素の画素値を時間方向に展開したモデル図である。図１９において、前景の動き量vは、４である。１フレームは短い時間なので、前景に対応するオブジェクトが剛体であり、等速で移動していると仮定することができる。図１９において、前景に対応するオブジェクトの画像は、あるフレームを基準として次のフレームにおいて４画素分右側に表示されるように移動する。
【０１２０】
図１９において、最も左側の画素乃至左から４番目の画素は、前景領域に属する。図１９において、左から５番目乃至左から７番目の画素は、カバードバックグラウンド領域である混合領域に属する。図１９において、最も右側の画素は、背景領域に属する。
【０１２１】
前景に対応するオブジェクトが時間の経過と共に背景に対応するオブジェクトを覆い隠すように移動しているので、カバードバックグラウンド領域に属する画素の画素値に含まれる成分は、シャッタ時間に対応する期間のある時点で、背景の成分から、前景の成分に替わる。
【０１２２】
例えば、図１９中に太線枠を付した画素値Mは、式（１）で表される。
【０１２３】
M=B02/v+B02/v+F07/v+F06/v （１）
【０１２４】
例えば、左から５番目の画素は、１つのシャッタ時間/vに対応する背景の成分を含み、３つのシャッタ時間/vに対応する前景の成分を含むので、左から５番目の画素の混合比αは、1/4である。左から６番目の画素は、２つのシャッタ時間/vに対応する背景の成分を含み、２つのシャッタ時間/vに対応する前景の成分を含むので、左から６番目の画素の混合比αは、1/2である。左から７番目の画素は、３つのシャッタ時間/vに対応する背景の成分を含み、１つのシャッタ時間/vに対応する前景の成分を含むので、左から７番目の画素の混合比αは、3/4である。
【０１２５】
前景に対応するオブジェクトが、剛体であり、前景の画像が次のフレームにおいて４画素右側に表示されるように等速で移動すると仮定できるので、例えば、図１９中の左から４番目の画素の、シャッタが開いて最初の、シャッタ時間/vの前景の成分F07/vは、図１９中の左から５番目の画素の、シャッタが開いて２番目のシャッタ時間/vに対応する前景の成分に等しい。同様に、前景の成分F07/vは、図１９中の左から６番目の画素の、シャッタが開いて３番目のシャッタ時間/vに対応する前景の成分と、図１９中の左から７番目の画素の、シャッタが開いて４番目のシャッタ時間/vに対応する前景の成分とに、それぞれ等しい。
【０１２６】
前景に対応するオブジェクトが、剛体であり、前景の画像が次のフレームにおいて４画素右側に表示されるように等速で移動すると仮定できるので、例えば、図１９中の左から３番目の画素の、シャッタが開いて最初のシャッタ時間/vの前景の成分F06/vは、図１９中の左から４番目の画素の、シャッタが開いて２番目のシャッタ時間/vに対応する前景の成分に等しい。同様に、前景の成分F06/vは、図１９中の左から５番目の画素の、シャッタが開いて３番目のシャッタ時間/vに対応する前景の成分と、図１９中の左から６番目の画素の、シャッタが開いて４番目のシャッタ時間/vに対応する前景の成分とに、それぞれ等しい。
【０１２７】
前景に対応するオブジェクトが、剛体であり、前景の画像が次のフレームにおいて４画素右側に表示されるように等速で移動すると仮定できるので、例えば、図１９中の左から２番目の画素の、シャッタが開いて最初のシャッタ時間/vの前景の成分F05/vは、図１９中の左から３番目の画素の、シャッタが開いて２番目のシャッタ時間/vのに対応する前景の成分に等しい。同様に、前景の成分F05/vは、図１９中の左から４番目の画素の、シャッタが開いて３番目のシャッタ時間/vに対応する前景の成分と、図１９中の左から５番目の画素の、シャッタが開いて４番目のシャッタ時間/vに対応する前景の成分とに、それぞれ等しい。
【０１２８】
前景に対応するオブジェクトが、剛体であり、前景の画像が次のフレームにおいて４画素右側に表示されるように等速で移動すると仮定できるので、例えば、図１９中の最も左側の画素の、シャッタが開いて最初のシャッタ時間/vの前景の成分F04/vは、図１９中の左から２番目の画素の、シャッタが開いて２番目のシャッタ時間/vに対応する前景の成分に等しい。同様に、前景の成分F04/vは、図１９中の左から３番目の画素の、シャッタが開いて３番目のシャッタ時間/vに対応する前景の成分と、図１９中の左から４番目の画素の、シャッタが開いて４番目のシャッタ時間/vに対応する前景の成分とに、それぞれ等しい。
【０１２９】
動いているオブジェクトに対応する前景の領域は、このように動きボケを含むので、歪み領域とも言える。
【０１３０】
図２０は、前景が図中の右側に向かって移動する場合の、アンカバードバックグラウンド領域を含む、１つのライン上の画素の画素値を時間方向に展開したモデル図である。図２０において、前景の動き量vは、４である。１フレームは短い時間なので、前景に対応するオブジェクトが剛体であり、等速で移動していると仮定することができる。図２０において、前景に対応するオブジェクトの画像は、あるフレームを基準として次のフレームにおいて４画素分右側に移動する。
【０１３１】
図２０において、最も左側の画素乃至左から４番目の画素は、背景領域に属する。図２０において、左から５番目乃至左から７番目の画素は、アンカバードバックグラウンドである混合領域に属する。図２０において、最も右側の画素は、前景領域に属する。
【０１３２】
背景に対応するオブジェクトを覆っていた前景に対応するオブジェクトが時間の経過と共に背景に対応するオブジェクトの前から取り除かれるように移動しているので、アンカバードバックグラウンド領域に属する画素の画素値に含まれる成分は、シャッタ時間に対応する期間のある時点で、前景の成分から、背景の成分に替わる。
【０１３３】
例えば、図２０中に太線枠を付した画素値M'は、式（２）で表される。
【０１３４】
M'=F02/v+F01/v+B26/v+B26/v （２）
【０１３５】
例えば、左から５番目の画素は、３つのシャッタ時間/vに対応する背景の成分を含み、１つのシャッタ時間/vに対応する前景の成分を含むので、左から５番目の画素の混合比αは、3/4である。左から６番目の画素は、２つのシャッタ時間/vに対応する背景の成分を含み、２つのシャッタ時間/vに対応する前景の成分を含むので、左から６番目の画素の混合比αは、1/2である。左から７番目の画素は、１つのシャッタ時間/vに対応する背景の成分を含み、３つのシャッタ時間/vに対応する前景の成分を含むので、左から７番目の画素の混合比αは、1/4である。
【０１３６】
式（１）および式（２）をより一般化すると、画素値Mは、式（３）で表される。
【０１３７】
【数１】

ここで、αは、混合比である。Ｂは、背景の画素値であり、Fi/vは、前景の成分である。
【０１３８】
前景に対応するオブジェクトが剛体であり、等速で動くと仮定でき、かつ、動き量vが４であるので、例えば、図２０中の左から５番目の画素の、シャッタが開いて最初の、シャッタ時間/vの前景の成分F01/vは、図２０中の左から６番目の画素の、シャッタが開いて２番目のシャッタ時間/vに対応する前景の成分に等しい。同様に、F01/vは、図２０中の左から７番目の画素の、シャッタが開いて３番目のシャッタ時間/vに対応する前景の成分と、図２０中の左から８番目の画素の、シャッタが開いて４番目のシャッタ時間/vに対応する前景の成分とに、それぞれ等しい。
【０１３９】
前景に対応するオブジェクトが剛体であり、等速で動くと仮定でき、かつ、仮想分割数が４であるので、例えば、図２０中の左から６番目の画素の、シャッタが開いて最初の、シャッタ時間/vの前景の成分F02/vは、図２０中の左から７番目の画素の、シャッタが開いて２番目のシャッタ時間/vに対応する前景の成分に等しい。同様に、前景の成分F02/vは、図２０中の左から８番目の画素の、シャッタが開いて３番目のシャッタ時間/vに対応する前景の成分に等しい。
【０１４０】
前景に対応するオブジェクトが剛体であり、等速で動くと仮定でき、かつ、動き量vが４であるので、例えば、図２０中の左から７番目の画素の、シャッタが開いて最初の、シャッタ時間/vの前景の成分F03/vは、図２０中の左から８番目の画素の、シャッタが開いて２番目のシャッタ時間/vに対応する前景の成分に等しい。
【０１４１】
図１８乃至図２０の説明において、仮想分割数は、４であるとして説明したが、仮想分割数は、動き量vに対応する。動き量vは、一般に、前景に対応するオブジェクトの移動速度に対応する。例えば、前景に対応するオブジェクトが、あるフレームを基準として次のフレームにおいて４画素分右側に表示されるように移動しているとき、動き量vは、４とされる。動き量vに対応し、仮想分割数は、４とされる。同様に、例えば、前景に対応するオブジェクトが、あるフレームを基準として次のフレームにおいて６画素分左側に表示されるように移動しているとき、動き量vは、６とされ、仮想分割数は、６とされる。
【０１４２】
図２１および図２２に、以上で説明した、前景領域、背景領域、カバードバックグラウンド領域若しくはアンカバードバックグラウンド領域から成る混合領域と、分割されたシャッタ時間に対応する前景の成分および背景の成分との関係を示す。
【０１４３】
図２１は、静止している背景の前を移動しているオブジェクトに対応する前景を含む画像から、前景領域、背景領域、および混合領域の画素を抽出した例を示す。図２１に示す例において、前景に対応するオブジェクトは、画面に対して水平に移動している。
【０１４４】
フレーム#n+1は、フレーム#nの次のフレームであり、フレーム#n+2は、フレーム#n+1の次のフレームである。
【０１４５】
フレーム#n乃至フレーム#n+2のいずれかから抽出した、前景領域、背景領域、および混合領域の画素を抽出して、動き量vを４として、抽出された画素の画素値を時間方向に展開したモデルを図２２に示す。
【０１４６】
前景領域の画素値は、前景に対応するオブジェクトが移動するので、シャッタ時間/vの期間に対応する、４つの異なる前景の成分から構成される。例えば、図２２に示す前景領域の画素のうち最も左側に位置する画素は、F01/v,F02/v,F03/v、およびF04/vから構成される。すなわち、前景領域の画素は、動きボケを含んでいる。
【０１４７】
背景に対応するオブジェクトが静止しているので、シャッタ時間に対応する期間において、センサに入力される背景に対応する光は変化しない。この場合、背景領域の画素値は、動きボケを含まない。
【０１４８】
カバードバックグラウンド領域またはアンカバードバックグラウンド領域から成る混合領域に属する画素の画素値は、前景の成分と、背景の成分とから構成される。
【０１４９】
次に、オブジェクトに対応する画像が動いているとき、複数のフレームにおける、隣接して１列に並んでいる画素であって、フレーム上で同一の位置の画素の画素値を時間方向に展開したモデルについて説明する。例えば、オブジェクトに対応する画像が画面に対して水平に動いているとき、隣接して１列に並んでいる画素として、画面の１つのライン上に並んでいる画素を選択することができる。
【０１５０】
図２３は、静止している背景に対応するオブジェクトを撮像した画像の３つのフレームの、隣接して１列に並んでいる画素であって、フレーム上で同一の位置の画素の画素値を時間方向に展開したモデル図である。フレーム#nは、フレーム#n-1の次のフレームであり、フレーム#n+1は、フレーム#nの次のフレームである。他のフレームも同様に称する。
【０１５１】
図２３に示すB01乃至B12の画素値は、静止している背景のオブジェクトに対応する画素の画素値である。背景に対応するオブジェクトが静止しているので、フレーム#n-1乃至フレームn+1において、対応する画素の画素値は、変化しない。例えば、フレーム#n-1におけるB05の画素値を有する画素の位置に対応する、フレーム#nにおける画素、およびフレーム#n+1における画素は、それぞれ、B05の画素値を有する。
【０１５２】
図２４は、静止している背景に対応するオブジェクトと共に図中の右側に移動する前景に対応するオブジェクトを撮像した画像の３つのフレームの、隣接して１列に並んでいる画素であって、フレーム上で同一の位置の画素の画素値を時間方向に展開したモデル図である。図２４に示すモデルは、カバードバックグラウンド領域を含む。
【０１５３】
図２４において、前景に対応するオブジェクトが、剛体であり、等速で移動すると仮定でき、前景の画像が次のフレームにおいて４画素右側に表示されるように移動するので、前景の動き量vは、４であり、仮想分割数は、４である。
【０１５４】
例えば、図２４中のフレーム#n-1の最も左側の画素の、シャッタが開いて最初のシャッタ時間/vの前景の成分は、F12/vとなり、図２４中の左から２番目の画素の、シャッタが開いて２番目のシャッタ時間/vの前景の成分も、F12/vとなる。図２４中の左から３番目の画素の、シャッタが開いて３番目のシャッタ時間/vの前景の成分、および図２４中の左から４番目の画素の、シャッタが開いて４番目のシャッタ時間/vの前景の成分は、F12/vとなる。
【０１５５】
図２４中のフレーム#n-1の最も左側の画素の、シャッタが開いて２番目のシャッタ時間/vの前景の成分は、F11/vとなり、図２４中の左から２番目の画素の、シャッタが開いて３番目のシャッタ時間/vの前景の成分も、F11/vとなる。図２４中の左から３番目の画素の、シャッタが開いて４番目のシャッタ時間/vの前景の成分は、F11/vとなる。
【０１５６】
図２４中のフレーム#n-1の最も左側の画素の、シャッタが開いて３番目のシャッタ時間/vの前景の成分は、F10/vとなり、図２４中の左から２番目の画素の、シャッタが開いて４番目のシャッタ時間/vの前景の成分も、F10/vとなる。図２４中のフレーム#n-1の最も左側の画素の、シャッタが開いて４番目のシャッタ時間/vの前景の成分は、F09/vとなる。
【０１５７】
背景に対応するオブジェクトが静止しているので、図２４中のフレーム#n-1の左から２番目の画素の、シャッタが開いて最初のシャッタ時間/vの背景の成分は、B01/vとなる。図２４中のフレーム#n-1の左から３番目の画素の、シャッタが開いて最初および２番目のシャッタ時間/vの背景の成分は、B02/vとなる。図２４中のフレーム#n-1の左から４番目の画素の、シャッタが開いて最初乃至３番目のシャッタ時間/vの背景の成分は、B03/vとなる。
【０１５８】
図２４中のフレーム#n-1において、最も左側の画素は、前景領域に属し、左側から２番目乃至４番目の画素は、カバードバックグラウンド領域である混合領域に属する。
【０１５９】
図２４中のフレーム#n-1の左から５番目の画素乃至１２番目の画素は、背景領域に属し、その画素値は、それぞれ、B04乃至B11となる。
【０１６０】
図２４中のフレーム#nの左から１番目の画素乃至５番目の画素は、前景領域に属する。フレーム#nの前景領域における、シャッタ時間/vの前景の成分は、F05/v乃至F12/vのいずれかである。
【０１６１】
前景に対応するオブジェクトが、剛体であり、等速で移動すると仮定でき、前景の画像が次のフレームにおいて４画素右側に表示されるように移動するので、図２４中のフレーム#nの左から５番目の画素の、シャッタが開いて最初のシャッタ時間/vの前景の成分は、F12/vとなり、図２４中の左から６番目の画素の、シャッタが開いて２番目のシャッタ時間/vの前景の成分も、F12/vとなる。図２４中の左から７番目の画素の、シャッタが開いて３番目のシャッタ時間/vの前景の成分、および図２４中の左から８番目の画素の、シャッタが開いて４番目のシャッタ時間/vの前景の成分は、F12/vとなる。
【０１６２】
図２４中のフレーム#nの左から５番目の画素の、シャッタが開いて２番目のシャッタ時間/vの前景の成分は、F11/vとなり、図２４中の左から６番目の画素の、シャッタが開いて３番目のシャッタ時間/vの前景の成分も、F11/vとなる。図２４中の左から７番目の画素の、シャッタが開いて４番目のシャッタ時間/vの前景の成分は、F11/vとなる。
【０１６３】
図２４中のフレーム#nの左から５番目の画素の、シャッタが開いて３番目のシャッタ時間/vの前景の成分は、F10/vとなり、図２４中の左から６番目の画素の、シャッタが開いて４番目のシャッタ時間/vの前景の成分も、F10/vとなる。図２４中のフレーム#nの左から５番目の画素の、シャッタが開いて４番目のシャッタ時間/vの前景の成分は、F09/vとなる。
【０１６４】
背景に対応するオブジェクトが静止しているので、図２４中のフレーム#nの左から６番目の画素の、シャッタが開いて最初のシャッタ時間/vの背景の成分は、B05/vとなる。図２４中のフレーム#nの左から７番目の画素の、シャッタが開いて最初および２番目のシャッタ時間/vの背景の成分は、B06/vとなる。図２４中のフレーム#nの左から８番目の画素の、シャッタが開いて最初乃至３番目の、シャッタ時間/vの背景の成分は、B07/vとなる。
【０１６５】
図２４中のフレーム#nにおいて、左側から６番目乃至８番目の画素は、カバードバックグラウンド領域である混合領域に属する。
【０１６６】
図２４中のフレーム#nの左から９番目の画素乃至１２番目の画素は、背景領域に属し、画素値は、それぞれ、B08乃至B11となる。
【０１６７】
図２４中のフレーム#n+1の左から１番目の画素乃至９番目の画素は、前景領域に属する。フレーム#n+1の前景領域における、シャッタ時間/vの前景の成分は、F01/v乃至F12/vのいずれかである。
【０１６８】
前景に対応するオブジェクトが、剛体であり、等速で移動すると仮定でき、前景の画像が次のフレームにおいて４画素右側に表示されるように移動するので、図２４中のフレーム#n+1の左から９番目の画素の、シャッタが開いて最初のシャッタ時間/vの前景の成分は、F12/vとなり、図２４中の左から１０番目の画素の、シャッタが開いて２番目のシャッタ時間/vの前景の成分も、F12/vとなる。図２４中の左から１１番目の画素の、シャッタが開いて３番目のシャッタ時間/vの前景の成分、および図２４中の左から１２番目の画素の、シャッタが開いて４番目のシャッタ時間/vの前景の成分は、F12/vとなる。
【０１６９】
図２４中のフレーム#n+1の左から９番目の画素の、シャッタが開いて２番目のシャッタ時間/vの期間の前景の成分は、F11/vとなり、図２４中の左から１０番目の画素の、シャッタが開いて３番目のシャッタ時間/vの前景の成分も、F11/vとなる。図２４中の左から１１番目の画素の、シャッタが開いて４番目の、シャッタ時間/vの前景の成分は、F11/vとなる。
【０１７０】
図２４中のフレーム#n+1の左から９番目の画素の、シャッタが開いて３番目の、シャッタ時間/vの前景の成分は、F10/vとなり、図２４中の左から１０番目の画素の、シャッタが開いて４番目のシャッタ時間/vの前景の成分も、F10/vとなる。図２４中のフレーム#n+1の左から９番目の画素の、シャッタが開いて４番目のシャッタ時間/vの前景の成分は、F09/vとなる。
【０１７１】
背景に対応するオブジェクトが静止しているので、図２４中のフレーム#n+1の左から１０番目の画素の、シャッタが開いて最初のシャッタ時間/vの背景の成分は、B09/vとなる。図２４中のフレーム#n+1の左から１１番目の画素の、シャッタが開いて最初および２番目のシャッタ時間/vの背景の成分は、B10/vとなる。図２４中のフレーム#n+1の左から１２番目の画素の、シャッタが開いて最初乃至３番目の、シャッタ時間/vの背景の成分は、B11/vとなる。
【０１７２】
図２４中のフレーム#n+1において、左側から１０番目乃至１２番目の画素は、カバードバックグラウンド領域である混合領域に対応する。
【０１７３】
図２５は、静止している背景と共に図中の右側に移動するオブジェクトに対応する前景を撮像した画像の３つのフレームの、隣接して１列に並んでいる画素であって、フレーム上で同一の位置の画素の画素値を時間方向に展開したモデル図である。図２５において、アンカバードバックグラウンド領域が含まれている。
【０１７４】
図２５において、前景に対応するオブジェクトは、剛体であり、かつ等速で移動していると仮定できる。前景に対応するオブジェクトが、次のフレームにおいて４画素分右側に表示されるように移動しているので、動き量vは、４である。
【０１７５】
例えば、図２５中のフレーム#n-1の最も左側の画素の、シャッタが開いて最初の、シャッタ時間/vの前景の成分は、F13/vとなり、図２５中の左から２番目の画素の、シャッタが開いて２番目のシャッタ時間/vの前景の成分も、F13/vとなる。図２５中の左から３番目の画素の、シャッタが開いて３番目のシャッタ時間/vの前景の成分、および図２５中の左から４番目の画素の、シャッタが開いて４番目のシャッタ時間/vの前景の成分は、F13/vとなる。
【０１７６】
図２５中のフレーム#n-1の左から２番目の画素の、シャッタが開いて最初のシャッタ時間/vの前景の成分は、F14/vとなり、図２５中の左から３番目の画素の、シャッタが開いて２番目のシャッタ時間/vの前景の成分も、F14/vとなる。図２５中の左から３番目の画素の、シャッタが開いて最初の、シャッタ時間/vの前景の成分は、F15/vとなる。
【０１７７】
背景に対応するオブジェクトが静止しているので、図２５中のフレーム#n-1の最も左側の画素の、シャッタが開いて２番目乃至４番目の、シャッタ時間/vの背景の成分は、B25/vとなる。図２５中のフレーム#n-1の左から２番目の画素の、シャッタが開いて３番目および４番目の、シャッタ時間/vの背景の成分は、B26/vとなる。図２５中のフレーム#n-1の左から３番目の画素の、シャッタが開いて４番目のシャッタ時間/vの背景の成分は、B27/vとなる。
【０１７８】
図２５中のフレーム#n-1において、最も左側の画素乃至３番目の画素は、アンカバードバックグラウンド領域である混合領域に属する。
【０１７９】
図２５中のフレーム#n-1の左から４番目の画素乃至１２番目の画素は、前景領域に属する。フレームの前景の成分は、F13/v乃至F24/vのいずれかである。
【０１８０】
図２５中のフレーム#nの最も左側の画素乃至左から４番目の画素は、背景領域に属し、画素値は、それぞれ、B25乃至B28となる。
【０１８１】
前景に対応するオブジェクトが、剛体であり、等速で移動すると仮定でき、前景の画像が次のフレームにおいて４画素右側に表示されるように移動するので、図２５中のフレーム#nの左から５番目の画素の、シャッタが開いて最初のシャッタ時間/vの前景の成分は、F13/vとなり、図２５中の左から６番目の画素の、シャッタが開いて２番目のシャッタ時間/vの前景の成分も、F13/vとなる。図２５中の左から７番目の画素の、シャッタが開いて３番目のシャッタ時間/vの前景の成分、および図２５中の左から８番目の画素の、シャッタが開いて４番目のシャッタ時間/vの前景の成分は、F13/vとなる。
【０１８２】
図２５中のフレーム#nの左から６番目の画素の、シャッタが開いて最初のシャッタ時間/vの前景の成分は、F14/vとなり、図２５中の左から７番目の画素の、シャッタが開いて２番目のシャッタ時間/vの前景の成分も、F14/vとなる。図２５中の左から８番目の画素の、シャッタが開いて最初のシャッタ時間/vの前景の成分は、F15/vとなる。
【０１８３】
背景に対応するオブジェクトが静止しているので、図２５中のフレーム#nの左から５番目の画素の、シャッタが開いて２番目乃至４番目のシャッタ時間/vの背景の成分は、B29/vとなる。図２５中のフレーム#nの左から６番目の画素の、シャッタが開いて３番目および４番目のシャッタ時間/vの背景の成分は、B30/vとなる。図２５中のフレーム#nの左から７番目の画素の、シャッタが開いて４番目のシャッタ時間/vの背景の成分は、B31/vとなる。
【０１８４】
図２５中のフレーム#nにおいて、左から５番目の画素乃至７番目の画素は、アンカバードバックグラウンド領域である混合領域に属する。
【０１８５】
図２５中のフレーム#nの左から８番目の画素乃至１２番目の画素は、前景領域に属する。フレーム#nの前景領域における、シャッタ時間/vの期間に対応する値は、F13/v乃至F20/vのいずれかである。
【０１８６】
図２５中のフレーム#n+1の最も左側の画素乃至左から８番目の画素は、背景領域に属し、画素値は、それぞれ、B25乃至B32となる。
【０１８７】
前景に対応するオブジェクトが、剛体であり、等速で移動すると仮定でき、前景の画像が次のフレームにおいて４画素右側に表示されるように移動するので、図２５中のフレーム#n+1の左から９番目の画素の、シャッタが開いて最初のシャッタ時間/vの前景の成分は、F13/vとなり、図２５中の左から１０番目の画素の、シャッタが開いて２番目のシャッタ時間/vの前景の成分も、F13/vとなる。図２５中の左から１１番目の画素の、シャッタが開いて３番目のシャッタ時間/vの前景の成分、および図２５中の左から１２番目の画素の、シャッタが開いて４番目のシャッタ時間/vの前景の成分は、F13/vとなる。
【０１８８】
図２５中のフレーム#n+1の左から１０番目の画素の、シャッタが開いて最初のシャッタ時間/vの前景の成分は、F14/vとなり、図２５中の左から１１番目の画素の、シャッタが開いて２番目のシャッタ時間/vの前景の成分も、F14/vとなる。図２５中の左から１２番目の画素の、シャッタが開いて最初のシャッタ時間/vの前景の成分は、F15/vとなる。
【０１８９】
背景に対応するオブジェクトが静止しているので、図２５中のフレーム#n+1の左から９番目の画素の、シャッタが開いて２番目乃至４番目の、シャッタ時間/vの背景の成分は、B33/vとなる。図２５中のフレーム#n+1の左から１０番目の画素の、シャッタが開いて３番目および４番目のシャッタ時間/vの背景の成分は、B34/vとなる。図２５中のフレーム#n+1の左から１１番目の画素の、シャッタが開いて４番目のシャッタ時間/vの背景の成分は、B35/vとなる。
【０１９０】
図２５中のフレーム#n+1において、左から９番目の画素乃至１１番目の画素は、アンカバードバックグラウンド領域である混合領域に属する。
【０１９１】
図２５中のフレーム#n+1の左から１２番目の画素は、前景領域に属する。フレーム#n+1の前景領域における、シャッタ時間/vの前景の成分は、F13/v乃至F16/vのいずれかである。
【０１９２】
図２６は、前景領域、背景領域、カバードバックグラウンド領域、およびアンカバードバックグラウンド領域に属する画素毎に分割された画像と、画素の画素値を時間方向に展開したモデル図との対応を示す図である。
【０１９３】
図２６に示すように、領域特定部１０３は、入力画像の前景領域、背景領域、カバードバックグラウンド領域、およびアンカバードバックグラウンド領域を特定し、領域処理部１０４は、特定された前景領域、背景領域、カバードバックグラウンド領域、およびアンカバードバックグラウンド領域毎に、入力画像を分割して、分割された、前景領域、背景領域、カバードバックグラウンド領域、またはアンカバードバックグラウンド領域の画像の性質に対応して、入力画像を処理する。
【０１９４】
図２７は、前景領域、背景領域、および混合領域に分割された画像の例を示す図である。領域処理部１０４は、領域特定部１０３から供給された、前景領域、背景領域、および混合領域を示す領域情報を基に、前景領域、背景領域、または混合領域毎に入力画像を分割して、分割された入力画像を処理する。
【０１９５】
図２８は、本発明に係る画像処理装置の画像の処理を説明するフローチャートである。
【０１９６】
ステップＳ１０１において、領域特定部１０３は、動き検出部１０２から供給された動きベクトルおよびその位置情報を基に、入力画像の前景領域、背景領域、カバードバックグラウンド領域、およびアンカバードバックグラウンド領域を特定する。領域特定の処理の詳細は、後述する。
【０１９７】
ステップＳ１０２において、領域処理部１０４は、入力画像を、特定された前景領域、背景領域、カバードバックグラウンド領域、およびアンカバードバックグラウンド領域に分割して、分割された、前景領域、背景領域、カバードバックグラウンド領域、およびアンカバードバックグラウンド領域毎に、画像の処理を実行して、処理は終了する。領域処理部１０４が実行する画像処理の詳細は、後述する。
【０１９８】
このように、本発明に係る画像処理装置は、入力画像を、前景領域、背景領域、カバードバックグラウンド領域、およびアンカバードバックグラウンド領域に分割し、分割された、前景領域、背景領域、カバードバックグラウンド領域、およびアンカバードバックグラウンド領域毎に画像処理を実行する。
【０１９９】
図２９は、領域特定部１０３の構成の一例を示すブロック図である。図２９に構成を示す領域特定部１０３は、動きベクトルを利用しない。フレームメモリ２０１は、入力された画像をフレーム単位で記憶する。フレームメモリ２０１は、処理の対象がフレーム#nであるとき、フレーム#nの２つ前のフレームであるフレーム#n-2、フレーム#nの１つ前のフレームであるフレーム#n-1、フレーム#n、フレーム#nの１つ後のフレームであるフレーム#n+1、およびフレーム#nの２つ後のフレームであるフレーム#n+2を記憶する。
【０２００】
静動判定部２０２−１は、フレーム#nの領域特定の対象である画素の画像上の位置と同一の位置にあるフレーム#n+2の画素の画素値、およびフレーム#nの領域特定の対象である画素の画像上の位置と同一の位置にあるフレーム#n+1の画素の画素値をフレームメモリ２０１から読み出して、読み出した画素値の差の絶対値を算出する。静動判定部２０２−１は、フレーム#n+2の画素値とフレーム#n+1の画素値との差の絶対値が、予め設定している閾値Thより大きいか否かを判定し、差の絶対値が閾値Thより大きいと判定された場合、動きを示す静動判定を領域判定部２０３−１に供給する。フレーム#n+2の画素の画素値とフレーム#n+1の画素の画素値との差の絶対値が閾値Th以下であると判定された場合、静動判定部２０２−１は、静止を示す静動判定を領域判定部２０３−１に供給する。
【０２０１】
静動判定部２０２−２は、フレーム#nの領域特定の対象である画素の画像上の位置と同一の位置にあるフレーム#n+1の画素の画素値、およびフレーム#nの対象となる画素の画素値をフレームメモリ２０１から読み出して、画素値の差の絶対値を算出する。静動判定部２０２−２は、フレーム#n+1の画素値とフレーム#nの画素値との差の絶対値が、予め設定している閾値Thより大きいか否かを判定し、画素値の差の絶対値が、閾値Thより大きいと判定された場合、動きを示す静動判定を領域判定部２０３−１および領域判定部２０３−２に供給する。フレーム#n+1の画素の画素値とフレーム#nの画素の画素値との差の絶対値が、閾値Th以下であると判定された場合、静動判定部２０２−２は、静止を示す静動判定を領域判定部２０３−１および領域判定部２０３−２に供給する。
【０２０２】
静動判定部２０２−３は、フレーム#nの領域特定の対象である画素の画素値、およびフレーム#nの領域特定の対象である画素の画像上の位置と同一の位置にあるフレーム#n-1の画素の画素値をフレームメモリ２０１から読み出して、画素値の差の絶対値を算出する。静動判定部２０２−３は、フレーム#nの画素値とフレーム#n-1の画素値との差の絶対値が、予め設定している閾値Thより大きいか否かを判定し、画素値の差の絶対値が、閾値Thより大きいと判定された場合、動きを示す静動判定を領域判定部２０３−２および領域判定部２０３−３に供給する。フレーム#nの画素の画素値とフレーム#n-1の画素の画素値との差の絶対値が、閾値Th以下であると判定された場合、静動判定部２０２−３は、静止を示す静動判定を領域判定部２０３−２および領域判定部２０３−３に供給する。
【０２０３】
静動判定部２０２−４は、フレーム#nの領域特定の対象である画素の画像上の位置と同一の位置にあるフレーム#n-1の画素の画素値、およびフレーム#nの領域特定の対象である画素の画像上の位置と同一の位置にあるフレーム#n-2の画素の画素値をフレームメモリ２０１から読み出して、画素値の差の絶対値を算出する。静動判定部２０２−４は、フレーム#n-1の画素値とフレーム#n-2の画素値との差の絶対値が、予め設定している閾値Thより大きいか否かを判定し、画素値の差の絶対値が、閾値Thより大きいと判定された場合、動きを示す静動判定を領域判定部２０３−３に供給する。フレーム#n-1の画素の画素値とフレーム#n-2の画素の画素値との差の絶対値が、閾値Th以下であると判定された場合、静動判定部２０２−４は、静止を示す静動判定を領域判定部２０３−３に供給する。
【０２０４】
領域判定部２０３−１は、静動判定部２０２−１から供給された静動判定が静止を示し、かつ、静動判定部２０２−２から供給された静動判定が動きを示しているとき、フレーム#nにおける領域特定の対象である画素がアンカバードバックグラウンド領域に属すると判定し、領域の判定される画素に対応するアンカバードバックグラウンド領域判定フラグに、アンカバードバックグラウンド領域に属することを示す”１”を設定する。
【０２０５】
領域判定部２０３−１は、静動判定部２０２−１から供給された静動判定が動きを示すか、または、静動判定部２０２−２から供給された静動判定が静止を示しているとき、フレーム#nにおける領域特定の対象である画素がアンカバードバックグラウンド領域に属しないと判定し、領域の判定される画素に対応するアンカバードバックグラウンド領域判定フラグに、アンカバードバックグラウンド領域に属しないことを示す”０”を設定する。
【０２０６】
領域判定部２０３−１は、このように”１”または”０”が設定されたアンカバードバックグラウンド領域判定フラグを判定フラグ格納フレームメモリ２０４に供給する。
【０２０７】
領域判定部２０３−２は、静動判定部２０２−２から供給された静動判定が静止を示し、かつ、静動判定部２０２−３から供給された静動判定が静止を示しているとき、フレーム#nにおける領域特定の対象である画素が静止領域に属すると判定し、領域の判定される画素に対応する静止領域判定フラグに、静止領域に属することを示す”１”を設定する。
【０２０８】
領域判定部２０３−２は、静動判定部２０２−２から供給された静動判定が動きを示すか、または、静動判定部２０２−３から供給された静動判定が動きを示しているとき、フレーム#nにおける領域特定の対象である画素が静止領域に属しないと判定し、領域の判定される画素に対応する静止領域判定フラグに、静止領域に属しないことを示す”０”を設定する。
【０２０９】
領域判定部２０３−２は、このように”１”または”０”が設定された静止領域判定フラグを判定フラグ格納フレームメモリ２０４に供給する。
【０２１０】
領域判定部２０３−２は、静動判定部２０２−２から供給された静動判定が動きを示し、かつ、静動判定部２０２−３から供給された静動判定が動きを示しているとき、フレーム#nにおける領域特定の対象である画素が動き領域に属すると判定し、領域の判定される画素に対応する動き領域判定フラグに、動き領域に属することを示す”１”を設定する。
【０２１１】
領域判定部２０３−２は、静動判定部２０２−２から供給された静動判定が静止を示すか、または、静動判定部２０２−３から供給された静動判定が静止を示しているとき、フレーム#nにおける領域特定の対象である画素が動き領域に属しないと判定し、領域の判定される画素に対応する動き領域判定フラグに、動き領域に属しないことを示す”０”を設定する。
【０２１２】
領域判定部２０３−２は、このように”１”または”０”が設定された動き領域判定フラグを判定フラグ格納フレームメモリ２０４に供給する。
【０２１３】
領域判定部２０３−３は、静動判定部２０２−３から供給された静動判定が動きを示し、かつ、静動判定部２０２−４から供給された静動判定が静止を示しているとき、フレーム#nにおける領域特定の対象である画素がカバードバックグラウンド領域に属すると判定し、領域の判定される画素に対応するカバードバックグラウンド領域判定フラグに、カバードバックグラウンド領域に属することを示す”１”を設定する。
【０２１４】
領域判定部２０３−３は、静動判定部２０２−３から供給された静動判定が静止を示すか、または、静動判定部２０２−４から供給された静動判定が動きを示しているとき、フレーム#nにおける領域特定の対象である画素がカバードバックグラウンド領域に属しないと判定し、領域の判定される画素に対応するカバードバックグラウンド領域判定フラグに、カバードバックグラウンド領域に属しないことを示す”０”を設定する。
【０２１５】
領域判定部２０３−３は、このように”１”または”０”が設定されたカバードバックグラウンド領域判定フラグを判定フラグ格納フレームメモリ２０４に供給する。
【０２１６】
判定フラグ格納フレームメモリ２０４は、領域判定部２０３−１から供給されたアンカバードバックグラウンド領域判定フラグ、領域判定部２０３−２から供給された静止領域判定フラグ、領域判定部２０３−２から供給された動き領域判定フラグ、および領域判定部２０３−３から供給されたカバードバックグラウンド領域判定フラグをそれぞれ記憶する。
【０２１７】
判定フラグ格納フレームメモリ２０４は、記憶しているアンカバードバックグラウンド領域判定フラグ、静止領域判定フラグ、動き領域判定フラグ、およびカバードバックグラウンド領域判定フラグを合成部２０５に供給する。合成部２０５は、判定フラグ格納フレームメモリ２０４から供給された、アンカバードバックグラウンド領域判定フラグ、静止領域判定フラグ、動き領域判定フラグ、およびカバードバックグラウンド領域判定フラグを基に、各画素が、アンカバードバックグラウンド領域、静止領域、動き領域、およびカバードバックグラウンド領域のいずれかに属することを示す領域情報を生成し、判定フラグ格納フレームメモリ２０６に供給する。
【０２１８】
判定フラグ格納フレームメモリ２０６は、合成部２０５から供給された領域情報を記憶すると共に、記憶している領域情報を出力する。
【０２１９】
次に、領域特定部１０３の処理の例を図３０乃至図３４を参照して説明する。
【０２２０】
前景に対応するオブジェクトが移動しているとき、オブジェクトに対応する画像の画面上の位置は、フレーム毎に変化する。図３０に示すように、フレーム#nにおいて、Yn(x,y)で示される位置に位置するオブジェクトに対応する画像は、次のフレームであるフレーム#n+1において、Yn+1(x,y)に位置する。
【０２２１】
前景のオブジェクトに対応する画像の動き方向に隣接して１列に並ぶ画素の画素値を時間方向に展開したモデル図を図３１に示す。例えば、前景のオブジェクトに対応する画像の動き方向が画面に対して水平であるとき、図３１におけるモデル図は、１つのライン上の隣接する画素の画素値を時間方向に展開したモデルを示す。
【０２２２】
図３１において、フレーム#nにおけるラインは、フレーム#n+1におけるラインと同一である。
【０２２３】
フレーム#nにおいて、左から２番目の画素乃至１３番目の画素に含まれているオブジェクトに対応する前景の成分は、フレーム#n+1において、左から６番目乃至１７番目の画素に含まれる。
【０２２４】
フレーム#nにおいて、カバードバックグラウンド領域に属する画素は、左から１１番目乃至１３番目の画素であり、アンカバードバックグラウンド領域に属する画素は、左から２番目乃至４番目の画素である。フレーム#n+1において、カバードバックグラウンド領域に属する画素は、左から１５番目乃至１７番目の画素であり、アンカバードバックグラウンド領域に属する画素は、左から６番目乃至８番目の画素である。
【０２２５】
図３１に示す例において、フレーム#nに含まれる前景の成分が、フレーム#n+1において４画素移動しているので、動き量vは、４である。仮想分割数は、動き量vに対応し、４である。
【０２２６】
次に、注目しているフレームの前後における混合領域に属する画素の画素値の変化について説明する。
【０２２７】
図３２に示す、背景が静止し、前景の動き量vが４であるフレーム#nにおいて、カバードバックグラウンド領域に属する画素は、左から１５番目乃至１７番目の画素である。動き量vが４であるので、１つ前のフレーム#n-1において、左から１５番目乃至１７番目の画素は、背景の成分のみを含み、背景領域に属する。また、更に１つ前のフレーム#n-2において、左から１５番目乃至１７番目の画素は、背景の成分のみを含み、背景領域に属する。
【０２２８】
ここで、背景に対応するオブジェクトが静止しているので、フレーム#n-1の左から１５番目の画素の画素値は、フレーム#n-2の左から１５番目の画素の画素値から変化しない。同様に、フレーム#n-1の左から１６番目の画素の画素値は、フレーム#n-2の左から１６番目の画素の画素値から変化せず、フレーム#n-1の左から１７番目の画素の画素値は、フレーム#n-2の左から１７番目の画素の画素値から変化しない。
【０２２９】
すなわち、フレーム#nにおけるカバードバックグラウンド領域に属する画素に対応する、フレーム#n-1およびフレーム#n-2の画素は、背景の成分のみから成り、画素値が変化しないので、その差の絶対値は、ほぼ０の値となる。従って、フレーム#nにおける混合領域に属する画素に対応する、フレーム#n-1およびフレーム#n-2の画素に対する静動判定は、静動判定部２０２−４により、静止と判定される。
【０２３０】
フレーム#nにおけるカバードバックグラウンド領域に属する画素は、前景の成分を含むので、フレーム#n-1における背景の成分のみから成る場合と、画素値が異なる。従って、フレーム#nにおける混合領域に属する画素、および対応するフレーム#n-1の画素に対する静動判定は、静動判定部２０２−３により、動きと判定される。
【０２３１】
このように、領域判定部２０３−３は、静動判定部２０２−３から動きを示す静動判定の結果が供給され、静動判定部２０２−４から静止を示す静動判定の結果が供給されたとき、対応する画素がカバードバックグラウンド領域に属すると判定する。
【０２３２】
図３３に示す、背景が静止し、前景の動き量vが４であるフレーム#nにおいて、アンカバードバックグラウンド領域に含まれる画素は、左から２番目乃至４番目の画素である。動き量vが４であるので、１つ後のフレーム#n+1において、左から２番目乃至４番目の画素は、背景の成分のみを含み、背景領域に属する。また、更に１つ後のフレーム#n+2において、左から２番目乃至４番目の画素は、背景の成分のみを含み、背景領域に属する。
【０２３３】
ここで、背景に対応するオブジェクトが静止しているので、フレーム#n+2の左から２番目の画素の画素値は、フレーム#n+1の左から２番目の画素の画素値から変化しない。同様に、フレーム#n+2の左から３番目の画素の画素値は、フレーム#n+1の左から３番目の画素の画素値から変化せず、フレーム#n+2の左から４番目の画素の画素値は、フレーム#n+1の左から４番目の画素の画素値から変化しない。
【０２３４】
すなわち、フレーム#nにおけるアンカバードバックグラウンド領域に属する画素に対応する、フレーム#n+1およびフレーム#n+2の画素は、背景の成分のみから成り、画素値が変化しないので、その差の絶対値は、ほぼ０の値となる。従って、フレーム#nにおける混合領域に属する画素に対応する、フレーム#n+1およびフレーム#n+2の画素に対する静動判定は、静動判定部２０２−１により、静止と判定される。
【０２３５】
フレーム#nにおけるアンカバードバックグラウンド領域に属する画素は、前景の成分を含むので、フレーム#n+1における背景の成分のみから成る場合と、画素値が異なる。従って、フレーム#nにおける混合領域に属する画素、および対応するフレーム#n+1の画素に対する静動判定は、静動判定部２０２−２により、動きと判定される。
【０２３６】
このように、領域判定部２０３−１は、静動判定部２０２−２から動きを示す静動判定の結果が供給され、静動判定部２０２−１から静止を示す静動判定の結果が供給されたとき、対応する画素がアンカバードバックグラウンド領域に属すると判定する。
【０２３７】
図３４は、フレーム#nにおける領域特定部１０３の判定条件を示す図である。
フレーム#nの判定の対象となる画素の画像上の位置と同一の位置にあるフレーム#n-2の画素と、フレーム#nの判定の対象となる画素の画像上の位置と同一の位置にあるフレーム#n-1の画素とが静止と判定され、フレーム#nの判定の対象となる画素の画像上の位置と同一の位置にあるフレーム#n-1の画素と、フレーム#nの画素とが動きと判定されたとき、領域特定部１０３は、フレーム#nの判定の対象となる画素がカバードバックグラウンド領域に属すると判定する。
【０２３８】
フレーム#nの判定の対象となる画素の画像上の位置と同一の位置にあるフレーム#n-1の画素と、フレーム#nの画素とが静止と判定され、フレーム#nの画素と、フレーム#nの判定の対象となる画素の画像上の位置と同一の位置にあるフレーム#n+1の画素とが静止と判定されたとき、領域特定部１０３は、フレーム#nの判定の対象となる画素が静止領域に属すると判定する。
【０２３９】
フレーム#nの判定の対象となる画素の画像上の位置と同一の位置にあるフレーム#n-1の画素と、フレーム#nの画素とが動きと判定され、フレーム#nの画素と、フレーム#nの判定の対象となる画素の画像上の位置と同一の位置にあるフレーム#n+1の画素とが動きと判定されたとき、領域特定部１０３は、フレーム#nの判定の対象となる画素が動き領域に属すると判定する。
【０２４０】
フレーム#nの画素と、フレーム#nの判定の対象となる画素の画像上の位置と同一の位置にあるフレーム#n+1の画素とが動きと判定され、フレーム#nの判定の対象となる画素の画像上の位置と同一の位置にあるフレーム#n+1の画素と、フレーム#nの判定の対象となる画素の画像上の位置と同一の位置にあるフレーム#n+2の画素とが静止と判定されたとき、領域特定部１０３は、フレーム#nの判定の対象となる画素がアンカバードバックグラウンド領域に属すると判定する。
【０２４１】
図３５は、領域特定部１０３の領域の特定の結果の例を示す図である。図３５（Ａ）において、カバードバックグラウンド領域に属すると判定された画素は、白で表示されている。図３５（Ｂ）において、アンカバードバックグラウンド領域に属すると判定された画素は、白で表示されている。
【０２４２】
図３５（Ｃ）において、動き領域に属すると判定された画素は、白で表示されている。図３５（Ｄ）において、静止領域に属すると判定された画素は、白で表示されている。
【０２４３】
図３６は、判定フラグ格納フレームメモリ２０６が出力する領域情報の内、混合領域を示す領域情報を画像として示す図である。図３６において、カバードバックグラウンド領域またはアンカバードバックグラウンド領域に属すると判定された画素、すなわち混合領域に属すると判定された画素は、白で表示されている。判定フラグ格納フレームメモリ２０６が出力する混合領域を示す領域情報は、混合領域、および前景領域内のテクスチャの無い部分に囲まれたテクスチャの有る部分を示す。
【０２４４】
次に、図３７のフローチャートを参照して、領域特定部１０３の領域特定の処理を説明する。ステップＳ２０１において、フレームメモリ２０１は、判定の対象となるフレーム#nを含むフレーム#n-2乃至フレーム#n+2の画像を取得する。
【０２４５】
ステップＳ２０２において、静動判定部２０２−３は、フレーム#n-1の画素とフレーム#nの同一位置の画素とで、静止か否かを判定し、静止と判定された場合、ステップＳ２０３に進み、静動判定部２０２−２は、フレーム#nの画素とフレーム#n+1の同一位置の画素とで、静止か否かを判定する。
【０２４６】
ステップＳ２０３において、フレーム#nの画素とフレーム#n+1の同一位置の画素とで、静止と判定された場合、ステップＳ２０４に進み、領域判定部２０３−２は、領域の判定される画素に対応する静止領域判定フラグに、静止領域に属することを示す”１”を設定する。領域判定部２０３−２は、静止領域判定フラグを判定フラグ格納フレームメモリ２０４に供給し、手続きは、ステップＳ２０５に進む。
【０２４７】
ステップＳ２０２において、フレーム#n-1の画素とフレーム#nの同一位置の画素とで、動きと判定された場合、または、ステップＳ２０３において、フレーム#nの画素とフレーム#n+1の同一位置の画素とで、動きと判定された場合、フレーム#nの画素が静止領域には属さないので、ステップＳ２０４の処理はスキップされ、手続きは、ステップＳ２０５に進む。
【０２４８】
ステップＳ２０５において、静動判定部２０２−３は、フレーム#n-1の画素とフレーム#nの同一位置の画素とで、動きか否かを判定し、動きと判定された場合、ステップＳ２０６に進み、静動判定部２０２−２は、フレーム#nの画素とフレーム#n+1の同一位置の画素とで、動きか否かを判定する。
【０２４９】
ステップＳ２０６において、フレーム#nの画素とフレーム#n+1の同一位置の画素とで、動きと判定された場合、ステップＳ２０７に進み、領域判定部２０３−２は、領域の判定される画素に対応する動き領域判定フラグに、動き領域に属することを示す”１”を設定する。領域判定部２０３−２は、動き領域判定フラグを判定フラグ格納フレームメモリ２０４に供給し、手続きは、ステップＳ２０８に進む。
【０２５０】
ステップＳ２０５において、フレーム#n-1の画素とフレーム#nの同一位置の画素とで、静止と判定された場合、または、ステップＳ２０６において、フレーム#nの画素とフレーム#n+1の同一位置の画素とで、静止と判定された場合、フレーム#nの画素が動き領域には属さないので、ステップＳ２０７の処理はスキップされ、手続きは、ステップＳ２０８に進む。
【０２５１】
ステップＳ２０８において、静動判定部２０２−４は、フレーム#n-2の画素とフレーム#n-1の同一位置の画素とで、静止か否かを判定し、静止と判定された場合、ステップＳ２０９に進み、静動判定部２０２−３は、フレーム#n-1の画素とフレーム#nの同一位置の画素とで、動きか否かを判定する。
【０２５２】
ステップＳ２０９において、フレーム#n-1の画素とフレーム#nの同一位置の画素とで、動きと判定された場合、ステップＳ２１０に進み、領域判定部２０３−３は、領域の判定される画素に対応するカバードバックグラウンド領域判定フラグに、カバードバックグラウンド領域に属することを示す”１”を設定する。領域判定部２０３−３は、カバードバックグラウンド領域判定フラグを判定フラグ格納フレームメモリ２０４に供給し、手続きは、ステップＳ２１１に進む。
【０２５３】
ステップＳ２０８において、フレーム#n-2の画素とフレーム#n-1の同一位置の画素とで、動きと判定された場合、または、ステップＳ２０９において、フレーム#n-1の画素とフレーム#nの同一位置の画素とで、静止と判定された場合、フレーム#nの画素がカバードバックグラウンド領域には属さないので、ステップＳ２１０の処理はスキップされ、手続きは、ステップＳ２１１に進む。
【０２５４】
ステップＳ２１１において、静動判定部２０２−２は、フレーム#nの画素とフレーム#n+1の同一位置の画素とで、動きか否かを判定し、動きと判定された場合、ステップＳ２１２に進み、静動判定部２０２−１は、フレーム#n+1の画素とフレーム#n+2の同一位置の画素とで、静止か否かを判定する。
【０２５５】
ステップＳ２１２において、フレーム#n+1の画素とフレーム#n+2の同一位置の画素とで、静止と判定された場合、ステップＳ２１３に進み、領域判定部２０３−１は、領域の判定される画素に対応するアンカバードバックグラウンド領域判定フラグに、アンカバードバックグラウンド領域に属することを示す”１”を設定する。領域判定部２０３−１は、アンカバードバックグラウンド領域判定フラグを判定フラグ格納フレームメモリ２０４に供給し、手続きは、ステップＳ２１４に進む。
【０２５６】
ステップＳ２１１において、フレーム#nの画素とフレーム#n+1の同一位置の画素とで、静止と判定された場合、または、ステップＳ２１２において、フレーム#n+1の画素とフレーム#n+2の同一位置の画素とで、動きと判定された場合、フレーム#nの画素がアンカバードバックグラウンド領域には属さないので、ステップＳ２１３の処理はスキップされ、手続きは、ステップＳ２１４に進む。
【０２５７】
ステップＳ２１４において、領域特定部１０３は、フレーム#nの全ての画素について領域を特定したか否かを判定し、フレーム#nの全ての画素について領域を特定していないと判定された場合、手続きは、ステップＳ２０２に戻り、他の画素について、領域特定の処理を繰り返す。
【０２５８】
ステップＳ２１４において、フレーム#nの全ての画素について領域を特定したと判定された場合、ステップＳ２１５に進み、合成部２０５は、判定フラグ格納フレームメモリ２０４に記憶されているアンカバードバックグラウンド領域判定フラグ、およびカバードバックグラウンド領域判定フラグを基に、混合領域を示す領域情報を生成し、更に、各画素が、アンカバードバックグラウンド領域、静止領域、動き領域、およびカバードバックグラウンド領域のいずれかに属することを示す領域情報を生成し、生成した領域情報を判定フラグ格納フレームメモリ２０６に設定し、処理は終了する。
【０２５９】
このように、領域特定部１０３は、フレームに含まれている画素のそれぞれについて、動き領域、静止領域、アンカバードバックグラウンド領域、またはカバードバックグラウンド領域に属することを示す領域情報を生成することができる。
【０２６０】
なお、領域特定部１０３は、アンカバードバックグラウンド領域およびカバードバックグラウンド領域に対応する領域情報に論理和を適用することにより、混合領域に対応する領域情報を生成して、フレームに含まれている画素のそれぞれについて、動き領域、静止領域、または混合領域に属することを示すフラグから成る領域情報を生成するようにしてもよい。
【０２６１】
前景に対応するオブジェクトがテクスチャを有す場合、領域特定部１０３は、より正確に動き領域を特定することができる。
【０２６２】
領域特定部１０３は、動き領域を示す領域情報を前景領域を示す領域情報として、また、静止領域を示す領域情報を背景領域を示す領域情報として出力することができる。
【０２６３】
なお、背景に対応するオブジェクトが静止しているとして説明したが、背景領域に対応する画像が動きを含んでいても上述した領域を特定する処理を適用することができる。例えば、背景領域に対応する画像が一様に動いているとき、領域特定部１０３は、この動きに対応して画像全体をシフトさせ、背景に対応するオブジェクトが静止している場合と同様に処理する。また、背景領域に対応する画像が局所毎に異なる動きを含んでいるとき、領域特定部１０３は、動きに対応した画素を選択して、上述の処理を実行する。
【０２６４】
図３８は、領域特定部１０３の構成の他の例を示すブロック図である。図３８に示す領域特定部１０３は、動きベクトルを使用しない。背景画像生成部３０１は、入力画像に対応する背景画像を生成し、生成した背景画像を２値オブジェクト画像抽出部３０２に供給する。背景画像生成部３０１は、例えば、入力画像に含まれる背景のオブジェクトに対応する画像オブジェクトを抽出して、背景画像を生成する。
【０２６５】
前景のオブジェクトに対応する画像の動き方向に隣接して１列に並ぶ画素の画素値を時間方向に展開したモデル図の例を図３９に示す。例えば、前景のオブジェクトに対応する画像の動き方向が画面に対して水平であるとき、図３９におけるモデル図は、１つのライン上の隣接する画素の画素値を時間方向に展開したモデルを示す。
【０２６６】
図３９において、フレーム#nにおけるラインは、フレーム#n-1およびフレーム#n+1におけるラインと同一である。
【０２６７】
フレーム#nにおいて、左から６番目の画素乃至１７番目の画素に含まれているオブジェクトに対応する前景の成分は、フレーム#n-1において、左から２番目乃至１３番目の画素に含まれ、フレーム#n+1において、左から１０番目乃至２１番目の画素に含まれる。
【０２６８】
フレーム#n-1において、カバードバックグラウンド領域に属する画素は、左から１１番目乃至１３番目の画素であり、アンカバードバックグラウンド領域に属する画素は、左から２番目乃至４番目の画素である。フレーム#nにおいて、カバードバックグラウンド領域に属する画素は、左から１５番目乃至１７番目の画素であり、アンカバードバックグラウンド領域に属する画素は、左から６番目乃至８番目の画素である。フレーム#n+1において、カバードバックグラウンド領域に属する画素は、左から１９番目乃至２１番目の画素であり、アンカバードバックグラウンド領域に属する画素は、左から１０番目乃至１２番目の画素である。
【０２６９】
フレーム#n-1において、背景領域に属する画素は、左から１番目の画素、および左から１４番目乃至２１番目の画素である。フレーム#nにおいて、背景領域に属する画素は、左から１番目乃至５番目の画素、および左から１８番目乃至２１番目の画素である。フレーム#n+1において、背景領域に属する画素は、左から１番目乃至９番目の画素である。
【０２７０】
背景画像生成部３０１が生成する、図３９の例に対応する背景画像の例を図４０に示す。背景画像は、背景のオブジェクトに対応する画素から構成され、前景のオブジェクトに対応する画像の成分を含まない。
【０２７１】
２値オブジェクト画像抽出部３０２は、背景画像および入力画像の相関を基に、２値オブジェクト画像を生成し、生成した２値オブジェクト画像を時間変化検出部３０３に供給する。
【０２７２】
図４１は、２値オブジェクト画像抽出部３０２の構成を示すブロック図である。相関値演算部３２１は、背景画像生成部３０１から供給された背景画像および入力画像の相関を演算し、相関値を生成して、生成した相関値をしきい値処理部３２２に供給する。
【０２７３】
相関値演算部３２１は、例えば、図４２（Ａ）に示すように、Ｘ₄を中心とした３×３の背景画像の中のブロックと、図４２（Ｂ）に示すように、背景画像の中のブロックに対応するＹ₄を中心とした３×３の入力画像の中のブロックに、式（４）を適用して、Ｙ₄に対応する相関値を算出する。
【０２７４】
【数２】

【数３】

【数４】

【０２７５】
相関値演算部３２１は、このように各画素に対応して算出された相関値をしきい値処理部３２２に供給する。
【０２７６】
また、相関値演算部３２１は、例えば、図４３（Ａ）に示すように、Ｘ₄を中心とした３×３の背景画像の中のブロックと、図４３（Ｂ）に示すように、背景画像の中のブロックに対応するＹ₄を中心とした３×３の入力画像の中のブロックに、式（７）を適用して、Ｙ₄に対応する差分絶対値を算出するようにしてもよい。
【０２７７】
【数５】

【０２７８】
相関値演算部３２１は、このように算出された差分絶対値を相関値として、しきい値処理部３２２に供給する。
【０２７９】
しきい値処理部３２２は、相関画像の画素値としきい値th0とを比較して、相関値がしきい値th0以下である場合、２値オブジェクト画像の画素値に1を設定し、相関値がしきい値th0より大きい場合、２値オブジェクト画像の画素値に0を設定して、0または1が画素値に設定された２値オブジェクト画像を出力する。しきい値処理部３２２は、しきい値th0を予め記憶するようにしてもよく、または、外部から入力されたしきい値th0を使用するようにしてもよい。
【０２８０】
図４４は、図３９に示す入力画像のモデルに対応する２値オブジェクト画像の例を示す図である。２値オブジェクト画像において、背景画像と相関の高い画素には、画素値に0が設定される。
【０２８１】
図４５は、時間変化検出部３０３の構成を示すブロック図である。フレームメモリ３４１は、フレーム#nの画素について領域を判定するとき、２値オブジェクト画像抽出部３０２から供給された、フレーム#n-1、フレーム#n、およびフレーム#n+1の２値オブジェクト画像を記憶する。
【０２８２】
領域判定部３４２は、フレームメモリ３４１に記憶されているフレーム#n-1、フレーム#n、およびフレーム#n+1の２値オブジェクト画像を基に、フレーム#nの各画素について領域を判定して、領域情報を生成し、生成した領域情報を出力する。
【０２８３】
図４６は、領域判定部３４２の判定を説明する図である。フレーム#nの２値オブジェクト画像の注目している画素が0であるとき、領域判定部３４２は、フレーム#nの注目している画素が背景領域に属すると判定する。
【０２８４】
フレーム#nの２値オブジェクト画像の注目している画素が1であり、フレーム#n-1の２値オブジェクト画像の対応する画素が1であり、フレーム#n+1の２値オブジェクト画像の対応する画素が1であるとき、領域判定部３４２は、フレーム#nの注目している画素が前景領域に属すると判定する。
【０２８５】
フレーム#nの２値オブジェクト画像の注目している画素が1であり、フレーム#n-1の２値オブジェクト画像の対応する画素が0であるとき、領域判定部３４２は、フレーム#nの注目している画素がカバードバックグラウンド領域に属すると判定する。
【０２８６】
フレーム#nの２値オブジェクト画像の注目している画素が1であり、フレーム#n+1の２値オブジェクト画像の対応する画素が0であるとき、領域判定部３４２は、フレーム#nの注目している画素がアンカバードバックグラウンド領域に属すると判定する。
【０２８７】
図４７は、図３９に示す入力画像のモデルに対応する２値オブジェクト画像について、時間変化検出部３０３の判定した例を示す図である。時間変化検出部３０３は、２値オブジェクト画像のフレーム#nの対応する画素が0なので、フレーム#nの左から１番目乃至５番目の画素を背景領域に属すると判定する。
【０２８８】
時間変化検出部３０３は、２値オブジェクト画像のフレーム#nの画素が1であり、フレーム#n+1の対応する画素が0なので、左から６番目乃至９番目の画素をアンカバードバックグラウンド領域に属すると判定する。
【０２８９】
時間変化検出部３０３は、２値オブジェクト画像のフレーム#nの画素が1であり、フレーム#n-1の対応する画素が1であり、フレーム#n+1の対応する画素が1なので、左から１０番目乃至１３番目の画素を前景領域に属すると判定する。
【０２９０】
時間変化検出部３０３は、２値オブジェクト画像のフレーム#nの画素が1であり、フレーム#n-1の対応する画素が0なので、左から１４番目乃至１７番目の画素をカバードバックグラウンド領域に属すると判定する。
【０２９１】
時間変化検出部３０３は、２値オブジェクト画像のフレーム#nの対応する画素が0なので、左から１８番目乃至２１番目の画素を背景領域に属すると判定する。
【０２９２】
次に、図４８のフローチャートを参照して、領域判定部１０３の領域特定の処理を説明する。ステップＳ３０１において、領域判定部１０３の背景画像生成部３０１は、入力画像を基に、例えば、入力画像に含まれる背景のオブジェクトに対応する画像オブジェクトを抽出して背景画像を生成し、生成した背景画像を２値オブジェクト画像抽出部３０２に供給する。
【０２９３】
ステップＳ３０２において、２値オブジェクト画像抽出部３０２は、例えば、図４２を参照して説明した演算により、入力画像と背景画像生成部３０１から供給された背景画像との相関値を演算する。ステップＳ３０３において、２値オブジェクト画像抽出部３０２は、例えば、相関値としきい値th0とを比較することにより、相関値およびしきい値th0から２値オブジェクト画像を演算する。
【０２９４】
ステップＳ３０４において、時間変化検出部３０３は、領域判定の処理を実行して、処理は終了する。
【０２９５】
図４９のフローチャートを参照して、ステップＳ３０４に対応する領域判定の処理の詳細を説明する。ステップＳ３２１において、時間変化検出部３０３の領域判定部３４２は、フレームメモリ３４１に記憶されているフレーム#nにおいて、注目する画素が0であるか否かを判定し、フレーム#nにおいて、注目する画素が0であると判定された場合、ステップＳ３２２に進み、フレーム#nの注目する画素が背景領域に属すると設定して、処理は終了する。
【０２９６】
ステップＳ３２１において、フレーム#nにおいて、注目する画素が1であると判定された場合、ステップＳ３２３に進み、時間変化検出部３０３の領域判定部３４２は、フレームメモリ３４１に記憶されているフレーム#nにおいて、注目する画素が1であり、かつ、フレーム#n-1において、対応する画素が0であるか否かを判定し、フレーム#nにおいて、注目する画素が1であり、かつ、フレーム#n-1において、対応する画素が0であると判定された場合、ステップＳ３２４に進み、フレーム#nの注目する画素がカバードバックグラウンド領域に属すると設定して、処理は終了する。
【０２９７】
ステップＳ３２３において、フレーム#nにおいて、注目する画素が0であるか、または、フレーム#n-1において、対応する画素が1であると判定された場合、ステップＳ３２５に進み、時間変化検出部３０３の領域判定部３４２は、フレームメモリ３４１に記憶されているフレーム#nにおいて、注目する画素が1であり、かつ、フレーム#n+1において、対応する画素が0であるか否かを判定し、フレーム#nにおいて、注目する画素が1であり、かつ、フレーム#n+1において、対応する画素が0であると判定された場合、ステップＳ３２６に進み、フレーム#nの注目する画素がアンカバードバックグラウンド領域に属すると設定して、処理は終了する。
【０２９８】
ステップＳ３２５において、フレーム#nにおいて、注目する画素が0であるか、または、フレーム#n+1において、対応する画素が１であると判定された場合、ステップＳ３２７に進み、時間変化検出部３０３の領域判定部３４２は、フレーム#nの注目する画素を前景領域と設定して、処理は終了する。
【０２９９】
このように、領域特定部１０３は、入力された画像と対応する背景画像との相関値を基に、入力画像の画素が前景領域、背景領域、カバードバックグラウンド領域、およびアンカバードバックグラウンド領域のいずれかに属するかを特定して、特定した結果に対応する領域情報を生成することができる。
【０３００】
図５０は、領域特定部１０３の他の構成を示すブロック図である。図５０に示す領域特定部１０３は、動き検出部１０２から供給される動きベクトルとその位置情報を使用する。図３８に示す場合と同様の部分には、同一の番号を付してあり、その説明は省略する。
【０３０１】
ロバスト化部３６１は、２値オブジェクト画像抽出部３０２から供給された、Ｎ個のフレームの２値オブジェクト画像を基に、ロバスト化された２値オブジェクト画像を生成して、時間変化検出部３０３に出力する。
【０３０２】
図５１は、ロバスト化部３６１の構成を説明するブロック図である。動き補償部３８１は、動き検出部１０２から供給された動きベクトルとその位置情報を基に、Ｎ個のフレームの２値オブジェクト画像の動きを補償して、動きが補償された２値オブジェクト画像をスイッチ３８２に出力する。
【０３０３】
図５２および図５３の例を参照して、動き補償部３８１の動き補償について説明する。例えば、フレーム#nの領域を判定するとき、図５２に例を示すフレーム#n-1、フレーム#n、およびフレーム#n+1の２値オブジェクト画像が入力された場合、動き補償部３８１は、動き検出部１０２から供給された動きベクトルを基に、図５３に例を示すように、フレーム#n-1の２値オブジェクト画像、およびフレーム#n+1の２値オブジェクト画像を動き補償して、動き補償された２値オブジェクト画像をスイッチ３８２に供給する。
【０３０４】
スイッチ３８２は、１番目のフレームの動き補償された２値オブジェクト画像をフレームメモリ３８３−１に出力し、２番目のフレームの動き補償された２値オブジェクト画像をフレームメモリ３８３−２に出力する。同様に、スイッチ３８２は、３番目乃至Ｎ−１番目のフレームの動き補償された２値オブジェクト画像のそれぞれをフレームメモリ３８３−３乃至フレームメモリ３８３−（Ｎ−１）のいずれかに出力し、Ｎ番目のフレームの動き補償された２値オブジェクト画像をフレームメモリ３８３−Ｎに出力する。
【０３０５】
フレームメモリ３８３−１は、１番目のフレームの動き補償された２値オブジェクト画像を記憶し、記憶されている２値オブジェクト画像を重み付け部３８４−１に出力する。フレームメモリ３８３−２は、２番目のフレームの動き補償された２値オブジェクト画像を記憶し、記憶されている２値オブジェクト画像を重み付け部３８４−２に出力する。
【０３０６】
同様に、フレームメモリ３８３−３乃至フレームメモリ３８３−（Ｎ−１）のそれぞれは、３番目のフレーム乃至Ｎ−１番目のフレームの動き補償された２値オブジェクト画像のいずれかを記憶し、記憶されている２値オブジェクト画像を重み付け部３８４−３乃至重み付け部３８４−（Ｎ−１）のいずれかに出力する。フレームメモリ３８３−Ｎは、Ｎ番目のフレームの動き補償された２値オブジェクト画像を記憶し、記憶されている２値オブジェクト画像を重み付け部３８４−Ｎに出力する。
【０３０７】
重み付け部３８４−１は、フレームメモリ３８３−１から供給された１番目のフレームの動き補償された２値オブジェクト画像の画素値に予め定めた重みw1を乗じて、積算部３８５に供給する。重み付け部３８４−２は、フレームメモリ３８３−２から供給された２番目のフレームの動き補償された２値オブジェクト画像の画素値に予め定めた重みw2を乗じて、積算部３８５に供給する。
【０３０８】
同様に、重み付け部３８４−３乃至重み付け部３８４−（Ｎ−１）のそれぞれは、フレームメモリ３８３−３乃至フレームメモリ３８３−（Ｎ−１）のいずれかから供給された３番目乃至Ｎ−１番目のいずれかのフレームの動き補償された２値オブジェクト画像の画素値に予め定めた重みw3乃至重みw(N-1)のいずれかを乗じて、積算部３８５に供給する。重み付け部３８４−Ｎは、フレームメモリ３８３−Ｎから供給されたＮ番目のフレームの動き補償された２値オブジェクト画像の画素値に予め定めた重みwNを乗じて、積算部３８５に供給する。
【０３０９】
積算部３８５は、１乃至Ｎ番目のフレームの動き補償され、それぞれ重みw1乃至wNのいずれかが乗じられた、２値オブジェクト画像の対応する画素値を積算して、積算された画素値を予め定めたしきい値th0と比較することにより２値オブジェクト画像を生成する。
【０３１０】
このように、ロバスト化部３６１は、Ｎ個の２値オブジェクト画像からロバスト化された２値オブジェト画像を生成して、時間変化検出部３０３に供給するので、図５０に構成を示す領域特定部１０３は、入力画像にノイズが含まれていても、図３８に示す場合に比較して、より正確に領域を特定することができる。
【０３１１】
次に、図５０に構成を示す領域特定部１０３の領域特定の処理について、図５４のフローチャートを参照して説明する。ステップＳ３４１乃至ステップＳ３４３の処理は、図４８のフローチャートで説明したステップＳ３０１乃至ステップＳ３０３とそれぞれ同様なのでその説明は省略する。
【０３１２】
ステップＳ３４４において、ロバスト化部３６１は、ロバスト化の処理を実行する。
【０３１３】
ステップＳ３４５において、時間変化検出部３０３は、領域判定の処理を実行して、処理は終了する。ステップＳ３４５の処理の詳細は、図４９のフローチャートを参照して説明した処理と同様なのでその説明は省略する。
【０３１４】
次に、図５５のフローチャートを参照して、図５４のステップＳ３４４の処理に対応する、ロバスト化の処理の詳細について説明する。ステップＳ３６１において、動き補償部３８１は、動き検出部１０２から供給される動きベクトルとその位置情報を基に、入力された２値オブジェクト画像の動き補償の処理を実行する。ステップＳ３６２において、フレームメモリ３８３−１乃至３８３−Ｎのいずれかは、スイッチ３８２を介して供給された動き補償された２値オブジェクト画像を記憶する。
【０３１５】
ステップＳ３６３において、ロバスト化部３６１は、Ｎ個の２値オブジェクト画像が記憶されたか否かを判定し、Ｎ個の２値オブジェクト画像が記憶されていないと判定された場合、ステップＳ３６１に戻り、２値オブジェクト画像の動き補償の処理および２値オブジェクト画像の記憶の処理を繰り返す。
【０３１６】
ステップＳ３６３において、Ｎ個の２値オブジェクト画像が記憶されたと判定された場合、ステップＳ３６４に進み、重み付け部３８４−１乃至３８４−Ｎのそれぞれは、Ｎ個の２値オブジェクト画像のそれぞれにw1乃至wNのいずれかの重みを乗じて、重み付けする。
【０３１７】
ステップＳ３６５において、積算部３８５は、重み付けされたＮ個の２値オブジェクト画像を積算する。
【０３１８】
ステップＳ３６６において、積算部３８５は、例えば、予め定められたしきい値th1との比較などにより、積算された画像から２値オブジェクト画像を生成して、処理は終了する。
【０３１９】
このように、図５０に構成を示す領域特定部１０３は、ロバスト化された２値オブジェクト画像を基に、領域情報を生成することができる。
【０３２０】
以上のように、領域特定部１０３は、フレームに含まれている画素のそれぞれについて、動き領域、静止領域、アンカバードバックグラウンド領域、またはカバードバックグラウンド領域に属することを示す領域情報を生成することができる。
【０３２１】
図５６は、空間方向に、より高解像度な画像を生成するクラス分類適応処理において使用される係数セットを生成する領域処理部１０４の構成を示すブロック図である。教師画像フレームメモリ５０１は、例えば、HD画像である入力画像を、フレーム単位で記憶する。教師画像フレームメモリ５０１は、記憶している入力画像を領域分割部５０２に供給する。
【０３２２】
領域分割部５０２は、領域特定部１０３から供給された領域情報を基に、背景領域、前景領域、カバードバックグラウンド領域、またはアンカバードバックグラウンド領域に教師画像を分割する。
【０３２３】
領域分割部５０２は、分割された教師画像である、教師画像の背景画像を背景領域教師画像フレームメモリ５０３に供給し、教師画像のアンカバードバックグラウンド領域に属する画素からなる画像をアンカバードバックグラウンド領域教師画像フレームメモリ５０４に供給し、教師画像のカバードバックグラウンド領域に属する画素からなる画像をカバードバックグラウンド領域教師画像フレームメモリ５０５に供給し、教師画像の前景画像を前景領域教師画像フレームメモリ５０６に供給する。
【０３２４】
背景領域教師画像フレームメモリ５０３は、領域分割部５０２から供給された、教師画像の背景画像を記憶する。背景領域教師画像フレームメモリ５０３は、記憶している教師画像の背景画像を加重平均部５０７−１および学習部５１２−１に供給する。
【０３２５】
アンカバードバックグラウンド領域教師画像フレームメモリ５０４は、領域分割部５０２から供給された、教師画像のアンカバードバックグラウンド領域に属する画素からなる画像を記憶する。アンカバードバックグラウンド領域教師画像フレームメモリ５０４は、記憶している教師画像のアンカバードバックグラウンド領域に属する画素からなる画像を加重平均部５０７−２および学習部５１２−２に供給する。
【０３２６】
カバードバックグラウンド領域教師画像フレームメモリ５０５は、領域分割部５０２から供給された、教師画像のカバードバックグラウンド領域に属する画素からなる画像を記憶する。カバードバックグラウンド領域教師画像フレームメモリ５０５は、記憶している教師画像のカバードバックグラウンド領域に属する画素からなる画像を加重平均部５０７−３および学習部５１２−３に供給する。
【０３２７】
前景領域教師画像フレームメモリ５０６は、領域分割部５０２から供給された、教師画像の前景画像を記憶する。前景領域教師画像フレームメモリ５０６は、記憶している教師画像の前景画像を加重平均部５０７−４および学習部５１２−４に供給する。
【０３２８】
加重平均部５０７−１は、背景領域教師画像フレームメモリ５０３から供給された、例えば、HD画像である教師画像の背景画像を４分の１加重平均して、生徒画像であるSD画像を生成し、生成したSD画像を背景領域生徒画像フレームメモリ５０８に供給する。
【０３２９】
例えば、加重平均部５０７−１は、図５７に示すように、教師画像の２×２（横×縦）の４つの画素（同図において、白丸で示す部分）を１単位とし、各単位の４つの画素の画素値を加算して、加算された結果を４で除算する。加重平均部５０７−１は、このように、４分の１加重平均された結果を、各単位の中心に位置する生徒画像の画素（同図において、黒丸で示す部分）に設定する。
【０３３０】
背景領域生徒画像フレームメモリ５０８は、加重平均部５０７−１から供給された、教師画像の背景画像に対応する、生徒画像を記憶する。背景領域生徒画像フレームメモリ５０８は、記憶している、教師画像の背景画像に対応する生徒画像を学習部５１２−１に供給する。
【０３３１】
加重平均部５０７−２は、アンカバードバックグラウンド領域教師画像フレームメモリ５０４から供給された、HD画像である教師画像のアンカバードバックグラウンド領域に属する画素からなる画像を、例えば、４分の１加重平均して、生徒画像であるSD画像を生成し、生成したSD画像をアンカバードバックグラウンド領域生徒画像フレームメモリ５０９に供給する。
【０３３２】
アンカバードバックグラウンド領域生徒画像フレームメモリ５０９は、加重平均部５０７−２から供給された、教師画像のアンカバードバックグラウンド領域に属する画素からなる画像に対応する、SD画像である生徒画像を記憶する。アンカバードバックグラウンド領域生徒画像フレームメモリ５０９は、記憶している、教師画像のアンカバードバックグラウンド領域に属する画素からなる画像に対応する生徒画像を学習部５１２−２に供給する。
【０３３３】
加重平均部５０７−３は、カバードバックグラウンド領域教師画像フレームメモリ５０５から供給された、教師画像のカバードバックグラウンド領域に属する画素からなる画像を、例えば、４分の１加重平均して、生徒画像であるSD画像を生成し、生成したSD画像をカバードバックグラウンド領域生徒画像フレームメモリ５１０に供給する。
【０３３４】
カバードバックグラウンド領域生徒画像フレームメモリ５１０は、加重平均部５０７−３から供給された、教師画像のカバードバックグラウンド領域に属する画素からなる画像に対応する、SD画像である生徒画像を記憶する。カバードバックグラウンド領域生徒画像フレームメモリ５１０は、記憶している、教師画像のカバードバックグラウンド領域に属する画素からなる画像に対応する生徒画像を学習部５１２−３に供給する。
【０３３５】
加重平均部５０７−４は、前景領域教師画像フレームメモリ５０６から供給された、例えば、HD画像である教師画像の前景画像を４分の１加重平均して、生徒画像であるSD画像を生成し、生成したSD画像を前景領域生徒画像フレームメモリ５１１に供給する。
【０３３６】
前景領域生徒画像フレームメモリ５１１は、加重平均部５０７−４から供給された、教師画像の前景画像に対応する、SD画像である生徒画像を記憶する。前景領域生徒画像フレームメモリ５１１は、記憶している、教師画像の前景画像に対応する生徒画像を学習部５１２−４に供給する。
【０３３７】
学習部５１２−１は、背景領域教師画像フレームメモリ５０３から供給された教師画像の背景画像、および背景領域生徒画像フレームメモリ５０８から供給された、教師画像の背景画像に対応する生徒画像を基に、背景領域に対応する係数セットを生成し、生成した係数セットを係数セットメモリ５１３に供給する。
【０３３８】
学習部５１２−２は、アンカバードバックグラウンド領域教師画像フレームメモリ５０４から供給された教師画像のアンカバードバックグラウンド領域に属する画素からなる画像、およびアンカバードバックグラウンド領域生徒画像フレームメモリ５０９から供給された、教師画像のアンカバードバックグラウンド領域に属する画素からなる画像に対応する生徒画像を基に、アンカバードバックグラウンド領域に対応する係数セットを生成し、生成した係数セットを係数セットメモリ５１３に供給する。
【０３３９】
学習部５１２−３は、カバードバックグラウンド領域教師画像フレームメモリ５０５から供給された教師画像のカバードバックグラウンド領域に属する画素からなる画像、およびカバードバックグラウンド領域生徒画像フレームメモリ５１０から供給された、教師画像のカバードバックグラウンド領域に属する画素からなる画像に対応する生徒画像を基に、カバードバックグラウンド領域に対応する係数セットを生成し、生成した係数セットを係数セットメモリ５１３に供給する。
【０３４０】
学習部５１２−４は、前景領域教師画像フレームメモリ５０６から供給された教師画像の前景画像、および前景領域生徒画像フレームメモリ５１０から供給された、教師画像の前景画像に対応する生徒画像を基に、前景領域に対応する係数セットを生成し、生成した係数セットを係数セットメモリ５１３に供給する。
【０３４１】
係数セットメモリ５１３は、学習部５１２−１から供給された背景領域に対応する係数セット、学習部５１２−２から供給されたアンカバードバックグラウンド領域に対応する係数セット、学習部５１２−３から供給されたカバードバックグラウンド領域に対応する係数セット、および学習部５１２−４から供給された前景領域に対応する係数セットを記憶する。
【０３４２】
以下、学習部５１２−１乃至学習部５１２−４を個々に区別する必要がないとき、単に学習部５１２と称する。
【０３４３】
図５８は、学習部５１２の構成を示すブロック図である。
【０３４４】
クラス分類部５３１は、クラスタップ取得部５５１および波形分類部５５２で構成され、入力された生徒画像の、注目している画素である、注目画素をクラス分類する。クラスタップ取得部５５１は、注目画素に対応する、生徒画像の画素である、所定の数のクラスタップを取得し、取得したクラスタップを波形分類部５５２に供給する。
【０３４５】
例えば、図５７において、上からｉ番目で、左からｊ番目の生徒画像の画素（図中、黒丸で示す部分）をＸ_ijと表すとすると、クラスタップ取得部５５１は、注目画素Ｘ_ijの左上、上、右上、左、右、左下、下、右下に隣接する８つの画素Ｘ_(i-1)(j-1)，Ｘ_(i-1)j，Ｘ_(i-1)(j+1)，Ｘ_i(j-1)，Ｘ_i(j+1)，Ｘ_(i-1)(j-1)，Ｘ_(i-1)j，Ｘ_(i+1)(j+1)に、自身を含め、合計９画素で構成されるクラスタップを取得する。このクラスタップは、波形分類部５５２に供給される。
【０３４６】
なお、この場合、クラスタップは、３×３画素でなる正方形状のブロックで構成されることとなるが、クラス分類用ブロックの形状は、正方形である必要はなく、その他、例えば、長方形や、十文字形、その他の任意な形とすることが可能である。また、クラスタップを構成する画素数も、３×３の９画素に限定されるものではない。
【０３４７】
波形分類部５５２は、入力信号を、その特徴に基づいていくつかのクラスに分類する、クラス分類処理を実行して、クラスタップを基に、注目画素を１つのクラスに分類する。波形分類部５５２は、例えば、注目画素を５１２のクラスのうちの１つのクラスに分類し、分類されたクラスに対応するクラス番号を予測タップ取得部５３２に供給する。
【０３４８】
ここで、クラス分類処理について簡単に説明する。
【０３４９】
いま、例えば、図５９（Ａ）に示すように、ある注目画素と、それに隣接する３つの画素により、２×２画素でなるクラスタップを構成し、また、各画素は、１ビットで表現される（０または１のうちのいずれかのレベルをとる）ものとする。この場合、注目画素を含む２×２の４画素のブロックは、各画素のレベル分布により、図５９（Ｂ）に示すように、１６（＝（２¹）⁴）パターンに分類することができる。従って、いまの場合、注目画素は、１６のパターンに分類することができ、このようなパターン分けが、クラス分類処理であり、クラス分類部５３１において行われる。
【０３５０】
なお、クラス分類処理は、画像（クラスタップ）のアクティビティ（画像の複雑さ）（変化の激しさ）などをも考慮して行うようにすることが可能である。
【０３５１】
ここで、通常、各画素には、例えば８ビット程度が割り当てられる。また、本実施の形態においては、上述したように、クラスタップは、３×３の９画素で構成される。従って、このようなクラスタップを対象にクラス分類処理を行ったのでは、（２⁸）⁹という膨大な数のクラスに分類されることになる。
【０３５２】
そこで、本実施の形態においては、波形分類部５５２において、クラスタップに対して、ＡＤＲＣ処理が施され、これにより、クラスタップを構成する画素のビット数を小さくすることで、クラス数を削減する。
【０３５３】
説明を簡単にするため、図６０（Ａ）に示すように、直線上に並んだ４画素で構成されるクラスタップを考えると、ＡＤＲＣ処理においては、その画素値の最大値ＭＡＸと最小値ＭＩＮが検出される。そして、ＤＲ＝ＭＡＸ−ＭＩＮを、クラスタップで構成されるブロックの局所的なダイナミックレンジとし、このダイナミックレンジＤＲに基づいて、クラスタップのブロックを構成する画素の画素値がＫビットに再量子化される。
【０３５４】
即ち、ブロック内の各画素値から、最小値ＭＩＮを減算し、その減算値をＤＲ／２^Kで除算する。そして、その結果得られる除算値に対応するコード（ＡＤＲＣコード）に変換される。具体的には、例えば、Ｋ＝２とした場合、図６０（Ｂ）に示すように、除算値が、ダイナミックレンジＤＲを４（＝２²）等分して得られるいずれの範囲に属するかが判定され、除算値が、最も下のレベルの範囲、下から２番目のレベルの範囲、下から３番目のレベルの範囲、または最も上のレベルの範囲に属する場合には、それぞれ、例えば、００Ｂ，０１Ｂ，１０Ｂ、または１１Ｂなどの２ビットにコード化される（Ｂは２進数であることを表す）。
そして、復号側においては、ＡＤＲＣコード００Ｂ，０１Ｂ，１０Ｂ、または１１Ｂは、ダイナミックレンジＤＲを４等分して得られる最も下のレベルの範囲の中心値Ｌ₀₀、下から２番目のレベルの範囲の中心値Ｌ₀₁、下から３番目のレベルの範囲の中心値Ｌ₁₀、または最も上のレベルの範囲の中心値Ｌ₁₁に変換され、その値に、最小値ＭＩＮが加算されることで復号が行われる。
【０３５５】
ここで、このようなＡＤＲＣ処理はノンエッジマッチングと呼ばれる。
【０３５６】
なお、ＡＤＲＣ処理については、本件出願人が先に出願した、例えば、特開平３−５３７７８号公報などに、その詳細が開示されている。
【０３５７】
クラスタップを構成する画素に割り当てられているビット数より少ないビット数で再量子化を行うＡＤＲＣ処理を施すことにより、上述したように、クラス数を削減することができ、このようなＡＤＲＣ処理が、波形分類部５５２において行われる。
【０３５８】
なお、本実施の形態では、波形分類部５５２において、ＡＤＲＣコードに基づいて、クラス分類処理が行われるが、クラス分類処理は、その他、例えば、ＤＰＣＭ（予測符号化）や、ＢＴＣ（Block Truncation Coding）、ＶＱ（ベクトル量子化）、ＤＣＴ（離散コサイン変換）、アダマール変換などを施したデータを対象に行うようにすることも可能である。
【０３５９】
予測タップ取得部５３２は、クラス番号を基に、生徒画像の画素から、クラスに対応し、元の画像（教師画像）の予測値を計算するための単位である、予測タップを取得し、取得した予測タップおよびクラス番号を対応画素取得部５３３に供給する。
【０３６０】
例えば、図５７において、生徒画像の画素Ｘ_ij（図中、黒丸で示す部分）を中心とする、元の画像（教師画像）における２×２の９画素の画素値を、その最も左から右方向、かつ上から下方向に、Ｙ_ij（１），Ｙ_ij（２），Ｙ_ij（３），Ｙ_ij（４）と表すとすると、画素Ｙ_ij（１）乃至Ｙ_ij（４）の予測値の計算に必要な係数を算出するために、予測タップ取得部５３２は、例えば、生徒画像の画素Ｘ_ijを中心とする３×３の９画素Ｘ_(i-1)(j-1)，Ｘ_(i-1)j，Ｘ_(i-1)(j+1)，Ｘ_i(j-1)，Ｘ_ij，Ｘ_i(j+1)，Ｘ_(i+1)(j-1)，Ｘ_(i+1)j，Ｘ_(i+1)(j+1)で構成される正方形状の予測タップを取得する。
【０３６１】
具体的には、例えば、図５７において四角形で囲む、教師画像における画素Ｙ₃₃（１）乃至Ｙ₃₃（４）の４画素の予測値の計算に必要な係数を算出するには、画素Ｘ₂₂，Ｘ₂₃，Ｘ₂₄，Ｘ₃₂，Ｘ₃₃，Ｘ₃₄，Ｘ₄₂，Ｘ₄₃，Ｘ₄₄により、予測タップが構成される（この場合の注目画素は、Ｘ₃₃となる）。
【０３６２】
対応画素取得部５３３は、予測タップおよびクラス番号を基に、予測すべき画素値に対応する教師画像の画素の画素値を取得し、予測タップ、クラス番号、および取得した予測すべき画素値に対応する教師画像の画素の画素値を正規方程式生成部５３４に供給する。
【０３６３】
例えば、対応画素取得部５３３は、教師画像における画素Ｙ₃₃（１）乃至Ｙ₃₃（４）の４画素の予測値の計算に必要な係数を算出するとき、予測すべき画素値に対応する教師画像の画素として、画素Ｙ₃₃（１）乃至Ｙ₃₃（４）の画素値を取得する。
【０３６４】
正規方程式生成部５３４は、予測タップ、クラス番号、および取得した予測すべき画素値を基に、予測タップおよび予測すべき画素値の関係に対応する、適応処理において使用される係数セットを算出するための正規方程式を生成し、クラス番号と共に、生成した正規方程式を係数計算部５３５に供給する。
【０３６５】
係数計算部５３５は、正規方程式生成部５３４から供給された正規方程式を解いて、分類されたクラスに対応する、適応処理において使用される係数セットを計算する。係数計算部５３５は、クラス番号と共に、計算した係数セットを係数セットメモリ５１３に供給する。
【０３６６】
正規方程式生成部５３４は、このような正規方程式に対応する行列を生成し、係数計算部５３５は、生成された行列を基に、係数セットを計算するようにしてもよい。
【０３６７】
ここで、適応処理について説明する。
【０３６８】
例えば、いま、教師画像の画素値ｙの予測値Ｅ［ｙ］を、その周辺の幾つかの画素の画素値（以下、適宜、生徒データという）ｘ₁，ｘ₂，・・・と、所定の予測係数ｗ₁，ｗ₂，・・・の線形結合により規定される線形１次結合モデルにより求めることを考える。この場合、予測値Ｅ［ｙ］は、次式で表すことができる。
【０３６９】
Ｅ［ｙ］＝ｗ₁ｘ₁＋ｗ₂ｘ₂＋・・・ （８）
【０３７０】
そこで、一般化するために、予測係数ｗの集合でなる行列Ｗ、生徒データの集合でなる行列Ｘ、および予測値Ｅ［ｙ］の集合でなる行列Ｙ’を、
【数６】

で定義すると、次のような観測方程式が成立する。
【０３７１】
ＸＷ＝Ｙ’ （９）
【０３７２】
そして、この観測方程式に最小自乗法を適用して、元の画像の画素値ｙに近い予測値Ｅ［ｙ］を求めることを考える。この場合、元の画像の画素値（以下、適宜、教師データという）ｙの集合でなる行列Ｙ、および元の画像の画素値ｙに対する予測値Ｅ［ｙ］の残差ｅの集合でなる行列Ｅを、
【数７】

で定義すると、式（９）から、次のような残差方程式が成立する。
【０３７３】
ＸＷ＝Ｙ＋Ｅ （１０）
【０３７４】
この場合、元の画像の画素値ｙに近い予測値Ｅ［ｙ］を求めるための予測係数ｗ_iは、自乗誤差
【数８】

を最小にすることで求めることができる。
【０３７５】
従って、上述の自乗誤差を予測係数ｗ_iで微分したものが０になる場合、即ち、次式を満たす予測係数ｗ_iが、元の画像の画素値ｙに近い予測値Ｅ［ｙ］を求めるため最適値ということになる。
【０３７６】
【数９】

【０３７７】
そこで、まず、式（１０）を、予測係数ｗ_iで微分することにより、次式が成立する。
【０３７８】
【数１０】

【０３７９】
式（１１）および（１２）より、式（１３）が得られる。
【０３８０】
【数１１】

【０３８１】
さらに、式（１０）の残差方程式における生徒データｘ、予測係数ｗ、教師データｙ、および残差ｅの関係を考慮すると、式（１３）から、次のような正規方程式を得ることができる。
【０３８２】
【数１２】

【０３８３】
式（１４）の正規方程式は、求めるべき予測係数ｗの数と同じ数だけたてることができ、従って、式（１４）を解くことで、最適な予測係数ｗを求めることができる。なお、式（１４）を解くにあたっては、例えば、掃き出し法（Gauss-Jordanの消去法）などを適用することが可能である。
【０３８４】
以上のようにして、クラスごとに最適な予測係数ｗを求め、さらに、その予測係数ｗを用い、式（８）により、教師画像の画素値ｙに近い予測値Ｅ［ｙ］を求めるのが適応処理である。
【０３８５】
正規方程式生成部５３４は、クラスごとに最適な予測係数ｗを算出するための正規方程式を生成し、係数計算部５３５は、生成された正規方程式を基に、予測係数ｗを算出する。
【０３８６】
なお、適応処理は、間引かれた画像には含まれていない、元の画像に含まれる成分が再現される点で、補間処理とは異なる。即ち、適応処理は、式（８）だけを見る限りは、いわゆる補間フィルタを用いての補間処理と同一であるが、その補間フィルタのタップ係数に相当する予測係数ｗが、教師データｙを用いての、いわば学習により求められるため、元の画像に含まれる成分を再現することができる。このことから、適応処理は、いわば画像の創造作用がある処理ということができる。
【０３８７】
図６１は、図５６に構成を示す領域処理部１０４が生成する係数セットを説明する図である。領域処理部１０４は、背景領域に対応する係数セット、アンカバードバックグラウンド領域に対応する係数セット、前景領域に対応する係数セット、およびカバードバックグラウンド領域に対応する係数セットを個々に算出する。
【０３８８】
すなわち、領域分割部５０２は、入力画像を、背景画像、アンカバードバックグラウンド領域に属する画素からなる画像、カバードバックグラウンド領域に属する画素からなる画像、および前景画像に分割する。
【０３８９】
学習部５１２−１は、分割された背景画像を基に、背景領域に対応する係数セットを算出し、学習部５１２−２は、分割されたアンカバードバックグラウンド領域に属する画素からなる画像を基に、アンカバードバックグラウンド領域に対応する係数セットを算出し、学習部５１２−３は、分割されたカバードバックグラウンド領域に属する画素からなる画像を基に、カバードバックグラウンド領域に対応する係数セットを算出し、学習部５１２−４は、分割された前景画像を基に、前景領域に対応する係数セットを算出する。
【０３９０】
背景領域に対応する係数セットは、画素値を予測するクラス分類適応処理において、背景領域の画素値の予測に使用される。アンカバードバックグラウンド領域に対応する係数セットは、画素値を予測するクラス分類適応処理において、アンカバードバックグラウンド領域の画素値の予測に使用される。
【０３９１】
カバードバックグラウンド領域に対応する係数セットは、画素値を予測するクラス分類適応処理において、カバードバックグラウンド領域の画素値の予測に使用される。前景領域に対応する係数セットは、画素値を予測するクラス分類適応処理において、前景領域の画素値の予測に使用される。
【０３９２】
背景画像に対応する予測画像、アンカバードバックグラウンド領域に対応する予測画像、カバードバックグラウンド領域に対応する予測画像、および前景画像に対応する予測画像は、合成され、１つの予測画像とされる。
【０３９３】
図６２のフローチャートを参照して、図５６に構成を示す領域処理部１０４による、クラス分類適応処理による画素値の予測に使用される係数セットを生成する学習の処理を説明する。
【０３９４】
ステップＳ５０１において、領域分割部５０２は、領域特定部１０３から供給された領域情報を基に、教師画像フレームメモリ５０１に記憶されている教師画像を領域分割する。すなわち、領域分割部５０２は、領域分割された教師画像である、教師画像の背景画像を背景領域教師画像フレームメモリ５０３に供給する。領域分割部５０２は、領域分割された教師画像である、教師画像のアンカバードバックグラウンド領域に属する画素からなる画像をアンカバードバックグラウンド領域教師画像フレームメモリ５０４に供給する。
【０３９５】
領域分割部５０２は、領域分割された教師画像である、教師画像のカバードバックグラウンド領域に属する画素からなる画像をカバードバックグラウンド領域教師画像フレームメモリ５０５に供給する。領域分割部５０２は、領域分割された教師画像である、教師画像の前景画像を前景領域教師画像フレームメモリ５０６に供給する。
【０３９６】
ステップＳ５０２において、加重平均部５０７−１乃至５０７−４は、背景領域、前景領域、アンカバードバックグラウンド領域、およびカバードバックグラウンド領域の生徒画像を生成する。すなわち、加重平均部５０７−１は、背景領域教師画像フレームメモリ５０３に記憶されている、教師画像の背景画像を、例えば、４分の１加重平均して、教師画像の背景画像に対応する生徒画像を生成する。加重平均部５０７−２は、アンカバードバックグラウンド領域教師画像フレームメモリ５０４に記憶されている、教師画像のアンカバードバックグラウンド領域に属する画素からなる画像を、例えば、４分の１加重平均して、教師画像のアンカバードバックグラウンド領域に属する画素からなる画像に対応する生徒画像を生成する。
【０３９７】
加重平均部５０７−３は、カバードバックグラウンド領域教師画像フレームメモリ５０５に記憶されている、教師画像のカバードバックグラウンド領域に属する画素からなる画像を、例えば、４分の１加重平均して、教師画像のカバードバックグラウンド領域に属する画素からなる画像を生成する。加重平均部５０７−４は、前景領域教師画像フレームメモリ５０６に記憶されている、教師画像の前景画像を、例えば、４分の１加重平均して、教師画像の前景画像に対応する生徒画像を生成する。
【０３９８】
ステップＳ５０３において、学習部５１２−１は、背景領域教師画像フレームメモリ５０３に記憶されている教師画像の背景画像、および背景領域生徒画像フレームメモリ５０８に記憶されている、教師画像の背景画像に対応する生徒画像を基に、背景領域に対応する係数セットを生成する。ステップＳ５０３における係数セットの生成の処理の詳細は、図６３のフローチャートを参照して後述する。
【０３９９】
ステップＳ５０４において、学習部５１２−２は、アンカバードバックグラウンド領域教師画像フレームメモリ５０４に記憶されている、教師画像のアンカバードバックグラウンド領域に属する画素からなる画像、およびアンカバードバックグラウンド領域生徒画像フレームメモリ５０９に記憶されている、教師画像のアンカバードバックグラウンド領域に属する画素からなる画像に対応する生徒画像を基に、アンカバードバックグラウンド領域に対応する係数セットを生成する。
【０４００】
ステップＳ５０５において、学習部５１２−３は、カバードバックグラウンド領域教師画像フレームメモリ５０５に記憶されている、教師画像のカバードバックグラウンド領域に属する画素からなる画像、およびカバードバックグラウンド領域生徒画像フレームメモリ５１０に記憶されている、教師画像のカバードバックグラウンド領域に属する画素からなる画像に対応する生徒画像を基に、カバードバックグラウンド領域に対応する係数セットを生成する。
【０４０１】
ステップＳ５０６において、学習部５１２−４は、前景領域教師画像フレームメモリ５０６に記憶されている教師画像の前景画像、および前景領域生徒画像フレームメモリ５１１に記憶されている、教師画像の前景画像に対応する生徒画像を基に、前景領域に対応する係数セットを生成する。
【０４０２】
ステップＳ５０７において、学習部５１２−１乃至５１２−４は、それぞれ、背景領域に対応する係数セット、アンカバードバックグラウンド領域に対応する係数セット、カバードバックグラウンド領域に対応する係数セット、または前景領域に対応する係数セットを係数セットメモリ５１３に供給する。係数セットメモリ５１３は、背景領域、前景領域、アンカバードバックグラウンド領域、またはカバードバックグラウンド領域のそれぞれに対応する係数セットを記憶して、処理は終了する。
【０４０３】
このように、図５６に構成を示す領域処理部１０４は、背景領域に対応する係数セット、アンカバードバックグラウンド領域に対応する係数セット、カバードバックグラウンド領域に対応する係数セット、および前景領域に対応する係数セットを生成することができる。
【０４０４】
なお、ステップＳ５０３乃至ステップＳ５０６の処理を、シリアルに実行しても、パラレルに実行しても良いことは勿論である。
【０４０５】
次に、図６３のフローチャートを参照して、ステップＳ５０３の処理に対応する、学習部５１２−１が実行する背景領域に対応する係数セットの生成の処理を説明する。
【０４０６】
ステップＳ５２１において、学習部５１２−１は、背景領域に対応する生徒画像に未処理の画素があるか否かを判定し、背景領域に対応する生徒画像に未処理の画素があると判定された場合、ステップＳ５２２に進み、ラスタースキャン順に、背景領域に対応する生徒画像から注目画素を取得する。
【０４０７】
ステップＳ５２３において、クラス分類部５３１のクラスタップ取得部５５１は、背景領域生徒画像フレームメモリ５０８に記憶されている生徒画像から、注目画素に対応するクラスタップを取得する。ステップＳ５２４において、クラス分類部５３１の波形分類部５５２は、クラスタップに対して、ＡＤＲＣ処理を適用し、これにより、クラスタップを構成する画素のビット数を小さくして、注目画素をクラス分類する。ステップＳ５２５において、予測タップ取得部５３２は、分類されたクラスを基に、背景領域生徒画像フレームメモリ５０８に記憶されている生徒画像から、注目画素に対応する予測タップを取得する。
【０４０８】
ステップＳ５２６において、対応画素取得部５３３は、分類されたクラスを基に、背景領域教師画像フレームメモリ５０３に記憶されている教師画像の背景画像から、予測すべき画素値に対応する画素を取得する。
【０４０９】
ステップＳ５２７において、正規方程式生成部５３４は、分類されたクラスを基に、クラス毎の行列に、予測タップおよび予測すべき画素値に対応する画素の画素値を足し込み、ステップＳ５２１に戻り、領域処理部１０４は、未処理の画素があるか否かの判定を繰り返す。予測タップおよび予測すべき画素値に対応する画素の画素値を足し込まれるクラス毎の行列は、クラス毎の係数セットを計算するための正規方程式に対応している。
【０４１０】
ステップＳ５２１において、生徒画像に未処理の画素がないと判定された場合、ステップＳ５２８に進み、正規方程式生成部５３４は、予測タップおよび予測すべき画素値に対応する画素の画素値が設定された、クラス毎の行列を係数計算部５３５に供給する。係数計算部５３５は、予測タップおよび予測すべき画素値に対応する画素の画素値が設定された、クラス毎の行列を解いて、背景領域に対応する、クラス毎の係数セットを計算する。
【０４１１】
なお、係数計算部５３５は、線形予測により画素値を予測するための係数セットに限らず、非線形予測により画素値を予測するための係数セットを計算するようにしてもよい。
【０４１２】
ステップＳ５２９において、係数計算部５３５は、背景領域に対応する、クラス毎の係数セットを係数セットメモリ５１３に出力し、処理は終了する。
【０４１３】
このように、学習部５１２−１は、背景領域に対応する係数セットを生成することができる。
【０４１４】
ステップＳ５０４に対応する、学習部５１２−２による、アンカバードバックグラウンド領域に対応する係数セットの生成の処理は、アンカバードバックグラウンド領域教師画像フレームメモリ５０４に記憶されているアンカバードバックグラウンド領域の画像、およびアンカバードバックグラウンド領域生徒画像フレームメモリ５０９に記憶されているアンカバードバックグラウンド領域に対応する生徒画像を使用することを除いて、図６３のフローチャートを参照して説明した処理と同様なので、その説明は省略する。
【０４１５】
ステップＳ５０５に対応する、学習部５１２−３による、カバードバックグラウンド領域に対応する係数セットの生成の処理は、カバードバックグラウンド領域教師画像フレームメモリ５０５に記憶されているカバードバックグラウンド領域の画像、およびアカバードバックグラウンド領域生徒画像フレームメモリ５１０に記憶されているカバードバックグラウンド領域に対応する生徒画像を使用することを除いて、図６３のフローチャートを参照して説明した処理と同様なので、その説明は省略する。
【０４１６】
ステップＳ５０６に対応する、学習部５１２−４による、前景領域に対応する係数セットの生成の処理は、前景領域教師画像フレームメモリ５０６に記憶されている前景画像、および前景領域生徒画像フレームメモリ５１１に記憶されている前景画像に対応する生徒画像を使用することを除いて、図６３のフローチャートを参照して説明した処理と同様なので、その説明は省略する。
【０４１７】
このように、図５６に構成を示す領域処理部１０４は、背景領域に対応する係数セット、アンカバードバックグラウンド領域に対応する係数セット、カバードバックグラウンド領域に対応する係数セット、および前景領域に対応する係数セットを個々に生成することができる。
【０４１８】
図６４は、クラス分類適応処理を実行して、空間方向に、より高解像度な画像を生成する領域処理部１０４の構成を示すブロック図である。フレームメモリ６０１は、例えば、SD画像である入力画像を、フレーム単位で記憶する。フレームメモリ６０１は、記憶している入力画像を領域分割部６０２に供給する。
【０４１９】
領域分割部６０２は、領域特定部１０３から供給された領域情報を基に、背景領域、前景領域、カバードバックグラウンド領域、またはアンカバードバックグラウンド領域毎に入力画像を分割する。すなわち、領域分割部６０２は、分割された入力画像である、背景画像を背景領域フレームメモリ６０３に供給し、アンカバードバックグラウンド領域に属する画素からなる画像をアンカバードバックグラウンド領域フレームメモリ６０４に供給し、カバードバックグラウンド領域に属する画素からなる画像をカバードバックグラウンド領域フレームメモリ６０５に供給し、前景画像を前景領域フレームメモリ６０６に供給する。
【０４２０】
背景領域フレームメモリ６０３は、領域分割部６０２から供給された、背景領域に属する画素からなる背景画像を記憶する。背景領域フレームメモリ６０３は、記憶している背景画像をマッピング部６０７−１に供給する。
【０４２１】
アンカバードバックグラウンド領域フレームメモリ６０４は、領域分割部６０２から供給された、アンカバードバックグラウンド領域に属する画素からなる画像を記憶する。アンカバードバックグラウンド領域フレームメモリ６０４は、記憶しているアンカバードバックグラウンド領域に属する画素からなる画像をマッピング部６０７−２に供給する。
【０４２２】
カバードバックグラウンド領域フレームメモリ６０５は、領域分割部６０２から供給された、カバードバックグラウンド領域に属する画素からなる画像を記憶する。カバードバックグラウンド領域フレームメモリ６０５は、記憶しているカバードバックグラウンド領域に属する画素からなる画像をマッピング部６０７−３に供給する。
【０４２３】
前景領域フレームメモリ６０６は、領域分割部６０２から供給された、前景領域に属する画素からなる前景画像を記憶する。前景領域入力画像フレームメモリ５０６は、記憶している前景画像をマッピング部６０７−４に供給する。
【０４２４】
マッピング部６０７−１は、係数セットメモリ６０８に記憶されている、背景領域に対応する係数セットを基に、クラス分類適応処理により、背景領域フレームメモリ６０３に記憶されている背景画像に対応する予測画像を生成する。マッピング部６０７−１は、生成した予測画像を合成部６０９に供給する。
【０４２５】
マッピング部６０７−２は、係数セットメモリ６０８に記憶されている、アンカバードバックグラウンド領域に対応する係数セットを基に、クラス分類適応処理により、アンカバードバックグラウンド領域フレームメモリ６０４に記憶されている、アンカバードバックグラウンド領域の画像に対応する予測画像を生成する。マッピング部６０７−２は、生成した予測画像を合成部６０９に供給する。
【０４２６】
マッピング部６０７−３は、係数セットメモリ６０８に記憶されている、カバードバックグラウンド領域に対応する係数セットを基に、クラス分類適応処理により、カバードバックグラウンド領域フレームメモリ６０５に記憶されている、カバードバックグラウンド領域の画像に対応する予測画像を生成する。マッピング部６０７−３は、生成した予測画像を合成部６０９に供給する。
【０４２７】
マッピング部６０７−４は、係数セットメモリ６０８に記憶されている、前景領域に対応する係数セットを基に、クラス分類適応処理により、前景領域フレームメモリ６０６に記憶されている前景画像に対応する予測画像を生成する。マッピング部６０７−４は、生成した予測画像を合成部６０９に供給する。
【０４２８】
合成部６０９は、マッピング部６０７−１から供給された背景画像に対応する予測画像、マッピング部６０７−２から供給されたアンカバードバックグラウンド領域の画像に対応する予測画像、マッピング部６０７−３から供給されたカバードバックグラウンド領域の画像に対応する予測画像、およびマッピング部６０７−４から供給された前景画像に対応する予測画像を合成し、合成された予測画像をフレームメモリ６１０に供給する。
【０４２９】
フレームメモリ６１０は、合成部６０９から供給された予測画像を記憶すると共に、記憶している画像を出力画像として出力する。
【０４３０】
以下、マッピング部６０７−１乃至６０７−４を個々に区別する必要がないとき、単にマッピング部６０７と称する。
【０４３１】
図６５は、マッピング部６０７の構成を示すブロック図である。
【０４３２】
マッピング処理部６３１は、クラス分類処理を実行するクラス分類部６４１、並びに適応処理を実行する予測タップ取得部６４２および予測演算部６４３で構成されている。
【０４３３】
クラス分類部６４１は、クラスタップ取得部６５１および波形分類部６５２で構成され、背景領域、アンカバードバックグラウンド領域、カバードバックグラウンド領域、または前景領域のいずれかの領域に対応する、分割された入力画像の、注目している画素である、注目画素をクラス分類する。
【０４３４】
クラスタップ取得部６５１は、分割された入力画素に対応する、所定の数のクラスタップを取得し、取得したクラスタップを波形分類部６５２に供給する。例えば、クラスタップ取得部６５１は、９個のクラスタップを取得し、取得したクラスタップを波形分類部６５２に供給する。
【０４３５】
波形分類部６５２は、クラスタップに対して、ＡＤＲＣ処理を適用し、これにより、クラスタップを構成する画素のビット数を小さくして、注目画素を所定の数のクラスのうちの１つのクラスに分類し、分類されたクラスに対応するクラス番号を予測タップ取得部６４２に供給する。例えば、波形分類部６５２は、注目画素を５１２のクラスのうちの１つのクラスに分類し、分類されたクラスに対応するクラス番号を予測タップ取得部６４２に供給する。
【０４３６】
予測タップ取得部６４２は、クラス番号を基に、背景領域、アンカバードバックグラウンド領域、カバードバックグラウンド領域、または前景領域のいずれかの領域に対応する、分割された入力画像から、クラスに対応する、所定の数の予測タップを取得し、取得した予測タップおよびクラス番号を予測演算部６４３に供給する。
【０４３７】
予測タップ取得部６４２が予測タップを取得する、背景領域、アンカバードバックグラウンド領域、カバードバックグラウンド領域、または前景領域のいずれかに分割された入力画像は、クラス分類部６４１がクラスタップを取得する、背景領域、アンカバードバックグラウンド領域、カバードバックグラウンド領域、または前景領域のいずれかに分割された入力画像と同一である。
【０４３８】
予測演算部６４３は、クラス番号を基に、係数セットメモリ６０８に記憶されている背景領域、アンカバードバックグラウンド領域、カバードバックグラウンド領域、および前景領域に対応する係数セットから、予測しようとする画素値の領域に対応し、クラスに対応する係数セットを取得する。予測演算部６４３は、予測しようとする画素値の領域に対応し、クラスに対応する係数セット、および予測タップを基に、線形予測により予測画像の画素値を予測する。予測演算部４３は、予測した画素値をフレームメモリ６３２に供給する。
【０４３９】
なお、予測演算部６４３は、非線形予測により予測画像の画素値を予測するようしてもよい。
【０４４０】
フレームメモリ６３２は、マッピング処理部６３１から供給された、予測された画素値からなる画像を出力する。
【０４４１】
図６６乃至図７１に示す画像を参照して、図６４に構成を示す領域処理部１０４を有する本発明の画像処理装置の処理の結果の例を説明する。
【０４４２】
例に示す結果を生成する処理において、本発明の画像処理装置のクラス分類適応処理におけるクラスの数の総和は、従来のクラス分類適応処理におけるクラスの数と同一である。すなわち、従来のクラス分類適応処理におけるクラスの数は、２０４８とし、本発明の画像処理装置の各領域のクラス分類適応処理におけるクラスの数は、５１２とした。
【０４４３】
また、従来のクラス分類適応処理における予測タップの数、および本発明の画像処理装置の各領域のクラス分類適応処理における予測タップの数は、９個とし、同一とした。
【０４４４】
図６６乃至図６８を参照して、カバードバックグラウンド領域における予測の結果を説明する。
【０４４５】
図６６（Ａ）は、教師画像の混合領域における画像の例を示す図である。図６６（Ｂ）は、教師画像の混合領域における画像の、空間方向の位置に対応する画素値の変化を示す図である。
【０４４６】
図６７（Ａ）は、図６６に示す教師画像に対応する、従来のクラス分類適応処理により生成された、混合領域の画像の例を示す図である。図６７（Ｂ）は、図６６に示す教師画像に対応する、従来のクラス分類適応処理により生成された、混合領域における画像の、空間方向の位置に対応する画素値の変化を示す図である。
【０４４７】
図６８（Ａ）は、図６６に示す教師画像に対応する、図６４に構成を示す領域処理部１０４により生成された、混合領域の画像の例を示す図である。図６７（Ｂ）は、図６６に示す教師画像に対応する、図６４に構成を示す領域処理部１０４により生成された、混合領域における画像の、空間方向の位置に対応する画素値の変化を示す図である。
【０４４８】
従来のクラス分類適応処理により生成された、混合領域における画像の画素値は、教師画像に比較して、階段状に変化し、生成された実際の画像においても、段階的に変化していることが、目視により確認できる。
【０４４９】
これに対して、図６４に構成を示す領域処理部１０４により生成された、混合領域における画像の画素値は、従来に比較して、より滑らかに変化し、教師画像により近い変化を示す。領域処理部１０４により生成された画像を目視により確認しても、従来に比較して、滑らかな画像であることが確認できる。
【０４５０】
図６９乃至図７１を参照して、画素の位置に対して画素値がほぼ直線的に変化している前景領域における予測の結果を説明する。
【０４５１】
図６９（Ａ）は、画素値がほぼ直線的に変化している、教師画像の前景領域における画像の例を示す図である。図６９（Ｂ）は、画素値がほぼ直線的に変化している、教師画像の前景領域における画像の、空間方向の位置に対応する画素値の変化を示す図である。
【０４５２】
図７０（Ａ）は、従来のクラス分類適応処理により生成された、図６９の画像に対応する、前景領域の画像の例を示す図である。図７０（Ｂ）は、従来のクラス分類適応処理により生成された、図６９の画像に対応する、前景領域における画像の、空間方向の位置に対応する画素値の変化を示す図である。
【０４５３】
図７１（Ａ）は、図６４に構成を示す領域処理部１０４により生成された、図６９の画像に対応する、前景領域の画像の例を示す図である。図６７（Ｂ）は、図６４に構成を示す領域処理部１０４により生成された、図６９の画像に対応する、前景領域における画像の、空間方向の位置に対応する画素値の変化を示す図である。
【０４５４】
従来のクラス分類適応処理により生成された、前景領域における画像の画素値は、混合領域と同様に、教師画像に比較して、階段状に変化し、実際の画像においても、段階的に変化していることが、目視により確認できる。
【０４５５】
これに対して、図６４に構成を示す領域処理部１０４により生成された、前景領域における画像の画素値は、従来に比較して、より滑らかに変化し、教師画像に極めて近い値となる。領域処理部１０４により生成された画像の目視による確認においては、教師画像との違いが認められなかった。
【０４５６】
また、所定の画像について、従来のクラス分類適応処理により生成された画像の各領域におけるSN比と、本発明に係る画像処理装置のクラス分類適応処理により生成された画像の各領域におけるSN比とを求めて比較した。
【０４５７】
従来のクラス分類適応処理により生成された画像のカバードバックグラウンド領域におけるSN比は、32.1716dBであり、アンカバードバックグラウンド領域におけるSN比は、31.8744dBであり、前景領域におけるSN比は、31.8835dBであり、背景領域におけるSN比は、31.9985dBであった。
【０４５８】
これに対して、本発明に係る画像処理装置により生成された画像のカバードバックグラウンド領域におけるSN比は、32.1799dBであり、アンカバードバックグラウンド領域におけるSN比は、31.8922dBであり、前景領域におけるSN比は、32.0925dBであり、背景領域におけるSN比は、32.0177dBであった。
【０４５９】
このように、本発明に係る画像処理装置により生成された画像のSN比は、いずれの領域においても、従来のクラス分類適応処理により生成された画像のSN比に比較して高い。
【０４６０】
次に、図７２のフローチャートを参照して、図６４に構成を示す領域処理部１０４の画像の創造の処理を説明する。
【０４６１】
ステップＳ６０１において、領域分割部６０２は、領域特定部１０３から供給された領域情報を基に、背景領域、前景領域、カバードバックグラウンド領域、またはアンカバードバックグラウンド領域に入力画像を分割する。すなわち、領域分割部６０２は、分割された入力画像である、背景領域に属する画素からなる背景画像を背景領域フレームメモリ６０３に供給し、アンカバードバックグラウンド領域に属する画素からなる画像をアンカバードバックグラウンド領域フレームメモリ６０４に供給し、カバードバックグラウンド領域に属する画素からなる画像をカバードバックグラウンド領域フレームメモリ６０５に供給し、前景領域に属する画素からなる前景画像を前景領域フレームメモリ６０６に供給する。
【０４６２】
ステップＳ６０２において、マッピング部６０７−１は、係数セットメモリ６０８に記憶されている、背景領域に対応する係数セットを基に、クラス分類適応処理により、背景領域フレームメモリ６０３に記憶されている背景画像に対応する画像を予測する。背景画像に対応する画像の予測の処理の詳細は、図７３のフローチャートを参照して後述する。
【０４６３】
ステップＳ６０３において、マッピング部６０７−２は、係数セットメモリ６０８に記憶されている、アンカバードバックグラウンド領域に対応する係数セットを基に、クラス分類適応処理により、アンカバードバックグラウンド領域フレームメモリ６０４に記憶されている、アンカバードバックグラウンド領域の画像に対応する画像を予測する。
【０４６４】
ステップＳ６０４において、マッピング部６０７−３は、係数セットメモリ６０８に記憶されている、カバードバックグラウンド領域に対応する係数セットを基に、クラス分類適応処理により、カバードバックグラウンド領域フレームメモリ６０５に記憶されている、カバードバックグラウンド領域の画像に対応する画像を予測する。
【０４６５】
ステップＳ６０５において、マッピング部６０７−４は、係数セットメモリ６０８に記憶されている、前景領域に対応する係数セットを基に、クラス分類適応処理により、前景領域フレームメモリ６０６に記憶されている前景画像に対応する画像を予測する。
【０４６６】
ステップＳ６０６において、合成部６０９は、背景画像に対応する予測画像、アンカバードバックグラウンド領域の画像に対応する予測画像、カバードバックグラウンド領域の画像に対応する予測画像、および前景領域に対応する予測画像を合成する。合成部６０９は、合成された画像をフレームメモリ６１０に供給する。フレームメモリ６１０は、合成部６０９から供給された画像を記憶する。
【０４６７】
ステップＳ６０７において、フレームメモリ６１０は、記憶している、合成された画像を出力し、処理は終了する。
【０４６８】
このように、図６４に構成を示す領域処理部１０４を有する画像処理装置は、背景領域、アンカバードバックグラウンド領域、カバードバックグラウンド領域、および前景領域毎に、入力画像を分割し、分割された画像毎に予測画像を生成することができる。
【０４６９】
なお、ステップＳ６０２乃至ステップＳ６０５の処理を、シリアルに実行しても、パラレルに実行しても良いことは勿論である。
【０４７０】
図７３のフローチャートを参照して、ステップＳ６０２に対応する、マッピング部６０７−１による背景領域に対応する画像の予測の処理を説明する。
【０４７１】
ステップＳ６２１において、マッピング部６０７−１は、背景画像に未処理の画素があるか否かを判定し、背景画像に未処理の画素があると判定された場合、ステップＳ６２２に進み、マッピング処理部６３１は、係数セットメモリ６０８に記憶されている、背景領域に対応する係数セットを取得する。ステップＳ６２３において、マッピング処理部６３１は、ラスタースキャン順に、背景領域フレームメモリ６０３に記憶されている背景画像から注目画素を取得する。
【０４７２】
ステップＳ６２４において、クラス分類部６４１のクラスタップ取得部６５１は、背景領域フレームメモリ６０３に記憶されている背景画像から、注目画素に対応するクラスタップを取得する。ステップＳ６２５において、クラス分類部６４１の波形分類部６５２は、クラスタップに対して、ＡＤＲＣ処理を適用し、これにより、クラスタップを構成する画素のビット数を小さくして、注目画素をクラス分類する。ステップＳ６２６において、予測タップ取得部６４２は、分類されたクラスを基に、背景領域フレームメモリ６０３に記憶されている背景画像から、注目画素に対応する予測タップを取得する。
【０４７３】
ステップＳ６２７において、予測演算部６４３は、背景領域および分類されたクラスに対応する係数セット、および予測タップを基に、線形予測により、予測画像の画素値を予測する。
【０４７４】
なお、予測演算部６４３は、線形予測に限らず、非線形予測により予測画像の画素値を予測するようにしてもよい。
【０４７５】
ステップＳ６２８において、予測演算部６４３は、予測された画素値をフレームメモリ６３２に出力する。フレームメモリ６３２は、予測演算部６４３から供給された画素値を記憶する。手続きは、ステップＳ６２１に戻り、未処理の画素があるか否かの判定を繰り返す。
【０４７６】
ステップＳ６２１において、背景画像に未処理の画素がないと判定された場合、ステップＳ６２９に進み、フレームメモリ６３２は、記憶されている背景領域に対応する予測画像を出力して、処理は終了する。
【０４７７】
このように、マッピング部６０７−１は、分割された入力画像の背景画像を基に、背景画像に対応する画像を予測することができる。
【０４７８】
ステップＳ６０３に対応する、マッピング部６０７−２による、アンカバードバックグラウンド領域に属する画素による構成される画像に対応する予測画像の生成の処理は、アンカバードバックグラウンド領域フレームメモリ６０４に記憶されているアンカバードバックグラウンド領域の画像、およびアンカバードバックグラウンド領域に対応する係数セットを使用することを除いて、図７３のフローチャートを参照して説明した処理と同様なので、その説明は省略する。
【０４７９】
ステップＳ６０４に対応する、マッピング部６０７−３による、カバードバックグラウンド領域に属する画素による構成される画像に対応する予測画像の生成の処理は、アカバードバックグラウンド領域フレームメモリ６０５に記憶されているカバードバックグラウンド領域の画像、およびカバードバックグラウンド領域に対応する係数セットを使用することを除いて、図７３のフローチャートを参照して説明した処理と同様なので、その説明は省略する。
【０４８０】
ステップＳ６０５に対応する、マッピング部６０７−４による、前景画像に対応する予測画像の生成の処理は、前景領域フレームメモリ６０６に記憶されている前景画像、および前景領域に対応する係数セットを使用することを除いて、図７３のフローチャートを参照して説明した処理と同様なので、その説明は省略する。
【０４８１】
このように、図６４に構成を示す領域処理部１０４は、背景領域、アンカバードバックグラウンド領域、カバードバックグラウンド領域、および前景領域毎に予測画像を生成することができる。
【０４８２】
図７４は、背景領域、アンカバードバックグラウンド領域、カバードバックグラウンド領域、または前景領域毎に、異なる効果のエッジ強調処理を適用する領域処理部１０４の構成を示すブロック図である。
【０４８３】
フレームメモリ７０１は、入力画像を、フレーム単位で記憶する。フレームメモリ７０１は、記憶している入力画像を領域分割部７０２に供給する。
【０４８４】
領域分割部７０２は、領域特定部１０３から供給された領域情報を基に、背景領域、前景領域、カバードバックグラウンド領域、またはアンカバードバックグラウンド領域に入力画像を分割する。すなわち、領域分割部７０２は、分割された入力画像である、背景領域に属する画素からなる背景画像を背景領域フレームメモリ７０３に供給し、アンカバードバックグラウンド領域に属する画素からなる画像をアンカバードバックグラウンド領域フレームメモリ７０４に供給し、カバードバックグラウンド領域に属する画素からなる画像をカバードバックグラウンド領域フレームメモリ７０５に供給し、前景領域に属する画素からなる前景画像を前景領域フレームメモリ７０６に供給する。
【０４８５】
背景領域フレームメモリ７０３は、領域分割部７０２から供給された、背景領域に属する画素からなる背景画像を記憶する。背景領域フレームメモリ７０３は、記憶している背景画像をエッジ強調部７０７−１に供給する。
【０４８６】
アンカバードバックグラウンド領域フレームメモリ７０４は、領域分割部７０２から供給された、アンカバードバックグラウンド領域に属する画素からなる画像を記憶する。アンカバードバックグラウンド領域フレームメモリ７０４は、記憶しているアンカバードバックグラウンド領域に属する画素からなる画像をエッジ強調部７０７−２に供給する。
【０４８７】
カバードバックグラウンド領域フレームメモリ７０５は、領域分割部７０２から供給された、カバードバックグラウンド領域に属する画素からなる画像を記憶する。カバードバックグラウンド領域フレームメモリ７０５は、記憶しているカバードバックグラウンド領域に属する画素からなる画像をエッジ強調部７０７−３に供給する。
【０４８８】
前景領域フレームメモリ７０６は、領域分割部７０２から供給された、前景領域に属する画素からなる前景画像を記憶する。前景領域入力画像フレームメモリ５０６は、記憶している前景画像をエッジ強調部７０７−４に供給する。
【０４８９】
エッジ強調部７０７−１は、背景領域フレームメモリ７０３に記憶されている背景画像に、背景画像に適したエッジ強調の処理を適用して、エッジ強調した背景画像を合成部７０８に供給する。
【０４９０】
例えば、エッジ強調部７０７−１は、静止している画像である背景画像に、アンカバードバックグラウンド領域、カバードバックグラウンド領域、または前景領域に比較して、エッジをより強調するエッジ強調の処理を実行する。このようにすることで、動いている画像にエッジ強調の処理を適用したときの不自然な画像の劣化を発生させることなく、背景画像の解像度感をより増加させることができる。
【０４９１】
エッジ強調部７０７−２は、アンカバードバックグラウンド領域フレームメモリ７０４に記憶されている画像に、アンカバードバックグラウンド領域の画像に適したエッジ強調の処理を適用して、エッジ強調した画像を合成部７０８に供給する。
【０４９２】
例えば、エッジ強調部７０７−２は、動いている前景成分を含む画像であるアンカバードバックグラウンド領域の画像に、背景領域に比較して、エッジ強調の度合いの少ないエッジ強調の処理を実行する。このようにすることで、アンカバードバックグラウンド領域の画像において、解像度感を向上させつつ、動いている画像にエッジ強調の処理を適用したときの不自然な画像の劣化を減少させることができる。
【０４９３】
エッジ強調部７０７−３は、カバードバックグラウンド領域フレームメモリ７０５に記憶されている画像に、カバードバックグラウンド領域の画像に適したエッジ強調の処理を適用して、エッジ強調した画像を合成部７０８に供給する。
【０４９４】
例えば、エッジ強調部７０７−３は、動いている前景成分を含む画像であるカバードバックグラウンド領域の画像に、背景領域に比較して、エッジ強調の度合いの少ないエッジ強調の処理を実行する。このようにすることで、カバードバックグラウンド領域の画像において、解像度感を向上させつつ、動いている画像にエッジ強調の処理を適用したときの不自然な画像の劣化を減少させることができる。
【０４９５】
エッジ強調部７０７−４は、前景領域フレームメモリ７０６に記憶されている前景画像に、前景画像に適したエッジ強調の処理を適用して、エッジ強調した前景画像を合成部７０８に供給する。
【０４９６】
例えば、エッジ強調部７０７−４は、動いている前景画像に、背景領域に比較して、エッジ強調の度合いの少ないエッジ強調の処理を実行する。このようにすることで、前景画像において、解像度感を向上させつつ、動いている画像にエッジ強調の処理を適用したときの不自然な画像の劣化を減少させることができる。
【０４９７】
合成部７０８は、エッジ強調部７０７−１から供給された、エッジ強調された背景画像、エッジ強調部７０７−２から供給された、エッジ強調されたアンカバードバックグラウンド領域に属する画素からなる画像、エッジ強調部７０７−３から供給された、エッジ強調されたカバードバックグラウンド領域に属する画素からなる画像、およびエッジ強調部７０７−４から供給された、エッジ強調された前景画像を合成し、合成された予測画像をフレームメモリ７０９に供給する。
【０４９８】
フレームメモリ７０９は、合成部７０８から供給された、合成された予測画像を記憶すると共に、記憶している画像を出力画像として出力する。
【０４９９】
このように、図７４に構成を示す領域処理部１０４は、背景領域、アンカバードバックグラウンド領域、カバードバックグラウンド領域、または前景領域毎に、それぞれの画像の性質に対応したエッジ強調処理を適用するので、画像を不自然に劣化させることなく、画像の解像度感を増すことができる。
【０５００】
以下、エッジ強調部７０７−１乃至７０７−４を個々に区別する必要がないとき、単にエッジ強調部７０７と称する。
【０５０１】
図７５は、エッジ強調部７０７の構成を示すブロック図である。領域毎に分割された入力画像は、ハイパスフィルタ７２１および加算部７２３に入力される。
【０５０２】
ハイパスフィルタ７２１は、入力されたフィルタ係数を基に、入力画像から、画素位置に対して画素値が急激に変化している、いわゆる画像の周波数の高い成分を抽出し、画素位置に対して画素値の変化が少ない、いわゆる画像の周波数の低い成分を除去して、エッジ画像を生成する。
【０５０３】
例えば、ハイパスフィルタ７２１は、図７６（Ａ）に示す画像が入力されたとき、図７６（Ｂ）に示すエッジ画像を生成する。
【０５０４】
入力されるフィルタ係数が変化したとき、ハイパスフィルタ７２１は、抽出する画像の周波数、除去する画像の周波数、および抽出する画像のゲインを変化させる。
【０５０５】
図７７乃至図８０を参照して、フィルタ係数とエッジ画像との関係を説明する。
【０５０６】
図７７は、フィルタ係数の第１の例を示す図である。図７７において、Eは、１０の階乗を示す。例えば、E-04は、10^-4を示し、E-02は、10^-2を示す。
【０５０７】
例えば、ハイパスフィルタ７２１は、入力画像の、注目している画素である注目画素の画素値、注目画素を基準として、空間方向Ｙの所定の方向に１画素乃至１５画素の距離だけ離れている画素の画素値、および注目画素を基準として、空間方向Ｙの他の方向に１画素乃至１５画素の距離だけ離れている画素の画素値のそれぞれに、図７７に示すフィルタ係数のうち、対応する係数を乗算する。ハイパスフィルタ７２１は、それぞれの画素の画素値に対応する係数を乗算して得られた結果の総和を算出して、算出された総和を注目画素の画素値に設定する。
【０５０８】
例えば、図７７に示すフィルタ係数を使用するとき、ハイパスフィルタ７２１は、注目画素の画素値に1.2169396を乗算し、注目画素から画面の上方向に１画素の距離だけ離れている画素の画素値に-0.52530356を乗算し、注目画素から画面の上方向に２画素の距離だけ離れている画素の画素値に-0.22739914を乗算する。
【０５０９】
図７７に示すフィルタ係数を使用するとき、ハイパスフィルタ７２１は、同様に、注目画素から画面の上方向に３画素乃至１３画素の距離だけ離れている画素に対応する係数を乗算し、注目画素から画面の上方向に１４画素の距離だけ離れている画素の画素値に-0.00022540586を乗算し、注目画素から画面の上方向に１５画素の距離だけ離れている画素の画素値に-0.00039273163を乗算する。
【０５１０】
図７７に示すフィルタ係数を使用するとき、ハイパスフィルタ７２１は、注目画素から画面の下方向に１画素乃至１５画素の距離だけ離れている画素に同様に対応する係数を乗算する。
【０５１１】
ハイパスフィルタ７２１は、注目画素の画素値、注目画素から画面の上方向に１画素乃至１５画素の距離だけ離れている画素の画素値、および注目画素から画面の下方向に１画素乃至１５画素の距離だけ離れている画素の画素値のそれぞれに、対応する係数を乗算して得られた結果の総和を算出する。ハイパスフィルタ７２１は、算出された総和を注目画素の画素値に設定する。
【０５１２】
ハイパスフィルタ７２１は、注目画素の位置を空間方向Ｘに順次移動させて、上述した処理を繰り返し、画面全体の画素について、画素値を算出する。
【０５１３】
次に、ハイパスフィルタ７２１は、上述のように係数を基に画素値が算出された画像の、注目している画素である注目画素の画素値、注目画素を基準として、空間方向Ｘの所定の方向に１画素乃至１５画素の距離だけ離れている画素の画素値、および注目画素を基準として、空間方向Ｘの他の方向に１画素乃至１５画素の距離だけ離れている画素の画素値のそれぞれに、図７７に示すフィルタ係数のうち、対応する係数を乗算する。ハイパスフィルタ７２１は、それぞれの画素の画素値に対応する係数を乗算して得られた結果の総和を算出して、算出された総和を注目画素の画素値に設定する。
【０５１４】
ハイパスフィルタ７２１は、注目画素の位置を空間方向Ｙに順次移動させて、上述した処理を繰り返し、画面全体の画素について、画素値を算出する。
【０５１５】
すなわち、この例において、ハイパスフィルタ７２１は、図７７に示す係数を使用する、いわゆる１次元フィルタである。
【０５１６】
図７８は、図７７の係数を使用するときのハイパスフィルタ７２１の動作を示す図である。図７８に示すように、図７７の係数を使用するとき、ハイパスフィルタ７２１における、抽出される画像成分の最大のゲインは、１である。
【０５１７】
図７９は、フィルタ係数の第２の例を示す図である。
【０５１８】
図８０は、図７７に示すフィルタ係数を使用した処理と同様の処理を、図７９の係数を使用して実行したときのハイパスフィルタ７２１の動作を示す図である。図８０に示すように、図７９の係数を使用するとき、ハイパスフィルタ７２１における、抽出される画像成分の最大のゲインは、１．５である。
【０５１９】
このように、ハイパスフィルタ７２１は、供給されるフィルタ係数により、抽出する画像成分のゲインを変化させる。
【０５２０】
例えば、図７５に構成を示すエッジ強調部７０７−１は、図７９に示す係数を使用して、エッジ強調の度合いのより強いエッジ強調処理を、背景領域の画像に適用する。図７５に構成を示すエッジ強調部７０７−４は、図７７に示す係数を使用して、エッジ強調の度合いの比較的弱いエッジ強調処理を、前景領域の画像に適用する。
【０５２１】
ここでは例示しないが、同様に、異なるフィルタ係数が供給されたとき、ハイパスフィルタ７２１は、抽出する画像の周波数、および除去する画像の周波数を変化させることができる。
【０５２２】
図７５に戻り、ハイパスフィルタ７２１は、生成したエッジ画像をゲイン調整部７２２に供給する。
【０５２３】
ゲイン調整部７２２は、入力されたゲイン調整係数を基に、ハイパスフィルタ７２１から供給されたエッジ画像を増幅するか、または減衰する。入力されるゲイン調整係数が変化したとき、ゲイン調整部７２２は、エッジ画像の増幅率（減衰率）を変化させる。例えば、ゲイン調整部７２２は、１以上の増幅率を指定するゲイン調整係数が入力されたとき、エッジ画像を増幅し、１未満の増幅率を指定するゲイン調整係数が入力されたとき、エッジ画像を減衰する。
【０５２４】
ゲイン調整部７２２は、ゲインが調整されたエッジ画像を加算部７２３に供給する。
【０５２５】
加算部７２３は、分割された入力画像と、ゲイン調整部７２２から供給された、ゲインが調整されたエッジ画像とを加算して、加算された画像を出力する。
【０５２６】
例えば、加算部７２３は、図７６（Ａ）に示す入力画像が入力され、図７６（Ｂ）に示すエッジ画像がハイパスフィルタ７２１から供給されたとき、図７６（Ａ）の入力画像と図７６（Ｂ）のエッジ画像とを加算して、図７６（Ｃ）に示す画像を出力する。
【０５２７】
このように、エッジ強調部７０７は、分割された画像にエッジ強調の処理を適用する。
【０５２８】
図８１は、エッジ強調部７０７の他の構成を示すブロック図である。図８１に示す例において、エッジ強調部７０７は、フィルタ７４１から構成されている。
【０５２９】
フィルタ７４１は、入力されたフィルタ係数を基に、入力画像の、画素位置に対して画素値が急激に変化している、いわゆる画像の周波数の高い成分を増幅して、エッジ強調画像を生成する。
【０５３０】
例えば、フィルタ７４１は、図８２に例を示す係数が供給されたとき、図８２に例を示す係数を基に、ハイパスフィルタ７２１で説明した処理と同様の処理を実行する。
【０５３１】
図８３は、図８２の係数を使用するときのフィルタ７４１の動作を示す図である。図８３に示すように、図８２の係数を使用するとき、フィルタ７４１は、画像の周波数の高い成分を２倍に増幅し、画像の周波数の低い成分をそのまま通過させて、エッジ強調画像を生成する。
【０５３２】
図８２の係数を使用するときのフィルタ７４１は、図７７の係数を利用し、ゲイン調整部７２２のゲインが１であるときの、図７５に構成を示すエッジ強調部７０７の出力画像と同一の出力画像を出力する。
【０５３３】
図８４は、フィルタ７４１に供給されるフィルタ係数の第２の例を示す図である。
【０５３４】
図８５は、図８４の係数を使用するときのフィルタ７４１の動作を示す図である。図８５に示すように、図８４の係数を使用するとき、フィルタ７４１は、画像の周波数の高い成分を２．５倍に増幅し、画像の周波数の低い成分をそのまま通過させて、エッジ強調画像を生成する。
【０５３５】
図８４の係数を使用するときのフィルタ７４１は、図７９の係数を利用し、ゲイン調整部７２２のゲインが１であるときの、図７５に構成を示すエッジ強調部７０７の出力画像と同一の出力画像を出力する。
【０５３６】
このように、図８１に構成を示すエッジ強調部７０７は、入力されるフィルタ係数により、画像の高周波成分のゲインを変化させて、画像のエッジの強調の度合いを変更することができる。
【０５３７】
以上のように、エッジ強調部７０７−１乃至７０７−４は、例えば、異なるフィルタ係数またはゲイン調整係数を基に、分割された画像の性質に対応したエッジ強調の処理を実行する。
【０５３８】
例えば、図８１に構成を示すエッジ強調部７０７−１は、図８４に示す係数を使用して、エッジ強調の度合いのより強いエッジ強調処理を、背景領域の画像に適用する。図８１に構成を示すエッジ強調部７０７−４は、図８２に示す係数を使用して、エッジ強調の度合いの比較的弱いエッジ強調処理を、前景領域の画像に適用する。
【０５３９】
図８６は、図７４に構成を示す領域処理部１０４の処理を説明する図である。
【０５４０】
入力画像の前景領域、アンカバードバックグラウンド領域、カバードバックグラウンド領域、および背景領域は、領域特定部１０３に特定される。
【０５４１】
領域が特定された入力画像は、領域処理部１０４により、領域毎に分割される。分割された、背景領域の画像、アンカバードバックグラウンド領域の画像、カバードバックグラウンド領域の画像、および前景領域の画像は、図７４に構成を示す領域処理部１０４により、それぞれの画像の性質に対応して、それぞれの画像毎にエッジ強調される。
【０５４２】
それぞれにエッジ強調された、背景領域の画像、アンカバードバックグラウンド領域の画像、カバードバックグラウンド領域の画像、および前景領域の画像は、合成される。
【０５４３】
次に、図８７のフローチャートを参照して、図７４に構成を示す領域処理部１０４のエッジ強調の処理を説明する。
【０５４４】
ステップＳ７０１において、領域分割部７０２は、領域特定部１０３から供給された領域情報を基に、背景領域、前景領域、カバードバックグラウンド領域、またはアンカバードバックグラウンド領域に入力画像を分割する。すなわち、領域分割部７０２は、分割された入力画像である、背景領域に属する画素からなる背景画像を背景領域フレームメモリ７０３に供給し、アンカバードバックグラウンド領域に属する画素からなる画像をアンカバードバックグラウンド領域フレームメモリ７０４に供給し、カバードバックグラウンド領域に属する画素からなる画像をカバードバックグラウンド領域フレームメモリ７０５に供給し、前景領域に属する画素からなる前景画像を前景領域フレームメモリ７０６に供給する。
【０５４５】
ステップＳ７０２において、エッジ強調部７０７−１は、背景画像の性質に対応したエッジ強調に処理により、背景領域フレームメモリ７０３に記憶されている背景画像をエッジ強調する。
【０５４６】
ステップＳ７０３において、エッジ強調部７０７−２は、アンカバードバックグラウンド領域の画像の性質に対応したエッジ強調に処理により、アンカバードバックグラウンド領域フレームメモリ７０４に記憶されている、アンカバードバックグラウンド領域の画像をエッジ強調する。
【０５４７】
ステップＳ７０４において、エッジ強調部７０７−３は、カバードバックグラウンド領域の画像の性質に対応したエッジ強調に処理により、カバードバックグラウンド領域フレームメモリ７０５に記憶されている、カバードバックグラウンド領域の画像をエッジ強調する。
【０５４８】
ステップＳ７０５において、エッジ強調部７０７−４は、前景画像の性質に対応したエッジ強調に処理により、前景領域フレームメモリ７０６に記憶されている前景画像をエッジ強調する。
【０５４９】
ステップＳ７０６において、合成部７０８は、それぞれにエッジ強調された、背景画像、アンカバードバックグラウンド領域の画像、カバードバックグラウンド領域の画像、および前景画像を合成する。合成部７０８は、合成された画像をフレームメモリ７０９に供給する。フレームメモリ７０９は、合成部７０８から供給された画像を記憶する。
【０５５０】
ステップＳ７０７において、フレームメモリ７０９は、記憶している、合成された画像を出力し、処理は終了する。
【０５５１】
このように、図７４に構成を示す領域処理部１０４は、背景画像、アンカバードバックグラウンド領域の画像、カバードバックグラウンド領域の画像、および前景画像毎に、それぞれの性質に対応してエッジ強調の処理を実行することができるので、動いている画像に不自然な歪みを生じさせることなく、解像度感を向上させることができる。
【０５５２】
なお、ステップＳ７０２乃至ステップＳ７０５の処理を、シリアルに実行しても、パラレルに実行しても良いことは勿論である。
【０５５３】
また、領域処理部１０４が実行する処理は、SD画像とHD画像とに対応する係数の生成、またはSD画像からHD画像を生成する処理に限らず、例えば、空間方向により解像度の高いの画像を生成するための係数を生成し、空間方向により解像度の高い画像を生成するようにしてもよい。さらに、領域処理部１０４は、時間方向に、より解像度の高い画像を生成する処理を実行するようにしてもよい。
【０５５４】
なお、領域処理部１０４は、所定の情報から係数を生成して、生成された係数を基に、クラス分類適応処理を実行するようにしてもよい。
【０５５５】
また、領域処理部１０４は、クラス分類適応処理またはエッジ強調処理に限らず、例えば、所望の大きさへの画像のサイズの変換、RGBなどの色信号の抽出、ノイズの除去、ノイズの除去、画像の圧縮、または符号化など他の処理を特定された領域毎に実行するようにしてもよい。例えば、領域処理部１０４に、それぞれの領域に対応する動きベクトルを基に、動きベクトルに沿った方向の圧縮率を低く、動きベクトルに直交する方向の圧縮率を高くして、各領域毎の画像を圧縮させるようにすれば、従来に比較して、画像の劣化が少ないまま、圧縮比を高くすることができる。
【０５５６】
以上のように、本発明の画像処理装置においては、背景領域、アンカバードバックグラウンド領域、カバードバックグラウンド領域、および前景領域に画像を分割し、分割された画像に適した処理が実行されるので、例えば、解像度のより高い画像が生成される。
【０５５７】
なお、前景となるオブジェクトの動きの方向は左から右として説明したが、その方向に限定されないことは勿論である。
【０５５８】
以上においては、３次元空間と時間軸情報を有する現実空間の画像をビデオカメラを用いて２次元空間と時間軸情報を有する時空間への射影を行った場合を例としたが、本発明は、この例に限らず、より多くの第１の次元の第１の情報を、より少ない第２の次元の第２の情報に射影した場合に適応することが可能である。
【０５５９】
なお、センサは、CCDに限らす、固体撮像素子である、例えば、BBD（Bucket Brigade Device）、CID（Charge Injection Device）、またはCPD（Charge Priming Device）などのセンサでもよく、また、検出素子がマトリックス状に配置されているセンサに限らず、検出素子が１列に並んでいるセンサでもよい。
【０５６０】
本発明の信号処理を行うプログラムを記録した記録媒体は、図１０に示すように、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク９１（フロッピ（登録商標）ディスクを含む）、光ディスク９２（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)を含む）、光磁気ディスク９３（ＭＤ（Mini-Disc）（商標）を含む）、もしくは半導体メモリ９４などよりなるパッケージメディアにより構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM７２や、記憶部７８に含まれるハードディスクなどで構成される。
【０５６１】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０５６２】
【発明の効果】
本発明の画像処理装置および方法、記録媒体、並びにプログラムによれば、背景の画像と移動する物体の画像との混ざり合い対応して画像を処理することができるようになる。
【図面の簡単な説明】
【図１】従来の画像処理装置の構成を示すブロック図である。
【図２】クラスタップを説明する図である。
【図３】予測タップを説明する図である。
【図４】クラス分類適応処理の概略を説明する図である。
【図５】従来の係数セットを説明する図である。
【図６】従来の学習の処理を説明するフローチャートである。
【図７】従来の画像処理装置の構成を示すブロック図である。
【図８】入力画像の画素値、およびクラス分類適応処理により生成された出力画像の画素値を示す図である。
【図９】従来の画像の創造の処理を説明するフローチャートである。
【図１０】本発明に係る画像処理装置の一実施の形態の構成を示すブロック図である。
【図１１】画像処理装置の機能の構成を示すブロック図である。
【図１２】センサによる撮像を説明する図である。
【図１３】画素の配置を説明する図である。
【図１４】検出素子の動作を説明する図である。
【図１５】動いている前景に対応するオブジェクトと、静止している背景に対応するオブジェクトとを撮像して得られる画像を説明する図である。
【図１６】背景領域、前景領域、混合領域、カバードバックグラウンド領域、およびアンカバードバックグラウンド領域を説明する図である。
【図１７】静止している前景に対応するオブジェクトおよび静止している背景に対応するオブジェクトを撮像した画像における、隣接して１列に並んでいる画素の画素値を時間方向に展開したモデル図である。
【図１８】画素値を時間方向に展開し、シャッタ時間に対応する期間を分割したモデル図である。
【図１９】画素値を時間方向に展開し、シャッタ時間に対応する期間を分割したモデル図である。
【図２０】画素値を時間方向に展開し、シャッタ時間に対応する期間を分割したモデル図である。
【図２１】前景領域、背景領域、および混合領域の画素を抽出した例を示す図である。
【図２２】画素と画素値を時間方向に展開したモデルとの対応を示す図である。
【図２３】画素値を時間方向に展開し、シャッタ時間に対応する期間を分割したモデル図である。
【図２４】画素値を時間方向に展開し、シャッタ時間に対応する期間を分割したモデル図である。
【図２５】画素値を時間方向に展開し、シャッタ時間に対応する期間を分割したモデル図である。
【図２６】分割された画像と、画素の画素値を時間方向に展開したモデル図との対応を示す図である。
【図２７】分割された画像の例を示す図である。
【図２８】本発明に係る画像処理装置の画像の処理を説明するフローチャートである。
【図２９】領域特定部１０３の構成の一例を示すブロック図である。
【図３０】前景に対応するオブジェクトが移動しているときの画像を説明する図である。
【図３１】画素値を時間方向に展開し、シャッタ時間に対応する期間を分割したモデル図である。
【図３２】画素値を時間方向に展開し、シャッタ時間に対応する期間を分割したモデル図である。
【図３３】画素値を時間方向に展開し、シャッタ時間に対応する期間を分割したモデル図である。
【図３４】領域判定の条件を説明する図である。
【図３５】領域特定部１０３の領域の特定の結果の例を示す図である。
【図３６】領域特定部１０３の領域の特定の結果の例を示す図である。
【図３７】領域特定の処理を説明するフローチャートである。
【図３８】領域特定部１０３の構成の他の一例を示すブロック図である。
【図３９】画素値を時間方向に展開し、シャッタ時間に対応する期間を分割したモデル図である。
【図４０】背景画像の例を示す図である。
【図４１】２値オブジェクト画像抽出部３０２の構成を示すブロック図である。
【図４２】相関値の算出を説明する図である。
【図４３】相関値の算出を説明する図である。
【図４４】２値オブジェクト画像の例を示す図である。
【図４５】時間変化検出部３０３の構成を示すブロック図である。
【図４６】領域判定部３４２の判定を説明する図である。
【図４７】時間変化検出部３０３の判定の例を示す図である。
【図４８】領域判定部１０３の領域特定の処理を説明するフローチャートである。
【図４９】領域判定の処理の詳細を説明するフローチャートである。
【図５０】領域特定部１０３のさらに他の構成を示すブロック図である。
【図５１】ロバスト化部３６１の構成を説明するブロック図である。
【図５２】動き補償部３８１の動き補償を説明する図である。
【図５３】動き補償部３８１の動き補償を説明する図である。
【図５４】領域特定の処理を説明するフローチャートである。
【図５５】ロバスト化の処理の詳細を説明するフローチャートである。
【図５６】係数セットを生成する領域処理部１０４の構成を示すブロック図である。
【図５７】教師画像と生徒画像との関係を説明する図である。
【図５８】学習部５１２の構成を示すブロック図である。
【図５９】クラス分類処理を説明する図である。
【図６０】ＡＤＲＣ処理を説明する図である。
【図６１】図５６に構成を示す領域処理部１０４が生成する係数セットを説明する図である。
【図６２】図５６に構成を示す領域処理部１０４による、係数セットを生成する学習の処理を説明するフローチャートである。
【図６３】背景領域に対応する係数セットの生成の処理を説明するフローチャートである。
【図６４】クラス分類適応処理を実行して、空間方向に、より高解像度な画像を生成する領域処理部１０４の構成を示すブロック図である。
【図６５】マッピング部６０７の構成を示すブロック図である。
【図６６】教師画像の混合領域における画像の例を示す図である。
【図６７】従来のクラス分類適応処理により生成された、混合領域の画像の例を示す図である。
【図６８】本発明に係る画像処理装置により生成された、混合領域の画像の例を示す図である。
【図６９】教師画像の前景領域における画像の例を示す図である。
【図７０】従来のクラス分類適応処理により生成された、前景領域の画像の例を示す図である。
【図７１】本発明に係る画像処理装置により生成された、前景領域の画像の例を示す図である。
【図７２】図６４に構成を示す領域処理部１０４の画像の創造の処理を説明するフローチャートである。
【図７３】背景領域に対応する画像の予測の処理を説明するフローチャートである。
【図７４】領域毎に、異なる効果のエッジ強調処理を適用する領域処理部１０４の構成を示すブロック図である。
【図７５】エッジ強調部７０７の構成を示すブロック図である。
【図７６】エッジ強調の処理を説明する図である。
【図７７】フィルタ係数を示す図である。
【図７８】ハイパスフィルタ７２１の動作を説明する図である。
【図７９】フィルタ係数を示す図である。
【図８０】ハイパスフィルタ７２１の動作を説明する図である。
【図８１】エッジ強調部７０７の他の構成を示すブロック図である。
【図８２】フィルタ係数を示す図である。
【図８３】フィルタ７４１の動作を説明する図である。
【図８４】フィルタ係数を示す図である。
【図８５】フィルタ７４１の動作を説明する図である。
【図８６】領域処理部１０４の処理を説明する図である。
【図８７】図７４に構成を示す領域処理部１０４のエッジ強調の処理を説明するフローチャートである。
【符号の説明】
７１ CPU， ７２ ROM， ７３ RAM， ７６ 入力部， ７７ 出力部，７８ 記憶部， ７９ 通信部， ９１ 磁気ディスク， ９２ 光ディスク， ９３ 光磁気ディスク， ９４ 半導体メモリ， １０１ オブジェクト抽出部， １０２ 動き検出部， １０３ 領域特定部， １０４ 領域処理部，２０１ フレームメモリ， ２０２−１乃至２０２−４ 静動判定部， ２０３−１乃至２０３−３ 領域判定部， ２０４ 判定フラグ格納フレームメモリ， ２０５ 合成部， ２０６ 判定フラグ格納フレームメモリ， ３０１ 背景画像生成部， ３０２ ２値オブジェクト画像抽出部， ３０３ 時間変化検出部， ３２１ 相関値演算部， ３２２ しきい値処理部， ３４１ フレームメモリ， ３４２ 領域判定部， ３６１ ロバスト化部， ３８１ 動き補償部， ３８２ スイッチ， ３８３−１乃至３８３−Ｎ フレームメモリ、 ３８４−１乃至３８４−Ｎ 重み付け部， ３８５ 積算部， ５０２ 領域分割部， ５０３ 背景領域教師画像フレームメモリ， ５０４ アンカバードバックグラウンド領域教師画像フレームメモリ， ５０５ カバードバックグラウンド領域教師画像フレームメモリ， ５０６ 前景領域教師画像フレームメモリ， ５０７−１乃至５０７−４ 加重平均部， ５０８ 背景領域生徒画像フレームメモリ， ５０９ アンカバードバックグラウンド領域生徒画像フレームメモリ， ５１０ カバードバックグラウンド領域生徒画像フレームメモリ， ５１１ 前景領域生徒画像フレームメモリ， ５１２−１乃至５１２−４ 学習部， ５１３ 係数セットメモリ， ５３１ クラス分類部， ５３２ 予測タップ取得部， ５３３ 対応画素取得部， ５３４ 正規方程式生成部， ５３５係数計算部， ５５１ クラスタップ取得部， ５５２ 波形分類部， ６０２ 領域分割部， ６０３ 背景領域フレームメモリ， ６０４ アンカバードバックグラウンド領域フレームメモリ， ６０５ カバードバックグラウンド領域フレームメモリ， ６０６ 前景領域フレームメモリ， ６０７−１乃至６０７−４ マッピング部， ６０８ 係数セットメモリ， ６０９ 合成部， ６３１ マッピング処理部， ６４１ クラス分類部， ６４２ 予測タップ取得部， ６４３ 予測演算部， ６５１ クラスタップ取得部， ６５２ 波形分類部， ７０２ 領域分割部， ７０３ 背景領域フレームメモリ， ７０４ アンカバードバックグラウンド領域フレームメモリ， ７０５ カバードバックグラウンド領域フレームメモリ， ７０６ 前景領域フレームメモリ， ７０７−１乃至７０７−４ エッジ強調部， ７０８ 合成部， ７２１ ハイパスフィルタ， ７２２ ゲイン調整部， ７２３ 加算部， ７４１ フィルタ

Claims (4)

1. 時間積分効果を有する所定数の画素を有する撮像素子によって取得された所定数の画素データからなる入力画像データを処理する画像処理装置において、
   前記入力画像データの注目フレームとその前後のフレームの対応する画素どうしの画素データの差分絶対値に基づいて、前景オブジェクトを構成する前景オブジェクト成分、および背景オブジェクトを構成する背景オブジェクト成分が混合されてなる混合領域、前記前景オブジェクト成分からなる前景領域、および前記背景オブジェクトを構成する背景オブジェクト成分からなる背景領域の一方により構成される非混合領域、前記混合領域の前記背景オブジェクト成分から前記前景オブジェクト成分に変化する領域であるカバードバックグラウンド領域、および、前記混合領域の前記前景オブジェクト成分から前記背景オブジェクト成分に変化する領域であるアンカバードバックグラウンド領域を特定し、特定結果に対応する領域特定情報を出力する領域特定手段
   を含み、
   前記領域特定手段は、前記注目フレームとその１つ前のフレームの対応する画素どうしの画素データの差分絶対値と、前記注目フレームとその１つ後のフレームの対応する画素どうしの画素データの差分絶対値が所定の閾値以下である場合、その画素を前記背景領域の画素と特定し、前記注目フレームとその１つ前のフレームの対応する画素どうしの画素データの差分絶対値と、前記注目フレームとその１つ後のフレームの対応する画素どうしの画素データの差分絶対値が前記所定の閾値より大きい場合、その画素を前記前景領域の画素と特定し、前記注目フレームとその１つ前のフレームの対応する画素どうしの画素データの差分絶対値が前記所定の閾値より大きく、前記注目フレームより１つ前のフレームと前記注目フレームより２つ前のフレームの対応する画素どうしの画素データの差分絶対値が前記所定の閾値以下である場合、その画素を前記カバードバックグラウンド領域の画素と特定し、前記注目フレームとその１つ後のフレームの対応する画素どうしの画素データの差分絶対値が前記所定の閾値より大きく、前記注目フレームより１つ後のフレームと前記注目フレームより２つ後のフレームの対応する画素どうしの画素データの差分絶対値が前記所定の閾値以下である場合、その画素を前記アンカバードバックグラウンド領域の画素と特定する
   ことを特徴とする画像処理装置。
2. 時間積分効果を有する所定数の画素を有する撮像素子によって取得された所定数の画素データからなる入力画像データを処理する画像処理方法において、
   前記入力画像データの注目フレームとその前後のフレームの対応する画素どうしの画素データの差分絶対値に基づいて、前景オブジェクトを構成する前景オブジェクト成分、および背景オブジェクトを構成する背景オブジェクト成分が混合されてなる混合領域、前記前景オブジェクト成分からなる前景領域、および前記背景オブジェクトを構成する背景オブジェクト成分からなる背景領域の一方により構成される非混合領域、前記混合領域の前記背景オブジェクト成分から前記前景オブジェクト成分に変化する領域であるカバードバックグラウンド領域、および、前記混合領域の前記前景オブジェクト成分から前記背景オブジェクト成分に変化する領域であるアンカバードバックグラウンド領域を特定し、特定結果に対応する領域特定情報を出力する領域特定ステップ
   を含み、
   前記領域特定ステップでは、前記注目フレームとその１つ前のフレームの対応する画素どうしの画素データの差分絶対値と、前記注目フレームとその１つ後のフレームの対応する画素どうしの画素データの差分絶対値が所定の閾値以下である場合、その画素を前記背景領域の画素と特定し、前記注目フレームとその１つ前のフレームの対応する画素どうしの画素データの差分絶対値と、前記注目フレームとその１つ後のフレームの対応する画素どうしの画素データの差分絶対値が前記所定の閾値より大きい場合、その画素を前記前景領域の画素と特定し、前記注目フレームとその１つ前のフレームの対応する画素どうしの画素データの差分絶対値が前記所定の閾値より大きく、前記注目フレームより１つ前のフレームと前記注目フレームより２つ前のフレームの対応する画素どうしの画素データの差分絶対値が前記所定の閾値以下である場合、その画素を前記カバードバックグラウンド領域の画素と特定し、前記注目フレームとその１つ後のフレームの対応する画素どうしの画素データの差分絶対値が前記所定の閾値より大きく、前記注目フレームより１つ後のフレームと前記注目フレームより２つ後のフレームの対応する画素どうしの画素データの差分絶対値が前記所定の閾値以下である場合、その画素を前記アンカバードバックグラウンド領域の画素と特定する
   ことを特徴とする画像処理方法。
3. 時間積分効果を有する所定数の画素を有する撮像素子によって取得された所定数の画素データからなる入力画像データを処理するコンピュータに、
   前記入力画像データの注目フレームとその前後のフレームの対応する画素どうしの画素データの差分絶対値に基づいて、前景オブジェクトを構成する前景オブジェクト成分、および背景オブジェクトを構成する背景オブジェクト成分が混合されてなる混合領域、前記前景オブジェクト成分からなる前景領域、および前記背景オブジェクトを構成する背景オブジェクト成分からなる背景領域の一方により構成される非混合領域、前記混合領域の前記背景オブジェクト成分から前記前景オブジェクト成分に変化する領域であるカバードバックグラウンド領域、および、前記混合領域の前記前景オブジェクト成分から前記背景オブジェクト成分に変化する領域であるアンカバードバックグラウンド領域を特定し、特定結果に対応する領域特定情報を出力する領域特定ステップ
   を含み、
   前記領域特定ステップでは、前記注目フレームとその１つ前のフレームの対応する画素どうしの画素データの差分絶対値と、前記注目フレームとその１つ後のフレームの対応する画素どうしの画素データの差分絶対値が所定の閾値以下である場合、その画素を前記背景領域の画素と特定し、前記注目フレームとその１つ前のフレームの対応する画素どうしの画素データの差分絶対値と、前記注目フレームとその１つ後のフレームの対応する画素どうしの画素データの差分絶対値が前記所定の閾値より大きい場合、その画素を前記前景領域の画素と特定し、前記注目フレームとその１つ前のフレームの対応する画素どうしの画素データの差分絶対値が前記所定の閾値より大きく、前記注目フレームより１つ前のフレームと前記注目フレームより２つ前のフレームの対応する画素どうしの画素データの差分絶対値が前記所定の閾値以下である場合、その画素を前記カバードバックグラウンド領域の画素と特定し、前記注目フレームとその１つ後のフレームの対応する画素どうしの画素データの差分絶対値が前記所定の閾値より大きく、前記注目フレームより１つ後のフレームと前記注目フレームより２つ後のフレームの対応する画素どうしの画素データの差分絶対値が前記所定の閾値以下である場合、その画素を前記アンカバードバックグラウンド領域の画素と特定する
   処理を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
4. 時間積分効果を有する所定数の画素を有する撮像素子によって取得された所定数の画素データからなる入力画像データを処理するコンピュータに、
   前記入力画像データの注目フレームとその前後のフレームの対応する画素どうしの画素データの差分絶対値に基づいて、前景オブジェクトを構成する前景オブジェクト成分、および背景オブジェクトを構成する背景オブジェクト成分が混合されてなる混合領域、前記前景オブジェクト成分からなる前景領域、および前記背景オブジェクトを構成する背景オブジェクト成分からなる背景領域の一方により構成される非混合領域、前記混合領域の前記背景オブジェクト成分から前記前景オブジェクト成分に変化する領域であるカバードバックグラウンド領域、および、前記混合領域の前記前景オブジェクト成分から前記背景オブジェクト成分に変化する領域であるアンカバードバックグラウンド領域を特定し、特定結果に対応する領域特定情報を出力する領域特定ステップ
   を含み、
   前記領域特定ステップでは、前記注目フレームとその１つ前のフレームの対応する画素どうしの画素データの差分絶対値と、前記注目フレームとその１つ後のフレームの対応する画素どうしの画素データの差分絶対値が所定の閾値以下である場合、その画素を前記背景領域の画素と特定し、前記注目フレームとその１つ前のフレームの対応する画素どうしの画素データの差分絶対値と、前記注目フレームとその１つ後のフレームの対応する画素どうしの画素データの差分絶対値が前記所定の閾値より大きい場合、その画素を前記前景領域の画素と特定し、前記注目フレームとその１つ前のフレームの対応する画素どうしの画素データの差分絶対値が前記所定の閾値より大きく、前記注目フレームより１つ前のフレームと前記注目フレームより２つ前のフレームの対応する画素どうしの画素データの差分絶対値が前記所定の閾値以下である場合、その画素を前記カバードバックグラウンド領域の画素と特定し、前記注目フレームとその１つ後のフレームの対応する画素どうしの画素データの差分絶対値が前記所定の閾値より大きく、前記注目フレームより１つ後のフレームと前記注目フレームより２つ後のフレームの対応する画素どうしの画素データの差分絶対値が前記所定の閾値以下である場合、その画素を前記アンカバードバックグラウンド領域の画素と特定する
   処理を実行させるプログラム。

Images