JP4608791B2 - 画像処理装置および方法、記録媒体、並びにプログラム - Google Patents
画像処理装置および方法、記録媒体、並びにプログラム Download PDFInfo
- Publication number
- JP4608791B2 JP4608791B2 JP2001073851A JP2001073851A JP4608791B2 JP 4608791 B2 JP4608791 B2 JP 4608791B2 JP 2001073851 A JP2001073851 A JP 2001073851A JP 2001073851 A JP2001073851 A JP 2001073851A JP 4608791 B2 JP4608791 B2 JP 4608791B2
- Authority
- JP
- Japan
- Prior art keywords
- frame
- pixel
- image
- foreground
- correlation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012545 processing Methods 0.000 title claims abstract description 69
- 238000000034 method Methods 0.000 title description 33
- 238000001514 detection method Methods 0.000 claims description 28
- 230000000694 effects Effects 0.000 claims description 8
- 230000010354 integration Effects 0.000 claims description 8
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000003672 processing method Methods 0.000 claims description 2
- 230000015572 biosynthetic process Effects 0.000 abstract 2
- 238000003786 synthesis reaction Methods 0.000 abstract 2
- 230000000875 corresponding effect Effects 0.000 description 295
- 238000010586 diagram Methods 0.000 description 68
- 230000014509 gene expression Effects 0.000 description 47
- 238000003384 imaging method Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000003111 delayed effect Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 230000002596 correlated effect Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000002347 injection Methods 0.000 description 1
- 239000007924 injection Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000037452 priming Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/80—2D [Two Dimensional] animation, e.g. using sprites
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Studio Devices (AREA)
- Studio Circuits (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Television Systems (AREA)
- Picture Signal Circuits (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、画像処理装置および方法、記録媒体、並びにプログラムに関し、特に、センサにより検出した信号と現実世界との違いを考慮した画像処理装置および方法、記録媒体、並びにプログラムに関する。
【０００２】
【従来の技術】
現実世界における事象をセンサで検出し、センサが出力するサンプリングデータを処理する技術が広く利用されている。
【０００３】
例えば、静止している所定の背景の前で移動する物体をビデオカメラで撮像して得られる画像には、物体の移動速度が比較的速い場合、動きボケが生じることになる。
【０００４】
また、ビデオカメラなどで撮像された画像を基に、時間方向に高密度の画像を生成する技術が利用されている。
【０００５】
【発明が解決しようとする課題】
しかしながら、従来、時間方向に高密度の画像を生成するとき、動きボケは考慮されていなかった。従って、動きボケを含む画像に対応して生成される、時間方向に高密度の画像は、不自然な画像になるという課題があった。
【０００６】
本発明はこのような状況に鑑みてなされたものであり、自然な動きボケを含む、時間方向に高密度の画像を生成することができるようにすることを目的とする。
【０００７】
【課題を解決するための手段】
本発明の画像処理装置は、フレームのうちの注目しているフレームである注目フレームの画像データと、注目フレームに隣接する第１のフレームおよび第２のフレームの対応する画像データとの相関をそれぞれ検出する相関検出手段と、第１のフレームと第２のフレームの対応する画像データのうち、相関の大きい方の画像データに基づいて、相関の大きい画像データのフレーム側の第３のフレームの画素データとなる第１の画素データを生成するとともに、注目フレームの画像データおよび第３のフレームの第１の画素データに基づいて、相関の小さい画像データのフレーム側の第４のフレームの画素データとなる第２の画素データを生成する画素データ生成手段とを含むことを特徴とする。
【０００８】
画像処理装置は、検出素子が少なくとも１つの方向に複数個配置されているセンサによって取得された画像を処理するようにすることができる。
【０００９】
画像処理装置は、複数個の検出素子がマトリクス状に配置されているセンサによって取得された画像を処理するようにすることができる。
【００１０】
相関検出手段は、相関として、画素データの差分を検出するようにすることができる。
【００１１】
本発明の画像処理方法は、フレームのうちの注目しているフレームである注目フレームの画像データと、注目フレームに隣接する第１のフレームおよび第２のフレームの対応する画像データとの相関をそれぞれ検出する相関検出ステップと、第１のフレームと第２のフレームの対応する画像データのうち、相関の大きい方の画像データに基づいて、相関の大きい画像データのフレーム側の第３のフレームの画素データとなる第１の画素データを生成するとともに、注目フレームの画像データおよび第３のフレームの第１の画素データに基づいて、相関の小さい画像データのフレーム側の第４のフレームの画素データとなる第２の画素データを生成する画素データ生成ステップとを含むことを特徴とする。
【００１５】
本発明の記録媒体のプログラムは、フレームのうちの注目しているフレームである注目フレームの画像データと、注目フレームに隣接する第１のフレームおよび第２のフレームの対応する画像データとの相関をそれぞれ検出する相関検出ステップと、第１のフレームと第２のフレームの対応する画像データのうち、相関の大きい方の画像データに基づいて、相関の大きい画像データのフレーム側の第３のフレームの画素データとなる第１の画素データを生成するとともに、注目フレームの画像データおよび第３のフレームの第１の画素データに基づいて、相関の小さい画像データのフレーム側の第４のフレームの画素データとなる第２の画素データを生成する画素データ生成ステップとを含むことを特徴とする。
【００１９】
本発明のプログラムは、フレームのうちの注目しているフレームである注目フレームの画像データと、注目フレームに隣接する第１のフレームおよび第２のフレームの対応する画像データとの相関をそれぞれ検出する相関検出ステップと、第１のフレームと第２のフレームの対応する画像データのうち、相関の大きい方の画像データに基づいて、相関の大きい画像データのフレーム側の第３のフレームの画素データとなる第１の画素データを生成するとともに、注目フレームの画像データおよび第３のフレームの第１の画素データに基づいて、相関の小さい画像データのフレーム側の第４のフレームの画素データとなる第２の画素データを生成する画素データ生成ステップとをコンピュータに実行させることを特徴とする。
【００２３】
本発明の画像処理装置および方法、記録媒体、並びにプログラムにおいては、フレームのうちの注目しているフレームである注目フレームの画像データと、注目フレームに隣接する第１のフレームおよび第２のフレームの対応する画像データとの相関がそれぞれ検出され、第１のフレームと第２のフレームの対応する画像データのうち、相関の大きい方の画像データに基づいて、相関の大きい画像データのフレーム側の第３のフレームの画素データとなる第１の画素データが生成されるとともに、注目フレームの画像データおよび第３のフレームの第１の画素データに基づいて、相関の小さい画像データのフレーム側の第４のフレームの画素データとなる第２の画素データが生成される。
【００２４】
【発明の実施の形態】
図１は、本発明に係る信号処理装置の一実施の形態の構成を示すブロック図である。CPU（Central Processing Uuit）２１は、ROM（Read Only Memory）２２、または記憶部２８に記憶されているプログラムに従って各種の処理を実行する。RAM（Random Access Memory）２３には、CPU２１が実行するプログラムやデータなどが適宜記憶される。これらのCPU２１、ROM２２、およびRAM２３は、バス２４により相互に接続されている。
【００２５】
CPU２１にはまた、バス２４を介して入出力インタフェース２５が接続されている。入出力インタフェース２５には、キーボード、マウス、マイクロホンなどよりなる入力部２６、ディスプレイ、スピーカなどよりなる出力部２７が接続されている。CPU２１は、入力部２６から入力される指令に対応して各種の処理を実行する。そして、CPU２１は、処理の結果得られた画像や音声等を出力部２７に出力する。
【００２６】
入出力インタフェース２５に接続されている記憶部２８は、例えばハードディスクなどで構成され、CPU２１が実行するプログラムや各種のデータを記憶する。通信部２９は、インターネット、その他のネットワークを介して外部の装置と通信する。この例の場合、通信部２９はセンサの出力を取り込む取得部として働く。
【００２７】
また、通信部２９を介してプログラムを取得し、記憶部２８に記憶してもよい。
【００２８】
入出力インタフェース２５に接続されているドライブ３０は、磁気ディスク５１、光ディスク５２、光磁気ディスク５３、或いは半導体メモリ５４などが装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記憶部２８に転送され、記憶される。
【００２９】
次に、センサにより取得されたデータから、時間方向に高密度の画像を生成する処理を行う信号処理装置についてより具体的な例を挙げて説明する。
【００３０】
図２は、信号処理装置の構成を示すブロック図である。
【００３１】
なお、信号処理装置の各機能をハードウェアで実現するか、ソフトウェアで実現するかは問わない。つまり、本明細書の各ブロック図は、ハードウェアのブロック図と考えても、ソフトウェアによる機能ブロック図と考えても良い。
【００３２】
ここで、動きボケとは、撮像の対象となる、現実世界におけるオブジェクトの動きと、センサの撮像の特性とにより生じる、動いているオブジェクトに対応する画像に含まれている歪みをいう。
【００３３】
この明細書では、撮像の対象となる、現実世界におけるオブジェクトに対応する画像を、画像オブジェクトと称する。
【００３４】
信号処理装置に供給された入力画像は、フレームメモリ１０１、相関演算部１０３、および片側画素値生成部１０５に入力される。
【００３５】
フレームメモリ１０１は、入力された画像をフレーム単位で記憶し、記憶している画像をフレームメモリ１０２、相関演算部１０３、相関演算部１０４、および片側画素値生成部１０５に供給する。信号処理装置に入力画像のフレーム#n＋１が入力されているとき、フレームメモリ１０１は、フレーム#nの画像をフレームメモリ１０２、相関演算部１０３、相関演算部１０４、および片側画素値生成部１０５に供給する。
【００３６】
フレーム#n+1は、フレーム#nの次のフレームであり、フレーム#nは、フレーム#n-1の次のフレームである。
【００３７】
フレームメモリ１０２は、フレームメモリ１０１から供給された画像をフレーム単位で記憶し、記憶している画像を相関演算部１０４、および片側画素値生成部１０５に供給する。信号処理装置に入力画像のフレーム#n＋１が入力されているとき、フレームメモリ１０２は、フレーム#n-1の画像を相関演算部１０４、および片側画素値生成部１０５に供給する。
【００３８】
相関演算部１０３は、フレームメモリ１０１から供給されたフレーム#nの注目している画素、およびフレーム#n+1の対応する画素の相関値を算出して、片側画素値生成部１０５に供給する。相関演算部１０３が算出する相関値は、例えば、フレーム#nの注目している画素の画素値とフレーム#n+1の対応する画素の画素値との差分値を基に算出される。画素の画素値がより近い値であるとき、それらの画素の相関はより強いと言える。すなわち、画素値の差分値のより小さい値は、より強い相関を示す。
【００３９】
相関演算部１０４は、フレームメモリ１０１から供給されたフレーム#nの注目している画素、およびフレームメモリ１０２から供給された、フレーム#n-1の対応する画素の相関値を算出して、片側画素値生成部１０５に供給する。相関演算部１０４が算出する相関値は、例えば、フレーム#nの注目している画素の画素値とフレーム#n-1の対応する画素の画素値との差分値を基に算出される。
【００４０】
片側画素値生成部１０５は、相関演算部１０３から供給された相関値、相関演算部１０４から供給された相関値、およびフレーム#n-1乃至#n+1の画素値を基に、フレーム#nに対応する、時間方向に２倍の密度の画像の画素値を生成して、生成した画素値を片側画素値生成部１０６に供給するとともに、生成した画素値を時間方向に２倍の密度の画像として出力する。
【００４１】
以下、時間方向に２倍の密度の画像を、単に、倍密画像とも称する。
【００４２】
また、片側画素値生成部１０５は、フレーム#nの画像をそのまま、片側画素値生成部１０６に供給する。
【００４３】
片側画素値生成部１０６は、片側画素値生成部１０５から供給された、時間方向に２倍の密度の画像の画素値およびフレーム#nの画像を基に、フレーム#nに対応する、時間方向に２倍の密度の画像の他の画素値を生成して、生成した画素値を時間方向に２倍の密度の画像として出力する。
【００４４】
次に、図３乃至図１９を参照して、信号処理装置に供給される入力画像について説明する。
【００４５】
図３は、センサによる撮像を説明する図である。センサは、例えば、固体撮像素子であるCCD（Charge-Coupled Device）エリアセンサを備えたCCDビデオカメラなどで構成される。現実世界における、前景に対応するオブジェクトは、現実世界における、背景に対応するオブジェクトと、センサとの間を、例えば、図中の左側から右側に水平に移動する。
【００４６】
センサは、前景に対応するオブジェクトを、背景に対応するオブジェクトと共に撮像する。センサは、撮像した画像を１フレーム単位で出力する。例えば、センサは、１秒間に３０フレームから成る画像を出力する。センサの露光時間は、１／３０秒とすることができる。露光時間は、センサが入力された光の電荷への変換を開始してから、入力された光の電荷への変換を終了するまでの期間である。以下、露光時間をシャッタ時間とも称する。
【００４７】
図４は、画素の配置を説明する図である。図４中において、Ａ乃至Ｉは、個々の画素を示す。画素は、画像に対応する平面上に配置されている。１つの画素に対応する１つの検出素子は、センサ上に配置されている。センサが画像を撮像するとき、１つの検出素子は、画像を構成する１つの画素に対応する画素値を出力する。例えば、検出素子のＸ方向の位置は、画像上の横方向の位置に対応し、検出素子のＹ方向の位置は、画像上の縦方向の位置に対応する。
【００４８】
図５に示すように、例えば、CCDである検出素子は、シャッタ時間に対応する期間、入力された光を電荷に変換して、変換された電荷を蓄積する。電荷の量は、入力された光の強さと、光が入力されている時間にほぼ比例する。検出素子は、シャッタ時間に対応する期間において、入力された光から変換された電荷を、既に蓄積されている電荷に加えていく。すなわち、検出素子は、シャッタ時間に対応する期間、入力される光を積分して、積分された光に対応する量の電荷を蓄積する。検出素子は、時間に対して、積分効果があるとも言える。
【００４９】
検出素子に蓄積された電荷は、図示せぬ回路により、電圧値に変換され、電圧値は更にデジタルデータなどの画素値に変換されて出力される。従って、センサから出力される個々の画素値は、前景または背景に対応するオブジェクトの空間的に広がりを有するある部分を、シャッタ時間について積分した結果である、１次元の空間に射影された値を有する。
【００５０】
図６は、このような積分効果を有するセンサに入力される光に対応する画素データを説明する図である。図６のf(t)は、入力される光および微少な時間に対応する、時間的に理想的な画素値を示す。
【００５１】
図６において、センサのシャッタ時間は、時刻t1から時刻t3までの期間であり、2tsで示す。
【００５２】
１つの画素データの画素値が、理想的な画素値f(t)の一様な積分で表されるとすれば、時刻t1から時刻t2までの期間に対応する画素データの画素値Y1は、式（１）で表され、時刻t2から時刻t3までの期間に対応する画素データの画素値Y2は、式（２）で表され、センサから出力される画素値Y3は、式（３）で表される。
【００５３】
【数１】
【数２】
【数３】
【００５４】
式（３）を変形することにより、式（４）および式（５）を導くことができる。
【００５５】
Y1=2・Y3-Y2 （４）
Y2=2・Y3-Y1 （５）
従って、センサから出力される画素値Y3および時刻t2から時刻t3までの期間に対応する画素データの画素値Y2が既知であれば、式（４）により、時刻t1から時刻t2までの期間に対応する画素データの画素値Y1を算出することができる。また、センサから出力される画素値Y3および時刻t1から時刻t2までの期間に対応する画素データの画素値Y1が既知であれば、式（５）により、時刻t2から時刻t3までの期間に対応する画素データの画素値Y2を算出することができる。
【００５６】
このように、画素に対応する画素値と、その画素の２つの期間に対応する画素データのいずれか一方の画素値とを知ることができれば、画素の２つの期間に対応する他の画素データの画素値を算出することができる。
【００５７】
図７は、動いている前景に対応するオブジェクトと、静止している背景に対応するオブジェクトとを撮像して得られる画像を説明する図である。図７（Ａ）は、動きを伴う前景に対応するオブジェクトと、静止している背景に対応するオブジェクトとを撮像して得られる画像を示している。図７（Ａ）に示す例において、前景に対応するオブジェクトは、画面に対して水平に左から右に動いている。
【００５８】
図７（Ｂ）は、図７（Ａ）に示す画像の１つのラインに対応する画素値を時間方向に展開したモデル図である。図７（Ｂ）の横方向は、図７（Ａ）の空間方向Ｘに対応している。
【００５９】
背景領域の画素は、背景のオブジェクトに対応する画像の成分（以下、背景の成分とも称する）のみから、その画素値が構成されている。前景領域の画素は、前景のオブジェクトに対応する画像の成分（以下、前景の成分とも称する）のみから、その画素値が構成されている。
【００６０】
混合領域の画素は、背景の成分、および前景の成分から、その画素値が構成されている。混合領域は、背景の成分、および前景の成分から、その画素値が構成されているので、歪み領域ともいえる。混合領域は、更に、カバードバックグラウンド領域およびアンカバードバックグラウンド領域に分類される。
【００６１】
カバードバックグラウンド領域は、前景領域に対して、前景のオブジェクトの進行方向の前端部に対応する位置の混合領域であり、時間の経過に対応して背景成分が前景に覆い隠される領域をいう。
【００６２】
これに対して、アンカバードバックグラウンド領域は、前景領域に対して、前景のオブジェクトの進行方向の後端部に対応する位置の混合領域であり、時間の経過に対応して背景成分が現れる領域をいう。
【００６３】
このように、前景領域、背景領域、またはカバードバックグラウンド領域若しくはアンカバードバックグラウンド領域を含む画像が、フレームメモリ１０１、相関演算部１０３、および片側画素値生成部１０５に入力画像として入力される。
【００６４】
図８は、以上のような、背景領域、前景領域、混合領域、カバードバックグラウンド領域、およびアンカバードバックグラウンド領域を説明する図である。図７に示す画像に対応する場合、背景領域は、静止部分であり、前景領域は、動き部分であり、混合領域のカバードバックグラウンド領域は、背景から前景に変化する部分であり、混合領域のアンカバードバックグラウンド領域は、前景から背景に変化する部分である。
【００６５】
図９は、静止している前景に対応するオブジェクトおよび静止している背景に対応するオブジェクトを撮像した画像における、隣接して１列に並んでいる画素の画素値を時間方向に展開したモデル図である。例えば、隣接して１列に並んでいる画素として、画面の１つのライン上に並んでいる画素を選択することができる。
【００６６】
図９に示すF01乃至F04の画素値は、静止している前景のオブジェクトに対応する画素の画素値である。図９に示すB01乃至B04の画素値は、静止している背景のオブジェクトに対応する画素の画素値である。
【００６７】
図９における縦方向は、図中の上から下に向かって時間が経過する。図９中の矩形の上辺の位置は、センサが入力された光の電荷への変換を開始する時刻に対応し、図９中の矩形の下辺の位置は、センサが入力された光の電荷への変換を終了する時刻に対応する。すなわち、図９中の矩形の上辺から下辺までの距離は、シャッタ時間2tsに対応する。
【００６８】
以下において、シャッタ時間2tsとフレーム間隔とが同一である場合を例に説明する。
【００６９】
図９における横方向は、図７で説明した空間方向Xに対応する。より具体的には、図９に示す例において、図９中の”F01”と記載された矩形の左辺から”B04”と記載された矩形の右辺までの距離は、画素のピッチの８倍、すなわち、連続している８つの画素の間隔に対応する。
【００７０】
前景のオブジェクトおよび背景のオブジェクトが静止している場合、シャッタ時間2tsに対応する期間において、センサに入力される光は変化しない。
【００７１】
ここで、シャッタ時間2tsに対応する期間を２つ以上の同じ長さの期間に分割する。例えば、仮想分割数を４とすると、図９に示すモデル図は、図１０に示すモデルとして表すことができる。仮想分割数は、前景に対応するオブジェクトのシャッタ時間2ts内での動き量vなどに対応して設定される。
【００７２】
動き量vは、動いているオブジェクトに対応する画像の位置の変化を画素間隔を単位として表す値である。例えば、前景に対応するオブジェクトの画像が、あるフレームを基準として次のフレームにおいて４画素分離れた位置に表示されるように移動しているとき、前景に対応するオブジェクトの画像の動き量vは、４とされる。
【００７３】
例えば、４である動き量vに対応して、仮想分割数は、４とされ、シャッタ時間2tsに対応する期間は４つに分割される。
【００７４】
図中の最も上の行は、シャッタが開いて最初の、分割された期間に対応する。図中の上から２番目の行は、シャッタが開いて２番目の、分割された期間に対応する。図中の上から３番目の行は、シャッタが開いて３番目の、分割された期間に対応する。図中の上から４番目の行は、シャッタが開いて４番目の、分割された期間に対応する。
【００７５】
以下、動き量vに対応して分割されたシャッタ時間2tsをシャッタ時間2ts/vとも称する。
【００７６】
前景に対応するオブジェクトが静止しているとき、センサに入力される光は変化しないので、前景の成分F01/vは、画素値F01を仮想分割数で除した値に等しい。同様に、前景に対応するオブジェクトが静止しているとき、前景の成分F02/vは、画素値F02を仮想分割数で除した値に等しく、前景の成分F03/vは、画素値F03を仮想分割数で除した値に等しく、前景の成分F04/vは、画素値F04を仮想分割数で除した値に等しい。
【００７７】
背景に対応するオブジェクトが静止しているとき、センサに入力される光は変化しないので、背景の成分B01/vは、画素値B01を仮想分割数で除した値に等しい。同様に、背景に対応するオブジェクトが静止しているとき、背景の成分B02/vは、画素値B02を仮想分割数で除した値に等しく、B03/vは、画素値B03を仮想分割数で除した値に等しく、B04/vは、画素値B04を仮想分割数で除した値に等しい。
【００７８】
すなわち、前景に対応するオブジェクトが静止している場合、シャッタ時間2tsに対応する期間において、センサに入力される前景のオブジェクトに対応する光が変化しないので、シャッタが開いて最初の、シャッタ時間2ts/vに対応する前景の成分F01/vと、シャッタが開いて２番目の、シャッタ時間2ts/vに対応する前景の成分F01/vと、シャッタが開いて３番目の、シャッタ時間2ts/vに対応する前景の成分F01/vと、シャッタが開いて４番目の、シャッタ時間2ts/vに対応する前景の成分F01/vとは、同じ値となる。F02/v乃至F04/vも、F01/vと同様の関係を有する。
【００７９】
背景に対応するオブジェクトが静止している場合、シャッタ時間2tsに対応する期間において、センサに入力される背景のオブジェクトに対応する光は変化しないので、シャッタが開いて最初の、シャッタ時間2ts/vに対応する背景の成分B01/vと、シャッタが開いて２番目の、シャッタ時間2ts/vに対応する背景の成分B01/vと、シャッタが開いて３番目の、シャッタ時間2ts/vに対応する背景の成分B01/vと、シャッタが開いて４番目の、シャッタ時間2ts/vに対応する背景の成分B01/vとは、同じ値となる。B02/v乃至B04/vも、同様の関係を有する。
【００８０】
次に、前景に対応するオブジェクトが移動し、背景に対応するオブジェクトが静止している場合について説明する。
【００８１】
図１１は、前景に対応するオブジェクトが図中の右側に向かって移動する場合の、カバードバックグラウンド領域を含む、１つのライン上の画素の画素値を時間方向に展開したモデル図である。図１１において、前景の動き量vは、４である。１フレームは短い時間なので、前景に対応するオブジェクトが剛体であり、等速で移動していると仮定することができる。図１１において、前景に対応するオブジェクトの画像は、あるフレームを基準として次のフレームにおいて４画素分右側に表示されるように移動する。
【００８２】
図１１において、最も左側の画素乃至左から４番目の画素は、前景領域に属する。図１１において、左から５番目乃至左から７番目の画素は、カバードバックグラウンド領域である混合領域に属する。図１１において、最も右側の画素は、背景領域に属する。
【００８３】
前景に対応するオブジェクトが時間の経過と共に背景に対応するオブジェクトを覆い隠すように移動しているので、カバードバックグラウンド領域に属する画素の画素値に含まれる成分は、シャッタ時間2tsに対応する期間のある時点で、背景の成分から、前景の成分に替わる。
【００８４】
例えば、図１１中に太線枠を付した画素値Mは、式（６）で表される。
【００８５】
M=B02/v+B02/v+F07/v+F06/v （６）
【００８６】
ここで、混合比は、後述する式（８）に示されるように、画素値における、背景の成分の割合を示す値である。
【００８７】
以下、混合比は、混合比αと称する。
【００８８】
例えば、左から５番目の画素は、１つのシャッタ時間2ts/vに対応する背景の成分を含み、３つのシャッタ時間2ts/vに対応する前景の成分を含むので、左から５番目の画素の混合比αは、1/4である。左から６番目の画素は、２つのシャッタ時間2ts/vに対応する背景の成分を含み、２つのシャッタ時間2ts/vに対応する前景の成分を含むので、左から６番目の画素の混合比αは、1/2である。左から７番目の画素は、３つのシャッタ時間2ts/vに対応する背景の成分を含み、１つのシャッタ時間2ts/vに対応する前景の成分を含むので、左から７番目の画素の混合比αは、3/4である。
【００８９】
前景に対応するオブジェクトが、剛体であり、前景の画像が次のフレームにおいて４画素右側に表示されるように等速で移動すると仮定できるので、例えば、図１１中の左から４番目の画素の、シャッタが開いて最初の、シャッタ時間2ts/vの前景の成分F07/vは、図１１中の左から５番目の画素の、シャッタが開いて２番目のシャッタ時間2ts/vに対応する前景の成分に等しい。同様に、前景の成分F07/vは、図１１中の左から６番目の画素の、シャッタが開いて３番目のシャッタ時間2ts/vに対応する前景の成分と、図１１中の左から７番目の画素の、シャッタが開いて４番目のシャッタ時間2ts/vに対応する前景の成分とに、それぞれ等しい。
【００９０】
前景に対応するオブジェクトが、剛体であり、前景の画像が次のフレームにおいて４画素右側に表示されるように等速で移動すると仮定できるので、例えば、図１１中の左から３番目の画素の、シャッタが開いて最初のシャッタ時間2ts/vの前景の成分F06/vは、図１１中の左から４番目の画素の、シャッタが開いて２番目のシャッタ時間2ts/vに対応する前景の成分に等しい。同様に、前景の成分F06/vは、図１１中の左から５番目の画素の、シャッタが開いて３番目のシャッタ時間2ts/vに対応する前景の成分と、図１１中の左から６番目の画素の、シャッタが開いて４番目のシャッタ時間2ts/vに対応する前景の成分とに、それぞれ等しい。
【００９１】
前景に対応するオブジェクトが、剛体であり、前景の画像が次のフレームにおいて４画素右側に表示されるように等速で移動すると仮定できるので、例えば、図１１中の左から２番目の画素の、シャッタが開いて最初のシャッタ時間2ts/vの前景の成分F05/vは、図１１中の左から３番目の画素の、シャッタが開いて２番目のシャッタ時間2ts/vのに対応する前景の成分に等しい。同様に、前景の成分F05/vは、図１１中の左から４番目の画素の、シャッタが開いて３番目のシャッタ時間2ts/vに対応する前景の成分と、図１１中の左から５番目の画素の、シャッタが開いて４番目のシャッタ時間2ts/vに対応する前景の成分とに、それぞれ等しい。
【００９２】
前景に対応するオブジェクトが、剛体であり、前景の画像が次のフレームにおいて４画素右側に表示されるように等速で移動すると仮定できるので、例えば、図１１中の最も左側の画素の、シャッタが開いて最初のシャッタ時間2ts/vの前景の成分F04/vは、図１１中の左から２番目の画素の、シャッタが開いて２番目のシャッタ時間2ts/vに対応する前景の成分に等しい。同様に、前景の成分F04/vは、図１１中の左から３番目の画素の、シャッタが開いて３番目のシャッタ時間2ts/vに対応する前景の成分と、図１１中の左から４番目の画素の、シャッタが開いて４番目のシャッタ時間2ts/vに対応する前景の成分とに、それぞれ等しい。
【００９３】
動いているオブジェクトに対応する前景の領域は、このように動きボケを含むので、歪み領域とも言える。
【００９４】
図１２は、前景が図中の右側に向かって移動する場合の、アンカバードバックグラウンド領域を含む、１つのライン上の画素の画素値を時間方向に展開したモデル図である。図１２において、前景の動き量vは、４である。１フレームは短い時間なので、前景に対応するオブジェクトが剛体であり、等速で移動していると仮定することができる。図１２において、前景に対応するオブジェクトの画像は、あるフレームを基準として次のフレームにおいて４画素分右側に移動する。
【００９５】
図１２において、最も左側の画素乃至左から４番目の画素は、背景領域に属する。図１２において、左から５番目乃至左から７番目の画素は、アンカバードバックグラウンドである混合領域に属する。図１２において、最も右側の画素は、前景領域に属する。
【００９６】
背景に対応するオブジェクトを覆っていた前景に対応するオブジェクトが時間の経過と共に背景に対応するオブジェクトの前から取り除かれるように移動しているので、アンカバードバックグラウンド領域に属する画素の画素値に含まれる成分は、シャッタ時間2tsに対応する期間のある時点で、前景の成分から、背景の成分に替わる。
【００９７】
例えば、図１２中に太線枠を付した画素値M'は、式（７）で表される。
【００９８】
M'=F02/v+F01/v+B26/v+B26/v （７）
【００９９】
例えば、左から５番目の画素は、３つのシャッタ時間2ts/vに対応する背景の成分を含み、１つのシャッタ時間2ts/vに対応する前景の成分を含むので、左から５番目の画素の混合比αは、3/4である。左から６番目の画素は、２つのシャッタ時間2ts/vに対応する背景の成分を含み、２つのシャッタ時間2ts/vに対応する前景の成分を含むので、左から６番目の画素の混合比αは、1/2である。左から７番目の画素は、１つのシャッタ時間2ts/vに対応する背景の成分を含み、３つのシャッタ時間2ts/vに対応する前景の成分を含むので、左から７番目の画素の混合比αは、1/4である。
【０１００】
式（６）および式（７）をより一般化すると、画素値Mは、式（８）で表される。
【０１０１】
【数４】
ここで、αは、混合比である。Ｂは、背景の画素値であり、Fi/vは、前景の成分である。
【０１０２】
前景に対応するオブジェクトが剛体であり、等速で動くと仮定でき、かつ、動き量vが４であるので、例えば、図１２中の左から５番目の画素の、シャッタが開いて最初の、シャッタ時間2ts/vの前景の成分F01/vは、図１２中の左から６番目の画素の、シャッタが開いて２番目のシャッタ時間2ts/vに対応する前景の成分に等しい。同様に、F01/vは、図１２中の左から７番目の画素の、シャッタが開いて３番目のシャッタ時間2ts/vに対応する前景の成分と、図１２中の左から８番目の画素の、シャッタが開いて４番目のシャッタ時間2ts/vに対応する前景の成分とに、それぞれ等しい。
【０１０３】
前景に対応するオブジェクトが剛体であり、等速で動くと仮定でき、かつ、仮想分割数が４であるので、例えば、図１２中の左から６番目の画素の、シャッタが開いて最初の、シャッタ時間2ts/vの前景の成分F02/vは、図１２中の左から７番目の画素の、シャッタが開いて２番目のシャッタ時間2ts/vに対応する前景の成分に等しい。同様に、前景の成分F02/vは、図１２中の左から８番目の画素の、シャッタが開いて３番目のシャッタ時間2ts/vに対応する前景の成分に等しい。
【０１０４】
前景に対応するオブジェクトが剛体であり、等速で動くと仮定でき、かつ、動き量vが４であるので、例えば、図１２中の左から７番目の画素の、シャッタが開いて最初の、シャッタ時間2ts/vの前景の成分F03/vは、図１２中の左から８番目の画素の、シャッタが開いて２番目のシャッタ時間2ts/vに対応する前景の成分に等しい。
【０１０５】
図１０乃至図１２の説明において、仮想分割数は、４であるとして説明したが、仮想分割数は、動き量vに対応する。動き量vは、一般に、前景に対応するオブジェクトの移動速度に対応する。例えば、前景に対応するオブジェクトが、あるフレームを基準として次のフレームにおいて４画素分右側に表示されるように移動しているとき、動き量vは、４とされる。動き量vに対応し、仮想分割数は、４とされる。同様に、例えば、前景に対応するオブジェクトが、あるフレームを基準として次のフレームにおいて６画素分左側に表示されるように移動しているとき、動き量vは、６とされ、仮想分割数は、６とされる。
【０１０６】
図１３および図１４に、以上で説明した、前景領域、背景領域、カバードバックグラウンド領域若しくはアンカバードバックグラウンド領域から成る混合領域と、分割されたシャッタ時間2tsに対応する前景の成分および背景の成分との関係を示す。
【０１０７】
図１３は、静止している背景の前を移動しているオブジェクトに対応する前景を含む画像から、前景領域、背景領域、および混合領域の画素を抽出した例を示す。図１３に示す例において、前景に対応するオブジェクトは、画面に対して水平に移動している。
【０１０８】
フレーム#n+1は、フレーム#nの次のフレームであり、フレーム#n+2は、フレーム#n+1の次のフレームである。
【０１０９】
フレーム#n乃至フレーム#n+2のいずれかから抽出した、前景領域、背景領域、および混合領域の画素を抽出して、動き量vを４として、抽出された画素の画素値を時間方向に展開したモデルを図１４に示す。
【０１１０】
前景領域の画素値は、前景に対応するオブジェクトが移動するので、シャッタ時間2ts/vの期間に対応する、４つの異なる前景の成分から構成される。例えば、図１４に示す前景領域の画素のうち最も左側に位置する画素は、F01/v,F02/v,F03/v、およびF04/vから構成される。すなわち、前景領域の画素は、動きボケを含んでいる。
【０１１１】
背景に対応するオブジェクトが静止しているので、シャッタ時間2tsに対応する期間において、センサに入力される背景に対応する光は変化しない。この場合、背景領域の画素値は、動きボケを含まない。
【０１１２】
カバードバックグラウンド領域若しくはアンカバードバックグラウンド領域から成る混合領域に属する画素の画素値は、前景の成分と、背景の成分とから構成される。
【０１１３】
次に、オブジェクトに対応する画像が動いているとき、複数のフレームにおける、隣接して１列に並んでいる画素であって、フレーム上で同一の位置の画素の画素値を時間方向に展開したモデルについて説明する。例えば、オブジェクトに対応する画像が画面に対して水平に動いているとき、隣接して１列に並んでいる画素として、画面の１つのライン上に並んでいる画素を選択することができる。
【０１１４】
図１５は、静止している背景に対応するオブジェクトを撮像した画像の３つのフレームの、隣接して１列に並んでいる画素であって、フレーム上で同一の位置の画素の画素値を時間方向に展開したモデル図である。フレーム#nは、フレーム#n-1の次のフレームであり、フレーム#n+1は、フレーム#nの次のフレームである。他のフレームも同様に称する。
【０１１５】
図１５に示すB01乃至B12の画素値は、静止している背景のオブジェクトに対応する画素の画素値である。背景に対応するオブジェクトが静止しているので、フレーム#n-1乃至フレームn+1において、対応する画素の画素値は、変化しない。例えば、フレーム#n-1におけるB05の画素値を有する画素の位置に対応する、フレーム#nにおける画素、およびフレーム#n+1における画素は、それぞれ、B05の画素値を有する。
【０１１６】
図１６は、静止している背景に対応するオブジェクトと共に図中の右側に移動する前景に対応するオブジェクトを撮像した画像の３つのフレームの、隣接して１列に並んでいる画素であって、フレーム上で同一の位置の画素の画素値を時間方向に展開したモデル図である。図１６に示すモデルは、カバードバックグラウンド領域を含む。
【０１１７】
図１６において、前景に対応するオブジェクトが、剛体であり、等速で移動すると仮定でき、前景の画像が次のフレームにおいて４画素右側に表示されるように移動するので、前景の動き量vは、４であり、仮想分割数は、４である。
【０１１８】
例えば、図１６中のフレーム#n-1の最も左側の画素の、シャッタが開いて最初のシャッタ時間2ts/vの前景の成分は、F12/vとなり、図１６中の左から２番目の画素の、シャッタが開いて２番目のシャッタ時間2ts/vの前景の成分も、F12/vとなる。図１６中の左から３番目の画素の、シャッタが開いて３番目のシャッタ時間2ts/vの前景の成分、および図１６中の左から４番目の画素の、シャッタが開いて４番目のシャッタ時間2ts/vの前景の成分は、F12/vとなる。
【０１１９】
図１６中のフレーム#n-1の最も左側の画素の、シャッタが開いて２番目のシャッタ時間2ts/vの前景の成分は、F11/vとなり、図１６中の左から２番目の画素の、シャッタが開いて３番目のシャッタ時間2ts/vの前景の成分も、F11/vとなる。図１６中の左から３番目の画素の、シャッタが開いて４番目のシャッタ時間2ts/vの前景の成分は、F11/vとなる。
【０１２０】
図１６中のフレーム#n-1の最も左側の画素の、シャッタが開いて３番目のシャッタ時間2ts/vの前景の成分は、F10/vとなり、図１６中の左から２番目の画素の、シャッタが開いて４番目のシャッタ時間2ts/vの前景の成分も、F10/vとなる。図１６中のフレーム#n-1の最も左側の画素の、シャッタが開いて４番目のシャッタ時間2ts/vの前景の成分は、F09/vとなる。
【０１２１】
背景に対応するオブジェクトが静止しているので、図１６中のフレーム#n-1の左から２番目の画素の、シャッタが開いて最初のシャッタ時間2ts/vの背景の成分は、B01/vとなる。図１６中のフレーム#n-1の左から３番目の画素の、シャッタが開いて最初および２番目のシャッタ時間2ts/vの背景の成分は、B02/vとなる。図１６中のフレーム#n-1の左から４番目の画素の、シャッタが開いて最初乃至３番目のシャッタ時間2ts/vの背景の成分は、B03/vとなる。
【０１２２】
図１６中のフレーム#n-1において、最も左側の画素は、前景領域に属し、左側から２番目乃至４番目の画素は、カバードバックグラウンド領域である混合領域に属する。
【０１２３】
図１６中のフレーム#n-1の左から５番目の画素乃至１２番目の画素は、背景領域に属し、その画素値は、それぞれ、B04乃至B11となる。
【０１２４】
図１６中のフレーム#nの左から１番目の画素乃至５番目の画素は、前景領域に属する。フレーム#nの前景領域における、シャッタ時間2ts/vの前景の成分は、F05/v乃至F12/vのいずれかである。
【０１２５】
前景に対応するオブジェクトが、剛体であり、等速で移動すると仮定でき、前景の画像が次のフレームにおいて４画素右側に表示されるように移動するので、図１６中のフレーム#nの左から５番目の画素の、シャッタが開いて最初のシャッタ時間2ts/vの前景の成分は、F12/vとなり、図１６中の左から６番目の画素の、シャッタが開いて２番目のシャッタ時間2ts/vの前景の成分も、F12/vとなる。図１６中の左から７番目の画素の、シャッタが開いて３番目のシャッタ時間2ts/vの前景の成分、および図１６中の左から８番目の画素の、シャッタが開いて４番目のシャッタ時間2ts/vの前景の成分は、F12/vとなる。
【０１２６】
図１６中のフレーム#nの左から５番目の画素の、シャッタが開いて２番目のシャッタ時間2ts/vの前景の成分は、F11/vとなり、図１６中の左から６番目の画素の、シャッタが開いて３番目のシャッタ時間2ts/vの前景の成分も、F11/vとなる。図１６中の左から７番目の画素の、シャッタが開いて４番目のシャッタ時間2ts/vの前景の成分は、F11/vとなる。
【０１２７】
図１６中のフレーム#nの左から５番目の画素の、シャッタが開いて３番目のシャッタ時間2ts/vの前景の成分は、F10/vとなり、図１６中の左から６番目の画素の、シャッタが開いて４番目のシャッタ時間2ts/vの前景の成分も、F10/vとなる。図１６中のフレーム#nの左から５番目の画素の、シャッタが開いて４番目のシャッタ時間2ts/vの前景の成分は、F09/vとなる。
【０１２８】
背景に対応するオブジェクトが静止しているので、図１６中のフレーム#nの左から６番目の画素の、シャッタが開いて最初のシャッタ時間2ts/vの背景の成分は、B05/vとなる。図１６中のフレーム#nの左から７番目の画素の、シャッタが開いて最初および２番目のシャッタ時間2ts/vの背景の成分は、B06/vとなる。図１６中のフレーム#nの左から８番目の画素の、シャッタが開いて最初乃至３番目の、シャッタ時間2ts/vの背景の成分は、B07/vとなる。
【０１２９】
図１６中のフレーム#nにおいて、左側から６番目乃至８番目の画素は、カバードバックグラウンド領域である混合領域に属する。
【０１３０】
図１６中のフレーム#nの左から９番目の画素乃至１２番目の画素は、背景領域に属し、画素値は、それぞれ、B08乃至B11となる。
【０１３１】
図１６中のフレーム#n+1の左から１番目の画素乃至９番目の画素は、前景領域に属する。フレーム#n+1の前景領域における、シャッタ時間2ts/vの前景の成分は、F01/v乃至F12/vのいずれかである。
【０１３２】
前景に対応するオブジェクトが、剛体であり、等速で移動すると仮定でき、前景の画像が次のフレームにおいて４画素右側に表示されるように移動するので、図１６中のフレーム#n+1の左から９番目の画素の、シャッタが開いて最初のシャッタ時間2ts/vの前景の成分は、F12/vとなり、図１６中の左から１０番目の画素の、シャッタが開いて２番目のシャッタ時間2ts/vの前景の成分も、F12/vとなる。図１６中の左から１１番目の画素の、シャッタが開いて３番目のシャッタ時間2ts/vの前景の成分、および図１６中の左から１２番目の画素の、シャッタが開いて４番目のシャッタ時間2ts/vの前景の成分は、F12/vとなる。
【０１３３】
図１６中のフレーム#n+1の左から９番目の画素の、シャッタが開いて２番目のシャッタ時間2ts/vの期間の前景の成分は、F11/vとなり、図１６中の左から１０番目の画素の、シャッタが開いて３番目のシャッタ時間2ts/vの前景の成分も、F11/vとなる。図１６中の左から１１番目の画素の、シャッタが開いて４番目の、シャッタ時間2ts/vの前景の成分は、F11/vとなる。
【０１３４】
図１６中のフレーム#n+1の左から９番目の画素の、シャッタが開いて３番目の、シャッタ時間2ts/vの前景の成分は、F10/vとなり、図１６中の左から１０番目の画素の、シャッタが開いて４番目のシャッタ時間2ts/vの前景の成分も、F10/vとなる。図１６中のフレーム#n+1の左から９番目の画素の、シャッタが開いて４番目のシャッタ時間2ts/vの前景の成分は、F09/vとなる。
【０１３５】
背景に対応するオブジェクトが静止しているので、図１６中のフレーム#n+1の左から１０番目の画素の、シャッタが開いて最初のシャッタ時間2ts/vの背景の成分は、B09/vとなる。図１６中のフレーム#n+1の左から１１番目の画素の、シャッタが開いて最初および２番目のシャッタ時間2ts/vの背景の成分は、B10/vとなる。図１６中のフレーム#n+1の左から１２番目の画素の、シャッタが開いて最初乃至３番目の、シャッタ時間2ts/vの背景の成分は、B11/vとなる。
【０１３６】
図１６中のフレーム#n+1において、左側から１０番目乃至１２番目の画素は、カバードバックグラウンド領域である混合領域に対応する。
【０１３７】
図１７は、図１６に示す画素値から前景の成分を抽出した画像のモデル図である。
【０１３８】
図１８は、静止している背景と共に図中の右側に移動するオブジェクトに対応する前景を撮像した画像の３つのフレームの、隣接して１列に並んでいる画素であって、フレーム上で同一の位置の画素の画素値を時間方向に展開したモデル図である。図１８において、アンカバードバックグラウンド領域が含まれている。
【０１３９】
図１８において、前景に対応するオブジェクトは、剛体であり、かつ等速で移動していると仮定できる。前景に対応するオブジェクトが、次のフレームにおいて４画素分右側に表示されるように移動しているので、動き量vは、４である。
【０１４０】
例えば、図１８中のフレーム#n-1の最も左側の画素の、シャッタが開いて最初の、シャッタ時間2ts/vの前景の成分は、F13/vとなり、図１８中の左から２番目の画素の、シャッタが開いて２番目のシャッタ時間2ts/vの前景の成分も、F13/vとなる。図１８中の左から３番目の画素の、シャッタが開いて３番目のシャッタ時間2ts/vの前景の成分、および図１８中の左から４番目の画素の、シャッタが開いて４番目のシャッタ時間2ts/vの前景の成分は、F13/vとなる。
【０１４１】
図１８中のフレーム#n-1の左から２番目の画素の、シャッタが開いて最初のシャッタ時間2ts/vの前景の成分は、F14/vとなり、図１８中の左から３番目の画素の、シャッタが開いて２番目のシャッタ時間2ts/vの前景の成分も、F14/vとなる。図１８中の左から３番目の画素の、シャッタが開いて最初の、シャッタ時間2ts/vの前景の成分は、F15/vとなる。
【０１４２】
背景に対応するオブジェクトが静止しているので、図１８中のフレーム#n-1の最も左側の画素の、シャッタが開いて２番目乃至４番目の、シャッタ時間2ts/vの背景の成分は、B25/vとなる。図１８中のフレーム#n-1の左から２番目の画素の、シャッタが開いて３番目および４番目の、シャッタ時間2ts/vの背景の成分は、B26/vとなる。図１８中のフレーム#n-1の左から３番目の画素の、シャッタが開いて４番目のシャッタ時間2ts/vの背景の成分は、B27/vとなる。
【０１４３】
図１８中のフレーム#n-1において、最も左側の画素乃至３番目の画素は、アンカバードバックグラウンド領域である混合領域に属する。
【０１４４】
図１８中のフレーム#n-1の左から４番目の画素乃至１２番目の画素は、前景領域に属する。フレームの前景の成分は、F13/v乃至F24/vのいずれかである。
【０１４５】
図１８中のフレーム#nの最も左側の画素乃至左から４番目の画素は、背景領域に属し、画素値は、それぞれ、B25乃至B28となる。
【０１４６】
前景に対応するオブジェクトが、剛体であり、等速で移動すると仮定でき、前景の画像が次のフレームにおいて４画素右側に表示されるように移動するので、図１８中のフレーム#nの左から５番目の画素の、シャッタが開いて最初のシャッタ時間2ts/vの前景の成分は、F13/vとなり、図１８中の左から６番目の画素の、シャッタが開いて２番目のシャッタ時間2ts/vの前景の成分も、F13/vとなる。図１８中の左から７番目の画素の、シャッタが開いて３番目のシャッタ時間2ts/vの前景の成分、および図１８中の左から８番目の画素の、シャッタが開いて４番目のシャッタ時間2ts/vの前景の成分は、F13/vとなる。
【０１４７】
図１８中のフレーム#nの左から６番目の画素の、シャッタが開いて最初のシャッタ時間2ts/vの前景の成分は、F14/vとなり、図１８中の左から７番目の画素の、シャッタが開いて２番目のシャッタ時間2ts/vの前景の成分も、F14/vとなる。図１８中の左から８番目の画素の、シャッタが開いて最初のシャッタ時間2ts/vの前景の成分は、F15/vとなる。
【０１４８】
背景に対応するオブジェクトが静止しているので、図１８中のフレーム#nの左から５番目の画素の、シャッタが開いて２番目乃至４番目のシャッタ時間2ts/vの背景の成分は、B29/vとなる。図１８中のフレーム#nの左から６番目の画素の、シャッタが開いて３番目および４番目のシャッタ時間2ts/vの背景の成分は、B30/vとなる。図１８中のフレーム#nの左から７番目の画素の、シャッタが開いて４番目のシャッタ時間2ts/vの背景の成分は、B31/vとなる。
【０１４９】
図１８中のフレーム#nにおいて、左から５番目の画素乃至７番目の画素は、アンカバードバックグラウンド領域である混合領域に属する。
【０１５０】
図１８中のフレーム#nの左から８番目の画素乃至１２番目の画素は、前景領域に属する。フレーム#nの前景領域における、シャッタ時間2ts/vの期間に対応する値は、F13/v乃至F20/vのいずれかである。
【０１５１】
図１８中のフレーム#n+1の最も左側の画素乃至左から８番目の画素は、背景領域に属し、画素値は、それぞれ、B25乃至B32となる。
【０１５２】
前景に対応するオブジェクトが、剛体であり、等速で移動すると仮定でき、前景の画像が次のフレームにおいて４画素右側に表示されるように移動するので、図１８中のフレーム#n+1の左から９番目の画素の、シャッタが開いて最初のシャッタ時間2ts/vの前景の成分は、F13/vとなり、図１８中の左から１０番目の画素の、シャッタが開いて２番目のシャッタ時間2ts/vの前景の成分も、F13/vとなる。図１８中の左から１１番目の画素の、シャッタが開いて３番目のシャッタ時間2ts/vの前景の成分、および図１８中の左から１２番目の画素の、シャッタが開いて４番目のシャッタ時間2ts/vの前景の成分は、F13/vとなる。
【０１５３】
図１８中のフレーム#n+1の左から１０番目の画素の、シャッタが開いて最初のシャッタ時間2ts/vの前景の成分は、F14/vとなり、図１８中の左から１１番目の画素の、シャッタが開いて２番目のシャッタ時間2ts/vの前景の成分も、F14/vとなる。図１８中の左から１２番目の画素の、シャッタが開いて最初のシャッタ時間2ts/vの前景の成分は、F15/vとなる。
【０１５４】
背景に対応するオブジェクトが静止しているので、図１８中のフレーム#n+1の左から９番目の画素の、シャッタが開いて２番目乃至４番目の、シャッタ時間2ts/vの背景の成分は、B33/vとなる。図１８中のフレーム#n+1の左から１０番目の画素の、シャッタが開いて３番目および４番目のシャッタ時間2ts/vの背景の成分は、B34/vとなる。図１８中のフレーム#n+1の左から１１番目の画素の、シャッタが開いて４番目のシャッタ時間2ts/vの背景の成分は、B35/vとなる。
【０１５５】
図１８中のフレーム#n+1において、左から９番目の画素乃至１１番目の画素は、アンカバードバックグラウンド領域である混合領域に属する。
【０１５６】
図１８中のフレーム#n+1の左から１２番目の画素は、前景領域に属する。フレーム#n+1の前景領域における、シャッタ時間2ts/vの前景の成分は、F13/v乃至F16/vのいずれかである。
【０１５７】
図１９は、図１８に示す画素値から前景の成分を抽出した画像のモデル図である。
【０１５８】
次に、混合領域に属する画素を対象とした、倍密画像を生成する処理について説明する。
【０１５９】
図２０のフレーム#nにおいて、画素ａ乃至画素cは、混合領域に属する。
【０１６０】
フレーム#nの画素aの画素値Maは、式（９）に示される。
【０１６１】
Ma=B07/4+B07/4+B07/4+F12/4 （９）
【０１６２】
画素aに対応する倍密画像の画素値Ma1および画素値Ma2は、それぞれ式（１０）および式（１１）で表される。式（１０）および式（１１）において、前景の成分または背景の成分に、ゲイン調整のための係数2が乗じられている。
【０１６３】
Ma1=2×(B07/4+B07/4)
=B07/2+B07/2
=B07 （１０）
Ma2=2×(B07/4+F12/4)
=B07/2+F12/2 （１１）
【０１６４】
式（１０）より、画素aに対応する、背景側の倍密画像の画素値Ma1に、フレーム#n-1の対応する画素の画素値B07を設定すればよいことがわかる。
【０１６５】
画素aに対応する、前景側の倍密画像の画素値Ma2は、式（４）または式（５）を変形した式（１２）から算出できる。
【０１６６】
Ma2=2×Ma-Ma1 （１２）
【０１６７】
図２１に、混合領域に属する画素であって、背景の成分をより多く含む画素の画素値、対応する前または後のフレームの画素の画素値、倍密画像の画素値、および時間的に理想的な画素値との関係を示す。
【０１６８】
フレーム#nの混合領域に属する画素が背景の成分をより多く含むとき、図２１に示すように、背景側の倍密画像の画素値に、フレーム#n-1の対応する背景領域に属する画素の画素値が設定される。図２１において、背景側の倍密画像は、フレーム#n-1側に位置する。
【０１６９】
フレーム#nの混合領域に属する画素が背景の成分をより多く含むとき、対応する前景側の倍密画像の画素値は、式（４）または式（５）を基に、フレーム#nの混合領域に属する画素の画素値、および設定された背景側の倍密画像の画素値から算出される。図２１において、前景側の倍密画像は、フレーム#n+1側に位置する。
【０１７０】
同様に、フレーム#nの画素bに対応する、背景側の倍密画像の画素値Mb1に、式（１３）に示すように、フレーム#n-1の対応する画素の画素値B06が設定される。フレーム#nの画素bに対応する、前景側の倍密画像の画素値Mb2は、式（１４）から算出される。
【０１７１】
Mb1=2×(B06/4+B06/4)
=B06/2+B06/2
=B06 （１３）
Mb2=2×Mb-Mb1 （１４）
【０１７２】
画素cの画素値Mcは、式（１５）に示される。
【０１７３】
Mc=B05/4+F12/4+F11/4+F10/4 （１５）
【０１７４】
フレーム#nの画素cに対応する倍密画像の画素値Mc1および画素値Mc2は、それぞれ式（１６）および式（１７）で表される。式（１６）および式（１７）において、前景の成分または背景の成分に、ゲイン調整のための係数2が乗じられている。
【０１７５】
Mc1=2×(B05/4+F12/4)
=B05/2+F12/2 （１６）
Mc2=2×(F11/4+F10/4)
=F11/2+F10/2 （１７）
【０１７６】
ここで、前景の成分の空間相関を利用して、式（１８）が成立するとする。
【０１７７】
F=F11=F10=F09=F08=F07=F06 （１８）
【０１７８】
式（１８）より、F09/4+F08/4+F07/4+F06/4であるから、画素cに対応するフレーム#n+1の画素値は、画素値Fに等しい。
【０１７９】
従って、式（１９）が成立する。
【０１８０】
Mc2=F11/2+F10/2
=F （１９）
【０１８１】
画素cに対応する、背景側の倍密画像の画素値Mc1は、式（４）または式（５）を変形した式（２０）から算出できる。
【０１８２】
Mc1=2×Mc-Mc2 （２０）
【０１８３】
図２２に、混合領域に属する画素であって、前景の成分をより多く含む画素の画素値、対応する前または後のフレームの画素の画素値、倍密画像の画素値、および時間的に理想的な画素値との関係を示す。
【０１８４】
フレーム#nの混合領域に属する画素が前景の成分をより多く含むとき、図２２に示すように、前景側の倍密画像の画素値に、フレーム#n+1の対応する前景領域に属する画素の画素値が設定される。図２２において、前景側の倍密画像は、フレーム#n+1側に位置する。
【０１８５】
フレーム#nの混合領域に属する画素が前景の成分をより多く含むとき、対応する背景側の倍密画像の画素値は、式（４）または式（５）を基に、フレーム#nの混合領域に属する画素の画素値、および設定された前景側の倍密画像の画素値から算出される。図２２において、背景側の倍密画像は、フレーム#n-1側に位置する。
【０１８６】
このように、例えば、動き量vが４であるとき、混合領域に属する画素であって、背景の成分を２つまたは３つ含むものに対応する倍密画像の画素値を生成する場合、背景側の倍密画像の画素値に、前または後のフレームの背景の画素値を設定し、前景側の倍密画像の画素値を、式（４）または式（５）を基に算出する。
【０１８７】
動き量vが４であるとき、混合領域に属する画素であって、背景の成分を１つ含むものに対応する倍密画像の画素値を生成する場合、前景側の倍密画像の画素値に、前または後のフレームの前景の画素値を設定し、背景側の倍密画像の画素値を、式（４）または式（５）を基に算出する。
【０１８８】
より一般的に説明すれば、混合領域に属する画素が、対応する前景領域に属する画素との相関に比較して、対応する背景領域に属する画素との相関が強いとき、背景側の倍密画像の画素値に、対応する背景領域に属する画素の画素値を設定し、前景側の倍密画像の画素値を、式（４）または式（５）を基に算出する。混合領域に属する画素が、対応する背景領域に属する画素との相関に比較して、対応する前景領域に属する画素との相関が強いとき、前景側の倍密画像の画素値に、対応する前景領域に属する画素の画素値を設定し、背景側の倍密画像の画素値を、式（４）または式（５）を基に算出する。
【０１８９】
図２３乃至図２８は、倍密画像の片側の画素に相関の強い画素値を設定する処理の妥当性を検証する処理の結果の例を説明する図である。
【０１９０】
シャッタ時間がtsである画像を２フレーム平均して、シャッタ時間2tsに対応する画像を生成した。生成したシャッタ時間2tsに対応する画像、およびシャッタ時間がtsである画像を基に、シャッタ時間が2tsである画像のフレーム差分と、シャッタ時間2tsに対応する画像、および対応するシャッタ時間がtsである画像の対応するフレームの差分とを比較した。
【０１９１】
ここで、シャッタ時間2tsに対応する画像と、対応するシャッタ時間がtsである画像との対応するフレームの差分の処理において、シャッタ時間がtsである画像は、上述した倍密画像の生成の処理における相関の強い画素値に相当する。
【０１９２】
図２３は、シャッタ時間が2tsである画像のフレーム差分の画像である。
【０１９３】
図２４は、シャッタ時間が2tsである画像のフレーム差分の画像の内の、混合領域に対応する画像の拡大図である。
【０１９４】
図２５は、シャッタ時間が2tsである画像のフレーム差分の画像の、混合領域に属する画素の、画素位置に対応する画素値の変化を示す図である。
【０１９５】
図２６は、シャッタ時間2tsに対応する画像と、対応するシャッタ時間がtsである画像との対応するフレームの差分の画像である。なお、シャッタ時間2tsに対応する画像と、対応するシャッタ時間がtsである画像との差分の算出の処理において、対応するシャッタ時間がtsである画像の背景の画素と注目しているシャッタ時間2tsに対応する画像の画素との差分の処理、および対応するシャッタ時間がtsである画像の前景の画素と注目しているシャッタ時間2tsに対応する画像の画素との差分の処理を適宜切り換えている。
【０１９６】
図２７は、シャッタ時間2tsに対応する画像と、対応するシャッタ時間がtsである画像との対応するフレームの差分の画像の内の、混合領域に対応する画像の拡大図である。
【０１９７】
図２８は、シャッタ時間2tsに対応する画像と、対応するシャッタ時間がtsである画像との対応するフレームの差分の画像の、混合領域に属する画素の、画素位置に対応する画素値の変化を示す図である。
【０１９８】
図２３乃至図２８に示すように、シャッタ時間が2tsである画像のフレーム差分と、シャッタ時間2tsに対応する画像、および対応するシャッタ時間がtsである画像の対応するフレームの差分とは、ほぼ同等の値を示す。
【０１９９】
このことから、倍密画像の片側の画素に相関の強い画素値を設定し、相関の強い画素値および元の画素値から他の片側の倍密画像の画素値を生成する処理は、センサのシャッタ時間を半分にして撮像した画像とほぼ同等の画像を生成できると言える。
【０２００】
次に、前景領域に属する画素を対象として、倍密画像を生成する処理について説明する。
【０２０１】
図２９のフレーム#nにおいて、画素dは、背景領域に属する。
【０２０２】
フレーム#nの画素dの画素値Mdは、式（２１）に示される。
【０２０３】
Md=B10/4+B10/4+B10/4+B10/4 （２１）
【０２０４】
画素dに対応する倍密画像の画素値Md1および画素値Md2は、それぞれ式（２２）および式（２３）で表される。式（２２）および式（２３）において、背景の成分に、ゲイン調整のための係数2が乗じられている。
【０２０５】
Md1=2×(B10/4+B10/4)
=B10/2+B10/2
=B10 （２２）
Md2=2×(B10/4+B10/4)
=B10/2+B10/2
=B10 （２３）
【０２０６】
すなわち、画素dに対応する、倍密画像の画素値Md1および画素値Md2に、フレーム#n-1の対応する画素の画素値B10を設定すればよいことがわかる。
【０２０７】
次に、前景領域に属する画素を対象として、倍密画像を生成する処理について説明する。
【０２０８】
前景領域に属する画素を対象として、倍密画像を生成するとき、正しい画素値を前または次のフレームから取得することはできないので、前景の成分の空間相関を利用する。前または次のフレームの対応する画素値のうち、相関の強い画素値を、倍密画像のいずれかの画素値とする。倍密画像の他の画素値は、式（４）または式（５）を基に、算出される。
【０２０９】
図３０のフレーム#nにおいて、画素eは、前景領域に属する。
【０２１０】
フレーム#nの画素eの画素値Meは、式（２４）に示される。
【０２１１】
Me=F07/4+F08/4+F09/4+F10/4 （２４）
【０２１２】
画素eに対応する倍密画像の画素値Me1および画素値Me2は、それぞれ式（２５）および式（２６）で表される。式（２５）および式（２６）において、前景の成分に、ゲイン調整のための係数2が乗じられている。
【０２１３】
Me1=2×(F09/4+F10/4)
=F09/2+F10/2 （２５）
Me2=2×(F07/4+F08/4)
=F07/2+F08/2 （２６）
【０２１４】
例えば、画素eにおいて、フレーム#n-1の対応する画素との相関に比較して、フレーム#n+1の対応する画素との相関が強いとき、前景の成分の空間相関を利用して、式（２７）が成立するとする。
【０２１５】
F=F08=F07=F06=F05=F04=F03 （２７）
【０２１６】
画素eに対応する倍密画像の画素値Me2は、式（２８）に示すように、フレーム#n+1の対応する画素の画素値が設定される。
【０２１７】
Me2=F07/2+F08/2
=F06/4+F05/4+F04/4+F03/4
=F （２８）
【０２１８】
画素eに対応する、他の倍密画像の画素値Me1は、式（４）または式（５）を変形した式（２９）から算出される。
【０２１９】
Me1=2×Me-Me2 （２９）
【０２２０】
このように、信号処理装置は、混合領域に属す画素について、倍密画像を生成するとき、図３１に示すように、注目する画素が背景の成分をより多く含む場合、すなわち、注目する画素が背景の画素とより相関が強い場合、背景側の倍密画像の画素値に、対応する背景の画素値を設定して、式（４）または式（５）を基に、前景側の倍密画像の画素値を生成する。
【０２２１】
信号処理装置は、混合領域に属す画素について、倍密画像を生成するとき、図３１に示すように、注目する画素が前景の成分をより多く含む場合、すなわち、注目する画素が前景の画素とより相関が強い場合、前景側の倍密画像の画素値に、対応する前景の画素値を設定して、式（４）または式（５）を基に、背景側の倍密画像の画素値を生成する。
【０２２２】
信号処理装置は、背景領域に属す画素について、倍密画像を生成するとき、図３２に示すように、相関が強いフレームの画素を選択して、対応する側の倍密画像の画素値に、相関が強いフレームの画素の画素値を設定して、式（４）または式（５）を基に、他の倍密画像の画素値を生成する。
【０２２３】
このようにすることで、よりノイズの少ない背景の画素値を利用して、密画像を生成することができる。
【０２２４】
信号処理装置は、前景領域に属す画素について、倍密画像を生成するとき、図３３に示すように、相関が強いフレームの画素を選択して、対応する側の倍密画像の画素値に、相関が強いフレームの画素の画素値を設定して、式（４）または式（５）を基に、他の倍密画像の画素値を生成する。
【０２２５】
図３４乃至図４２に、本発明に係る信号処理装置による倍密画像の生成の結果の例を示す。
【０２２６】
図３４は、シャッタ時間が2tsである入力画像の例を示す図である。
【０２２７】
図３５は、シャッタ時間が2tsである入力画像の内の、混合領域を含む画像の拡大図である。
【０２２８】
図３６は、シャッタ時間が2tsである入力画像の内の、混合領域を含む画像の、画素位置に対応する画素値の変化を示す図である。
【０２２９】
図３７は、入力画像に対応する、信号処理装置が生成した倍密画像の片側の例を示す図である。
【０２３０】
図３８は、入力画像に対応する、信号処理装置が生成した倍密画像の片側の内の、混合領域を含む画像の拡大図である。
【０２３１】
図３９は、入力画像に対応する、信号処理装置が生成した倍密画像の片側の内の、混合領域を含む画像の、画素位置に対応する画素値の変化を示す図である。
【０２３２】
図４０は、入力画像に対応する、信号処理装置が生成した倍密画像の他の側の例を示す図である。図４０に例を示す倍密画像は、図３７に示す倍密画像の次の画像である。
【０２３３】
図４１は、入力画像に対応する、信号処理装置が生成した倍密画像の他の側の内の、混合領域を含む画像の拡大図である。
【０２３４】
図４２は、入力画像に対応する、信号処理装置が生成した倍密画像の他の側の内の、混合領域を含む画像の、画素位置に対応する画素値の変化を示す図である。
【０２３５】
図３４乃至図４２から、信号処理装置が生成した倍密画像において、混合領域の幅は、入力画像の混合領域の幅の半分となっていることがわかる。
【０２３６】
また、図３４乃至図４２から、信号処理装置が生成した倍密画像において、動きボケの量は、入力画像の動きボケの量から半減していることがわかる。
【０２３７】
図４３のフローチャートを参照して、本発明に係る信号処理装置による、時間方向に２倍の密度の画像を生成する時間解像度創造の処理を説明する。
【０２３８】
ステップＳ１１において、信号処理装置は、入力された画像を取得する。取得された画像は、フレームメモリ１０１およびフレームメモリ１０２により記憶され、フレーム単位で遅延され、遅延されたフレーム毎に相関演算部１０３または相関演算部１０４に供給される。
【０２３９】
ステップＳ１２において、相関演算部１０３は、次のフレームの対応する画素間との相関値を算出して、算出した相関値を片側画素値生成部１０５に供給する。相関演算部１０４は、前のフレームの対応する画素間との相関値を算出して、算出した相関値を片側画素値生成部１０５に供給する。
【０２４０】
ステップＳ１３において、片側画素値生成部１０５は、相関演算部１０３から供給された相関値、および相関演算部１０４から供給された相関値を基に、相関の強い画素値から倍密画像の片側の画素値を生成する。片側画素値生成部１０５は、生成した画素値を片側画素値生成部１０６に供給する。
【０２４１】
ステップＳ１４において、片側画素値生成部１０６は、注目している画素の画素値および片側画素値生成部１０５から供給された倍密画像の片側の画素値から、センサの特性を基にした演算により、倍密画像の他の画素値を生成する。
【０２４２】
ステップＳ１５において、片側画素値生成部１０５および片側画素値生成部１０６は、生成した画素値からなる倍密画像を出力して、処理は終了する。
【０２４３】
このように、本発明に係る信号処理装置は、時間方向に２倍の密度の画像を生成して、出力することができる。
【０２４４】
図４４のフローチャートを参照して、本発明に係る信号処理装置による、より具体的な時間方向に２倍の密度の画像を生成する時間解像度創造の処理の例を説明する。
【０２４５】
ステップＳ３１において、信号処理装置は、シャッタ時間が2tsの画像を取得する。取得された画像は、フレームメモリ１０１およびフレームメモリ１０２により記憶され、フレーム単位で遅延されて、フレーム毎に相関演算部１０３または相関演算部１０４に供給される。
【０２４６】
ステップＳ３２において、相関演算部１０３は、注目しているフレームの画素と次のフレームの対応する画素間で、画素値の差分の絶対値を算出して、算出した画素値の差分の絶対値を片側画素値生成部１０５に供給する。相関演算部１０４は、注目しているフレームの画素と前のフレームの対応する画素間で、画素値の差分の絶対値を算出して、算出した画素値の差分の絶対値を片側画素値生成部１０５に供給する。
【０２４７】
ステップＳ３３において、片側画素値生成部１０５は、相関演算部１０３から供給された画素値の差分の絶対値、および相関演算部１０４から供給された画素値の差分の絶対値を基に、差分の絶対値の小さい画素値を倍密画像の片側の画素値に設定する。片側画素値生成部１０５は、差分の絶対値の小さい画素値を設定した倍密画像を片側画素値生成部１０６に供給する。
【０２４８】
ステップＳ３４において、片側画素値生成部１０６は、注目しているフレームの画素、および片側画素値生成部１０５から供給された差分の絶対値の小さい画素値が設定された倍密画像から、CCDの特性を基にした演算により、倍密画像の他の画素値を生成する。
【０２４９】
ステップＳ３５において、片側画素値生成部１０５および片側画素値生成部１０６は、生成した画素値からなるシャッタ時間がtsの倍密画像を出力して、処理は終了する。
【０２５０】
このように、本発明に係る信号処理装置は、シャッタ時間が2tsの画像から、シャッタ時間がtsの倍密画像を生成して、出力することができる。
【０２５１】
なお、本発明に係る信号処理装置は、時間方向に２倍の密度の画像を生成するとして説明したが、上述した処理を繰り返すことにより、時間方向に４倍、８倍、または１６倍等の密度の画像を生成することができる。
【０２５２】
また、前景となるオブジェクトの動きの方向は左から右として説明したが、その方向に限定されないことは勿論である。
【０２５３】
なお、センサは、CCDに限らす、固体撮像素子である、例えば、BBD（Bucket Brigade Device）、CID（Charge Injection Device）、またはCPD（Charge Priming Device）などのセンサでもよく、また、検出素子がマトリックス状に配置されているセンサに限らず、検出素子が１列に並んでいるセンサでもよい。
【０２５４】
本発明の信号処理を行うプログラムを記録した記録媒体は、図１に示すように、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク５１（フロッピディスクを含む）、光ディスク５２（CD-ROM(Compaut Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク５３（MB（Mini-Disk）を含む）、もしくは半導体メモリ５４などよりなるパッケージメディアにより構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM２２や、記憶部２８に含まれるハードディスクなどで構成される。
【０２５５】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０２５６】
【発明の効果】
本発明の画像処理装置および方法、記録媒体、並びにプログラムによれば、フレームのうちの注目しているフレームである注目フレームの画像データと、注目フレームに隣接する第１のフレームおよび第２のフレームの対応する画像データとの相関がそれぞれ検出され、第１のフレームと第２のフレームの対応する画像データのうち、相関の大きい方の画像データに基づいて、相関の大きい画像データのフレーム側の第３のフレームの画素データとなる第１の画素データが生成されるとともに、注目フレームの画像データおよび第３のフレームの第１の画素データに基づいて、相関の小さい画像データのフレーム側の第４のフレームの画素データとなる第２の画素データが生成されるようにしたので、自然な動きボケを含む、時間方向に高密度の画像を生成することができるようになる。
【図面の簡単な説明】
【図１】本発明に係る信号処理装置の一実施の形態の構成を示すブロック図である。
【図２】信号処理装置の構成を示すブロック図である。
【図３】センサによる撮像を説明する図である。
【図４】画素の配置を説明する図である。
【図５】検出素子の動作を説明する図である。
【図６】積分効果を有するセンサに入力される光に対応する画素データを説明する図である。
【図７】動いている前景に対応するオブジェクトと、静止している背景に対応するオブジェクトとを撮像して得られる画像を説明する図である。
【図８】背景領域、前景領域、混合領域、カバードバックグラウンド領域、およびアンカバードバックグラウンド領域を説明する図である。
【図９】静止している前景に対応するオブジェクトおよび静止している背景に対応するオブジェクトを撮像した画像における、隣接して１列に並んでいる画素の画素値を時間方向に展開したモデル図である。
【図１０】画素値を時間方向に展開し、シャッタ時間2tsに対応する期間を分割したモデル図である。
【図１１】画素値を時間方向に展開し、シャッタ時間2tsに対応する期間を分割したモデル図である。
【図１２】画素値を時間方向に展開し、シャッタ時間2tsに対応する期間を分割したモデル図である。
【図１３】前景領域、背景領域、および混合領域の画素を抽出した例を示す図である。
【図１４】画素と画素値を時間方向に展開したモデルとの対応を示す図である。
【図１５】画素値を時間方向に展開し、シャッタ時間2tsに対応する期間を分割したモデル図である。
【図１６】画素値を時間方向に展開し、シャッタ時間2tsに対応する期間を分割したモデル図である。
【図１７】画素値を時間方向に展開し、シャッタ時間2tsに対応する期間を分割したモデル図である。
【図１８】画素値を時間方向に展開し、シャッタ時間2tsに対応する期間を分割したモデル図である。
【図１９】画素値を時間方向に展開し、シャッタ時間2tsに対応する期間を分割したモデル図である。
【図２０】混合領域に属する画素に対する処理を説明する図である。
【図２１】混合領域に属する画素と時間的に理想的な画素値との関係を示す図である。
【図２２】混合領域に属する画素と時間的に理想的な画素値との関係を示す図である。
【図２３】倍密画像の片側の画素に相関の強い画素値を設定する処理の妥当性を検証する処理の結果の例を説明する図である。
【図２４】倍密画像の片側の画素に相関の強い画素値を設定する処理の妥当性を検証する処理の結果の例を説明する図である。
【図２５】倍密画像の片側の画素に相関の強い画素値を設定する処理の妥当性を検証する処理の結果の例を説明する図である。
【図２６】倍密画像の片側の画素に相関の強い画素値を設定する処理の妥当性を検証する処理の結果の例を説明する図である。
【図２７】倍密画像の片側の画素に相関の強い画素値を設定する処理の妥当性を検証する処理の結果の例を説明する図である。
【図２８】倍密画像の片側の画素に相関の強い画素値を設定する処理の妥当性を検証する処理の結果の例を説明する図である。
【図２９】背景領域に属する画素に対する処理を説明する図である。
【図３０】前景領域に属する画素に対する処理を説明する図である。
【図３１】混合領域に属する画素に対する処理を説明する図である。
【図３２】背景領域に属する画素に対する処理を説明する図である。
【図３３】前景領域に属する画素に対する処理を説明する図である。
【図３４】入力画像の例を示す図である。
【図３５】入力画像を拡大した例を示す図である。
【図３６】入力画像の画素位置に対応する画素値の変化の例を示す図である。
【図３７】倍密画像の例を示す図である。
【図３８】倍密画像を拡大した例を示す図である。
【図３９】倍密画像の画素位置に対応する画素値の変化の例を示す図である。
【図４０】倍密画像の例を示す図である。
【図４１】倍密画像を拡大した例を示す図である。
【図４２】倍密画像の画素位置に対応する画素値の変化の例を示す図である。
【図４３】時間方向に２倍の密度の画像を生成する時間解像度創造の処理を説明するフローチャートである。
【図４４】時間方向に２倍の密度の画像を生成する時間解像度創造の処理を説明するフローチャートである。
【符号の説明】
２１ CPU， ２２ ROM， ２３ RAM， ２６ 入力部， ２７ 出力部，２８ 記憶部， ２９ 通信部， ５１ 磁気ディスク， ５２ 光ディスク， ５３ 光磁気ディスク， ５４ 半導体メモリ， １０１ フレームメモリ， １０２ フレームメモリ， １０３ 相関演算部， １０４ 相関演算部，１０５ 片側画素値生成部， １０６ 片側画素値生成部
【発明の属する技術分野】
本発明は、画像処理装置および方法、記録媒体、並びにプログラムに関し、特に、センサにより検出した信号と現実世界との違いを考慮した画像処理装置および方法、記録媒体、並びにプログラムに関する。
【０００２】
【従来の技術】
現実世界における事象をセンサで検出し、センサが出力するサンプリングデータを処理する技術が広く利用されている。
【０００３】
例えば、静止している所定の背景の前で移動する物体をビデオカメラで撮像して得られる画像には、物体の移動速度が比較的速い場合、動きボケが生じることになる。
【０００４】
また、ビデオカメラなどで撮像された画像を基に、時間方向に高密度の画像を生成する技術が利用されている。
【０００５】
【発明が解決しようとする課題】
しかしながら、従来、時間方向に高密度の画像を生成するとき、動きボケは考慮されていなかった。従って、動きボケを含む画像に対応して生成される、時間方向に高密度の画像は、不自然な画像になるという課題があった。
【０００６】
本発明はこのような状況に鑑みてなされたものであり、自然な動きボケを含む、時間方向に高密度の画像を生成することができるようにすることを目的とする。
【０００７】
【課題を解決するための手段】
本発明の画像処理装置は、フレームのうちの注目しているフレームである注目フレームの画像データと、注目フレームに隣接する第１のフレームおよび第２のフレームの対応する画像データとの相関をそれぞれ検出する相関検出手段と、第１のフレームと第２のフレームの対応する画像データのうち、相関の大きい方の画像データに基づいて、相関の大きい画像データのフレーム側の第３のフレームの画素データとなる第１の画素データを生成するとともに、注目フレームの画像データおよび第３のフレームの第１の画素データに基づいて、相関の小さい画像データのフレーム側の第４のフレームの画素データとなる第２の画素データを生成する画素データ生成手段とを含むことを特徴とする。
【０００８】
画像処理装置は、検出素子が少なくとも１つの方向に複数個配置されているセンサによって取得された画像を処理するようにすることができる。
【０００９】
画像処理装置は、複数個の検出素子がマトリクス状に配置されているセンサによって取得された画像を処理するようにすることができる。
【００１０】
相関検出手段は、相関として、画素データの差分を検出するようにすることができる。
【００１１】
本発明の画像処理方法は、フレームのうちの注目しているフレームである注目フレームの画像データと、注目フレームに隣接する第１のフレームおよび第２のフレームの対応する画像データとの相関をそれぞれ検出する相関検出ステップと、第１のフレームと第２のフレームの対応する画像データのうち、相関の大きい方の画像データに基づいて、相関の大きい画像データのフレーム側の第３のフレームの画素データとなる第１の画素データを生成するとともに、注目フレームの画像データおよび第３のフレームの第１の画素データに基づいて、相関の小さい画像データのフレーム側の第４のフレームの画素データとなる第２の画素データを生成する画素データ生成ステップとを含むことを特徴とする。
【００１５】
本発明の記録媒体のプログラムは、フレームのうちの注目しているフレームである注目フレームの画像データと、注目フレームに隣接する第１のフレームおよび第２のフレームの対応する画像データとの相関をそれぞれ検出する相関検出ステップと、第１のフレームと第２のフレームの対応する画像データのうち、相関の大きい方の画像データに基づいて、相関の大きい画像データのフレーム側の第３のフレームの画素データとなる第１の画素データを生成するとともに、注目フレームの画像データおよび第３のフレームの第１の画素データに基づいて、相関の小さい画像データのフレーム側の第４のフレームの画素データとなる第２の画素データを生成する画素データ生成ステップとを含むことを特徴とする。
【００１９】
本発明のプログラムは、フレームのうちの注目しているフレームである注目フレームの画像データと、注目フレームに隣接する第１のフレームおよび第２のフレームの対応する画像データとの相関をそれぞれ検出する相関検出ステップと、第１のフレームと第２のフレームの対応する画像データのうち、相関の大きい方の画像データに基づいて、相関の大きい画像データのフレーム側の第３のフレームの画素データとなる第１の画素データを生成するとともに、注目フレームの画像データおよび第３のフレームの第１の画素データに基づいて、相関の小さい画像データのフレーム側の第４のフレームの画素データとなる第２の画素データを生成する画素データ生成ステップとをコンピュータに実行させることを特徴とする。
【００２３】
本発明の画像処理装置および方法、記録媒体、並びにプログラムにおいては、フレームのうちの注目しているフレームである注目フレームの画像データと、注目フレームに隣接する第１のフレームおよび第２のフレームの対応する画像データとの相関がそれぞれ検出され、第１のフレームと第２のフレームの対応する画像データのうち、相関の大きい方の画像データに基づいて、相関の大きい画像データのフレーム側の第３のフレームの画素データとなる第１の画素データが生成されるとともに、注目フレームの画像データおよび第３のフレームの第１の画素データに基づいて、相関の小さい画像データのフレーム側の第４のフレームの画素データとなる第２の画素データが生成される。
【００２４】
【発明の実施の形態】
図１は、本発明に係る信号処理装置の一実施の形態の構成を示すブロック図である。CPU（Central Processing Uuit）２１は、ROM（Read Only Memory）２２、または記憶部２８に記憶されているプログラムに従って各種の処理を実行する。RAM（Random Access Memory）２３には、CPU２１が実行するプログラムやデータなどが適宜記憶される。これらのCPU２１、ROM２２、およびRAM２３は、バス２４により相互に接続されている。
【００２５】
CPU２１にはまた、バス２４を介して入出力インタフェース２５が接続されている。入出力インタフェース２５には、キーボード、マウス、マイクロホンなどよりなる入力部２６、ディスプレイ、スピーカなどよりなる出力部２７が接続されている。CPU２１は、入力部２６から入力される指令に対応して各種の処理を実行する。そして、CPU２１は、処理の結果得られた画像や音声等を出力部２７に出力する。
【００２６】
入出力インタフェース２５に接続されている記憶部２８は、例えばハードディスクなどで構成され、CPU２１が実行するプログラムや各種のデータを記憶する。通信部２９は、インターネット、その他のネットワークを介して外部の装置と通信する。この例の場合、通信部２９はセンサの出力を取り込む取得部として働く。
【００２７】
また、通信部２９を介してプログラムを取得し、記憶部２８に記憶してもよい。
【００２８】
入出力インタフェース２５に接続されているドライブ３０は、磁気ディスク５１、光ディスク５２、光磁気ディスク５３、或いは半導体メモリ５４などが装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記憶部２８に転送され、記憶される。
【００２９】
次に、センサにより取得されたデータから、時間方向に高密度の画像を生成する処理を行う信号処理装置についてより具体的な例を挙げて説明する。
【００３０】
図２は、信号処理装置の構成を示すブロック図である。
【００３１】
なお、信号処理装置の各機能をハードウェアで実現するか、ソフトウェアで実現するかは問わない。つまり、本明細書の各ブロック図は、ハードウェアのブロック図と考えても、ソフトウェアによる機能ブロック図と考えても良い。
【００３２】
ここで、動きボケとは、撮像の対象となる、現実世界におけるオブジェクトの動きと、センサの撮像の特性とにより生じる、動いているオブジェクトに対応する画像に含まれている歪みをいう。
【００３３】
この明細書では、撮像の対象となる、現実世界におけるオブジェクトに対応する画像を、画像オブジェクトと称する。
【００３４】
信号処理装置に供給された入力画像は、フレームメモリ１０１、相関演算部１０３、および片側画素値生成部１０５に入力される。
【００３５】
フレームメモリ１０１は、入力された画像をフレーム単位で記憶し、記憶している画像をフレームメモリ１０２、相関演算部１０３、相関演算部１０４、および片側画素値生成部１０５に供給する。信号処理装置に入力画像のフレーム#n＋１が入力されているとき、フレームメモリ１０１は、フレーム#nの画像をフレームメモリ１０２、相関演算部１０３、相関演算部１０４、および片側画素値生成部１０５に供給する。
【００３６】
フレーム#n+1は、フレーム#nの次のフレームであり、フレーム#nは、フレーム#n-1の次のフレームである。
【００３７】
フレームメモリ１０２は、フレームメモリ１０１から供給された画像をフレーム単位で記憶し、記憶している画像を相関演算部１０４、および片側画素値生成部１０５に供給する。信号処理装置に入力画像のフレーム#n＋１が入力されているとき、フレームメモリ１０２は、フレーム#n-1の画像を相関演算部１０４、および片側画素値生成部１０５に供給する。
【００３８】
相関演算部１０３は、フレームメモリ１０１から供給されたフレーム#nの注目している画素、およびフレーム#n+1の対応する画素の相関値を算出して、片側画素値生成部１０５に供給する。相関演算部１０３が算出する相関値は、例えば、フレーム#nの注目している画素の画素値とフレーム#n+1の対応する画素の画素値との差分値を基に算出される。画素の画素値がより近い値であるとき、それらの画素の相関はより強いと言える。すなわち、画素値の差分値のより小さい値は、より強い相関を示す。
【００３９】
相関演算部１０４は、フレームメモリ１０１から供給されたフレーム#nの注目している画素、およびフレームメモリ１０２から供給された、フレーム#n-1の対応する画素の相関値を算出して、片側画素値生成部１０５に供給する。相関演算部１０４が算出する相関値は、例えば、フレーム#nの注目している画素の画素値とフレーム#n-1の対応する画素の画素値との差分値を基に算出される。
【００４０】
片側画素値生成部１０５は、相関演算部１０３から供給された相関値、相関演算部１０４から供給された相関値、およびフレーム#n-1乃至#n+1の画素値を基に、フレーム#nに対応する、時間方向に２倍の密度の画像の画素値を生成して、生成した画素値を片側画素値生成部１０６に供給するとともに、生成した画素値を時間方向に２倍の密度の画像として出力する。
【００４１】
以下、時間方向に２倍の密度の画像を、単に、倍密画像とも称する。
【００４２】
また、片側画素値生成部１０５は、フレーム#nの画像をそのまま、片側画素値生成部１０６に供給する。
【００４３】
片側画素値生成部１０６は、片側画素値生成部１０５から供給された、時間方向に２倍の密度の画像の画素値およびフレーム#nの画像を基に、フレーム#nに対応する、時間方向に２倍の密度の画像の他の画素値を生成して、生成した画素値を時間方向に２倍の密度の画像として出力する。
【００４４】
次に、図３乃至図１９を参照して、信号処理装置に供給される入力画像について説明する。
【００４５】
図３は、センサによる撮像を説明する図である。センサは、例えば、固体撮像素子であるCCD（Charge-Coupled Device）エリアセンサを備えたCCDビデオカメラなどで構成される。現実世界における、前景に対応するオブジェクトは、現実世界における、背景に対応するオブジェクトと、センサとの間を、例えば、図中の左側から右側に水平に移動する。
【００４６】
センサは、前景に対応するオブジェクトを、背景に対応するオブジェクトと共に撮像する。センサは、撮像した画像を１フレーム単位で出力する。例えば、センサは、１秒間に３０フレームから成る画像を出力する。センサの露光時間は、１／３０秒とすることができる。露光時間は、センサが入力された光の電荷への変換を開始してから、入力された光の電荷への変換を終了するまでの期間である。以下、露光時間をシャッタ時間とも称する。
【００４７】
図４は、画素の配置を説明する図である。図４中において、Ａ乃至Ｉは、個々の画素を示す。画素は、画像に対応する平面上に配置されている。１つの画素に対応する１つの検出素子は、センサ上に配置されている。センサが画像を撮像するとき、１つの検出素子は、画像を構成する１つの画素に対応する画素値を出力する。例えば、検出素子のＸ方向の位置は、画像上の横方向の位置に対応し、検出素子のＹ方向の位置は、画像上の縦方向の位置に対応する。
【００４８】
図５に示すように、例えば、CCDである検出素子は、シャッタ時間に対応する期間、入力された光を電荷に変換して、変換された電荷を蓄積する。電荷の量は、入力された光の強さと、光が入力されている時間にほぼ比例する。検出素子は、シャッタ時間に対応する期間において、入力された光から変換された電荷を、既に蓄積されている電荷に加えていく。すなわち、検出素子は、シャッタ時間に対応する期間、入力される光を積分して、積分された光に対応する量の電荷を蓄積する。検出素子は、時間に対して、積分効果があるとも言える。
【００４９】
検出素子に蓄積された電荷は、図示せぬ回路により、電圧値に変換され、電圧値は更にデジタルデータなどの画素値に変換されて出力される。従って、センサから出力される個々の画素値は、前景または背景に対応するオブジェクトの空間的に広がりを有するある部分を、シャッタ時間について積分した結果である、１次元の空間に射影された値を有する。
【００５０】
図６は、このような積分効果を有するセンサに入力される光に対応する画素データを説明する図である。図６のf(t)は、入力される光および微少な時間に対応する、時間的に理想的な画素値を示す。
【００５１】
図６において、センサのシャッタ時間は、時刻t1から時刻t3までの期間であり、2tsで示す。
【００５２】
１つの画素データの画素値が、理想的な画素値f(t)の一様な積分で表されるとすれば、時刻t1から時刻t2までの期間に対応する画素データの画素値Y1は、式（１）で表され、時刻t2から時刻t3までの期間に対応する画素データの画素値Y2は、式（２）で表され、センサから出力される画素値Y3は、式（３）で表される。
【００５３】
【数１】
式（３）を変形することにより、式（４）および式（５）を導くことができる。
【００５５】
Y1=2・Y3-Y2 （４）
Y2=2・Y3-Y1 （５）
従って、センサから出力される画素値Y3および時刻t2から時刻t3までの期間に対応する画素データの画素値Y2が既知であれば、式（４）により、時刻t1から時刻t2までの期間に対応する画素データの画素値Y1を算出することができる。また、センサから出力される画素値Y3および時刻t1から時刻t2までの期間に対応する画素データの画素値Y1が既知であれば、式（５）により、時刻t2から時刻t3までの期間に対応する画素データの画素値Y2を算出することができる。
【００５６】
このように、画素に対応する画素値と、その画素の２つの期間に対応する画素データのいずれか一方の画素値とを知ることができれば、画素の２つの期間に対応する他の画素データの画素値を算出することができる。
【００５７】
図７は、動いている前景に対応するオブジェクトと、静止している背景に対応するオブジェクトとを撮像して得られる画像を説明する図である。図７（Ａ）は、動きを伴う前景に対応するオブジェクトと、静止している背景に対応するオブジェクトとを撮像して得られる画像を示している。図７（Ａ）に示す例において、前景に対応するオブジェクトは、画面に対して水平に左から右に動いている。
【００５８】
図７（Ｂ）は、図７（Ａ）に示す画像の１つのラインに対応する画素値を時間方向に展開したモデル図である。図７（Ｂ）の横方向は、図７（Ａ）の空間方向Ｘに対応している。
【００５９】
背景領域の画素は、背景のオブジェクトに対応する画像の成分（以下、背景の成分とも称する）のみから、その画素値が構成されている。前景領域の画素は、前景のオブジェクトに対応する画像の成分（以下、前景の成分とも称する）のみから、その画素値が構成されている。
【００６０】
混合領域の画素は、背景の成分、および前景の成分から、その画素値が構成されている。混合領域は、背景の成分、および前景の成分から、その画素値が構成されているので、歪み領域ともいえる。混合領域は、更に、カバードバックグラウンド領域およびアンカバードバックグラウンド領域に分類される。
【００６１】
カバードバックグラウンド領域は、前景領域に対して、前景のオブジェクトの進行方向の前端部に対応する位置の混合領域であり、時間の経過に対応して背景成分が前景に覆い隠される領域をいう。
【００６２】
これに対して、アンカバードバックグラウンド領域は、前景領域に対して、前景のオブジェクトの進行方向の後端部に対応する位置の混合領域であり、時間の経過に対応して背景成分が現れる領域をいう。
【００６３】
このように、前景領域、背景領域、またはカバードバックグラウンド領域若しくはアンカバードバックグラウンド領域を含む画像が、フレームメモリ１０１、相関演算部１０３、および片側画素値生成部１０５に入力画像として入力される。
【００６４】
図８は、以上のような、背景領域、前景領域、混合領域、カバードバックグラウンド領域、およびアンカバードバックグラウンド領域を説明する図である。図７に示す画像に対応する場合、背景領域は、静止部分であり、前景領域は、動き部分であり、混合領域のカバードバックグラウンド領域は、背景から前景に変化する部分であり、混合領域のアンカバードバックグラウンド領域は、前景から背景に変化する部分である。
【００６５】
図９は、静止している前景に対応するオブジェクトおよび静止している背景に対応するオブジェクトを撮像した画像における、隣接して１列に並んでいる画素の画素値を時間方向に展開したモデル図である。例えば、隣接して１列に並んでいる画素として、画面の１つのライン上に並んでいる画素を選択することができる。
【００６６】
図９に示すF01乃至F04の画素値は、静止している前景のオブジェクトに対応する画素の画素値である。図９に示すB01乃至B04の画素値は、静止している背景のオブジェクトに対応する画素の画素値である。
【００６７】
図９における縦方向は、図中の上から下に向かって時間が経過する。図９中の矩形の上辺の位置は、センサが入力された光の電荷への変換を開始する時刻に対応し、図９中の矩形の下辺の位置は、センサが入力された光の電荷への変換を終了する時刻に対応する。すなわち、図９中の矩形の上辺から下辺までの距離は、シャッタ時間2tsに対応する。
【００６８】
以下において、シャッタ時間2tsとフレーム間隔とが同一である場合を例に説明する。
【００６９】
図９における横方向は、図７で説明した空間方向Xに対応する。より具体的には、図９に示す例において、図９中の”F01”と記載された矩形の左辺から”B04”と記載された矩形の右辺までの距離は、画素のピッチの８倍、すなわち、連続している８つの画素の間隔に対応する。
【００７０】
前景のオブジェクトおよび背景のオブジェクトが静止している場合、シャッタ時間2tsに対応する期間において、センサに入力される光は変化しない。
【００７１】
ここで、シャッタ時間2tsに対応する期間を２つ以上の同じ長さの期間に分割する。例えば、仮想分割数を４とすると、図９に示すモデル図は、図１０に示すモデルとして表すことができる。仮想分割数は、前景に対応するオブジェクトのシャッタ時間2ts内での動き量vなどに対応して設定される。
【００７２】
動き量vは、動いているオブジェクトに対応する画像の位置の変化を画素間隔を単位として表す値である。例えば、前景に対応するオブジェクトの画像が、あるフレームを基準として次のフレームにおいて４画素分離れた位置に表示されるように移動しているとき、前景に対応するオブジェクトの画像の動き量vは、４とされる。
【００７３】
例えば、４である動き量vに対応して、仮想分割数は、４とされ、シャッタ時間2tsに対応する期間は４つに分割される。
【００７４】
図中の最も上の行は、シャッタが開いて最初の、分割された期間に対応する。図中の上から２番目の行は、シャッタが開いて２番目の、分割された期間に対応する。図中の上から３番目の行は、シャッタが開いて３番目の、分割された期間に対応する。図中の上から４番目の行は、シャッタが開いて４番目の、分割された期間に対応する。
【００７５】
以下、動き量vに対応して分割されたシャッタ時間2tsをシャッタ時間2ts/vとも称する。
【００７６】
前景に対応するオブジェクトが静止しているとき、センサに入力される光は変化しないので、前景の成分F01/vは、画素値F01を仮想分割数で除した値に等しい。同様に、前景に対応するオブジェクトが静止しているとき、前景の成分F02/vは、画素値F02を仮想分割数で除した値に等しく、前景の成分F03/vは、画素値F03を仮想分割数で除した値に等しく、前景の成分F04/vは、画素値F04を仮想分割数で除した値に等しい。
【００７７】
背景に対応するオブジェクトが静止しているとき、センサに入力される光は変化しないので、背景の成分B01/vは、画素値B01を仮想分割数で除した値に等しい。同様に、背景に対応するオブジェクトが静止しているとき、背景の成分B02/vは、画素値B02を仮想分割数で除した値に等しく、B03/vは、画素値B03を仮想分割数で除した値に等しく、B04/vは、画素値B04を仮想分割数で除した値に等しい。
【００７８】
すなわち、前景に対応するオブジェクトが静止している場合、シャッタ時間2tsに対応する期間において、センサに入力される前景のオブジェクトに対応する光が変化しないので、シャッタが開いて最初の、シャッタ時間2ts/vに対応する前景の成分F01/vと、シャッタが開いて２番目の、シャッタ時間2ts/vに対応する前景の成分F01/vと、シャッタが開いて３番目の、シャッタ時間2ts/vに対応する前景の成分F01/vと、シャッタが開いて４番目の、シャッタ時間2ts/vに対応する前景の成分F01/vとは、同じ値となる。F02/v乃至F04/vも、F01/vと同様の関係を有する。
【００７９】
背景に対応するオブジェクトが静止している場合、シャッタ時間2tsに対応する期間において、センサに入力される背景のオブジェクトに対応する光は変化しないので、シャッタが開いて最初の、シャッタ時間2ts/vに対応する背景の成分B01/vと、シャッタが開いて２番目の、シャッタ時間2ts/vに対応する背景の成分B01/vと、シャッタが開いて３番目の、シャッタ時間2ts/vに対応する背景の成分B01/vと、シャッタが開いて４番目の、シャッタ時間2ts/vに対応する背景の成分B01/vとは、同じ値となる。B02/v乃至B04/vも、同様の関係を有する。
【００８０】
次に、前景に対応するオブジェクトが移動し、背景に対応するオブジェクトが静止している場合について説明する。
【００８１】
図１１は、前景に対応するオブジェクトが図中の右側に向かって移動する場合の、カバードバックグラウンド領域を含む、１つのライン上の画素の画素値を時間方向に展開したモデル図である。図１１において、前景の動き量vは、４である。１フレームは短い時間なので、前景に対応するオブジェクトが剛体であり、等速で移動していると仮定することができる。図１１において、前景に対応するオブジェクトの画像は、あるフレームを基準として次のフレームにおいて４画素分右側に表示されるように移動する。
【００８２】
図１１において、最も左側の画素乃至左から４番目の画素は、前景領域に属する。図１１において、左から５番目乃至左から７番目の画素は、カバードバックグラウンド領域である混合領域に属する。図１１において、最も右側の画素は、背景領域に属する。
【００８３】
前景に対応するオブジェクトが時間の経過と共に背景に対応するオブジェクトを覆い隠すように移動しているので、カバードバックグラウンド領域に属する画素の画素値に含まれる成分は、シャッタ時間2tsに対応する期間のある時点で、背景の成分から、前景の成分に替わる。
【００８４】
例えば、図１１中に太線枠を付した画素値Mは、式（６）で表される。
【００８５】
M=B02/v+B02/v+F07/v+F06/v （６）
【００８６】
ここで、混合比は、後述する式（８）に示されるように、画素値における、背景の成分の割合を示す値である。
【００８７】
以下、混合比は、混合比αと称する。
【００８８】
例えば、左から５番目の画素は、１つのシャッタ時間2ts/vに対応する背景の成分を含み、３つのシャッタ時間2ts/vに対応する前景の成分を含むので、左から５番目の画素の混合比αは、1/4である。左から６番目の画素は、２つのシャッタ時間2ts/vに対応する背景の成分を含み、２つのシャッタ時間2ts/vに対応する前景の成分を含むので、左から６番目の画素の混合比αは、1/2である。左から７番目の画素は、３つのシャッタ時間2ts/vに対応する背景の成分を含み、１つのシャッタ時間2ts/vに対応する前景の成分を含むので、左から７番目の画素の混合比αは、3/4である。
【００８９】
前景に対応するオブジェクトが、剛体であり、前景の画像が次のフレームにおいて４画素右側に表示されるように等速で移動すると仮定できるので、例えば、図１１中の左から４番目の画素の、シャッタが開いて最初の、シャッタ時間2ts/vの前景の成分F07/vは、図１１中の左から５番目の画素の、シャッタが開いて２番目のシャッタ時間2ts/vに対応する前景の成分に等しい。同様に、前景の成分F07/vは、図１１中の左から６番目の画素の、シャッタが開いて３番目のシャッタ時間2ts/vに対応する前景の成分と、図１１中の左から７番目の画素の、シャッタが開いて４番目のシャッタ時間2ts/vに対応する前景の成分とに、それぞれ等しい。
【００９０】
前景に対応するオブジェクトが、剛体であり、前景の画像が次のフレームにおいて４画素右側に表示されるように等速で移動すると仮定できるので、例えば、図１１中の左から３番目の画素の、シャッタが開いて最初のシャッタ時間2ts/vの前景の成分F06/vは、図１１中の左から４番目の画素の、シャッタが開いて２番目のシャッタ時間2ts/vに対応する前景の成分に等しい。同様に、前景の成分F06/vは、図１１中の左から５番目の画素の、シャッタが開いて３番目のシャッタ時間2ts/vに対応する前景の成分と、図１１中の左から６番目の画素の、シャッタが開いて４番目のシャッタ時間2ts/vに対応する前景の成分とに、それぞれ等しい。
【００９１】
前景に対応するオブジェクトが、剛体であり、前景の画像が次のフレームにおいて４画素右側に表示されるように等速で移動すると仮定できるので、例えば、図１１中の左から２番目の画素の、シャッタが開いて最初のシャッタ時間2ts/vの前景の成分F05/vは、図１１中の左から３番目の画素の、シャッタが開いて２番目のシャッタ時間2ts/vのに対応する前景の成分に等しい。同様に、前景の成分F05/vは、図１１中の左から４番目の画素の、シャッタが開いて３番目のシャッタ時間2ts/vに対応する前景の成分と、図１１中の左から５番目の画素の、シャッタが開いて４番目のシャッタ時間2ts/vに対応する前景の成分とに、それぞれ等しい。
【００９２】
前景に対応するオブジェクトが、剛体であり、前景の画像が次のフレームにおいて４画素右側に表示されるように等速で移動すると仮定できるので、例えば、図１１中の最も左側の画素の、シャッタが開いて最初のシャッタ時間2ts/vの前景の成分F04/vは、図１１中の左から２番目の画素の、シャッタが開いて２番目のシャッタ時間2ts/vに対応する前景の成分に等しい。同様に、前景の成分F04/vは、図１１中の左から３番目の画素の、シャッタが開いて３番目のシャッタ時間2ts/vに対応する前景の成分と、図１１中の左から４番目の画素の、シャッタが開いて４番目のシャッタ時間2ts/vに対応する前景の成分とに、それぞれ等しい。
【００９３】
動いているオブジェクトに対応する前景の領域は、このように動きボケを含むので、歪み領域とも言える。
【００９４】
図１２は、前景が図中の右側に向かって移動する場合の、アンカバードバックグラウンド領域を含む、１つのライン上の画素の画素値を時間方向に展開したモデル図である。図１２において、前景の動き量vは、４である。１フレームは短い時間なので、前景に対応するオブジェクトが剛体であり、等速で移動していると仮定することができる。図１２において、前景に対応するオブジェクトの画像は、あるフレームを基準として次のフレームにおいて４画素分右側に移動する。
【００９５】
図１２において、最も左側の画素乃至左から４番目の画素は、背景領域に属する。図１２において、左から５番目乃至左から７番目の画素は、アンカバードバックグラウンドである混合領域に属する。図１２において、最も右側の画素は、前景領域に属する。
【００９６】
背景に対応するオブジェクトを覆っていた前景に対応するオブジェクトが時間の経過と共に背景に対応するオブジェクトの前から取り除かれるように移動しているので、アンカバードバックグラウンド領域に属する画素の画素値に含まれる成分は、シャッタ時間2tsに対応する期間のある時点で、前景の成分から、背景の成分に替わる。
【００９７】
例えば、図１２中に太線枠を付した画素値M'は、式（７）で表される。
【００９８】
M'=F02/v+F01/v+B26/v+B26/v （７）
【００９９】
例えば、左から５番目の画素は、３つのシャッタ時間2ts/vに対応する背景の成分を含み、１つのシャッタ時間2ts/vに対応する前景の成分を含むので、左から５番目の画素の混合比αは、3/4である。左から６番目の画素は、２つのシャッタ時間2ts/vに対応する背景の成分を含み、２つのシャッタ時間2ts/vに対応する前景の成分を含むので、左から６番目の画素の混合比αは、1/2である。左から７番目の画素は、１つのシャッタ時間2ts/vに対応する背景の成分を含み、３つのシャッタ時間2ts/vに対応する前景の成分を含むので、左から７番目の画素の混合比αは、1/4である。
【０１００】
式（６）および式（７）をより一般化すると、画素値Mは、式（８）で表される。
【０１０１】
【数４】
【０１０２】
前景に対応するオブジェクトが剛体であり、等速で動くと仮定でき、かつ、動き量vが４であるので、例えば、図１２中の左から５番目の画素の、シャッタが開いて最初の、シャッタ時間2ts/vの前景の成分F01/vは、図１２中の左から６番目の画素の、シャッタが開いて２番目のシャッタ時間2ts/vに対応する前景の成分に等しい。同様に、F01/vは、図１２中の左から７番目の画素の、シャッタが開いて３番目のシャッタ時間2ts/vに対応する前景の成分と、図１２中の左から８番目の画素の、シャッタが開いて４番目のシャッタ時間2ts/vに対応する前景の成分とに、それぞれ等しい。
【０１０３】
前景に対応するオブジェクトが剛体であり、等速で動くと仮定でき、かつ、仮想分割数が４であるので、例えば、図１２中の左から６番目の画素の、シャッタが開いて最初の、シャッタ時間2ts/vの前景の成分F02/vは、図１２中の左から７番目の画素の、シャッタが開いて２番目のシャッタ時間2ts/vに対応する前景の成分に等しい。同様に、前景の成分F02/vは、図１２中の左から８番目の画素の、シャッタが開いて３番目のシャッタ時間2ts/vに対応する前景の成分に等しい。
【０１０４】
前景に対応するオブジェクトが剛体であり、等速で動くと仮定でき、かつ、動き量vが４であるので、例えば、図１２中の左から７番目の画素の、シャッタが開いて最初の、シャッタ時間2ts/vの前景の成分F03/vは、図１２中の左から８番目の画素の、シャッタが開いて２番目のシャッタ時間2ts/vに対応する前景の成分に等しい。
【０１０５】
図１０乃至図１２の説明において、仮想分割数は、４であるとして説明したが、仮想分割数は、動き量vに対応する。動き量vは、一般に、前景に対応するオブジェクトの移動速度に対応する。例えば、前景に対応するオブジェクトが、あるフレームを基準として次のフレームにおいて４画素分右側に表示されるように移動しているとき、動き量vは、４とされる。動き量vに対応し、仮想分割数は、４とされる。同様に、例えば、前景に対応するオブジェクトが、あるフレームを基準として次のフレームにおいて６画素分左側に表示されるように移動しているとき、動き量vは、６とされ、仮想分割数は、６とされる。
【０１０６】
図１３および図１４に、以上で説明した、前景領域、背景領域、カバードバックグラウンド領域若しくはアンカバードバックグラウンド領域から成る混合領域と、分割されたシャッタ時間2tsに対応する前景の成分および背景の成分との関係を示す。
【０１０７】
図１３は、静止している背景の前を移動しているオブジェクトに対応する前景を含む画像から、前景領域、背景領域、および混合領域の画素を抽出した例を示す。図１３に示す例において、前景に対応するオブジェクトは、画面に対して水平に移動している。
【０１０８】
フレーム#n+1は、フレーム#nの次のフレームであり、フレーム#n+2は、フレーム#n+1の次のフレームである。
【０１０９】
フレーム#n乃至フレーム#n+2のいずれかから抽出した、前景領域、背景領域、および混合領域の画素を抽出して、動き量vを４として、抽出された画素の画素値を時間方向に展開したモデルを図１４に示す。
【０１１０】
前景領域の画素値は、前景に対応するオブジェクトが移動するので、シャッタ時間2ts/vの期間に対応する、４つの異なる前景の成分から構成される。例えば、図１４に示す前景領域の画素のうち最も左側に位置する画素は、F01/v,F02/v,F03/v、およびF04/vから構成される。すなわち、前景領域の画素は、動きボケを含んでいる。
【０１１１】
背景に対応するオブジェクトが静止しているので、シャッタ時間2tsに対応する期間において、センサに入力される背景に対応する光は変化しない。この場合、背景領域の画素値は、動きボケを含まない。
【０１１２】
カバードバックグラウンド領域若しくはアンカバードバックグラウンド領域から成る混合領域に属する画素の画素値は、前景の成分と、背景の成分とから構成される。
【０１１３】
次に、オブジェクトに対応する画像が動いているとき、複数のフレームにおける、隣接して１列に並んでいる画素であって、フレーム上で同一の位置の画素の画素値を時間方向に展開したモデルについて説明する。例えば、オブジェクトに対応する画像が画面に対して水平に動いているとき、隣接して１列に並んでいる画素として、画面の１つのライン上に並んでいる画素を選択することができる。
【０１１４】
図１５は、静止している背景に対応するオブジェクトを撮像した画像の３つのフレームの、隣接して１列に並んでいる画素であって、フレーム上で同一の位置の画素の画素値を時間方向に展開したモデル図である。フレーム#nは、フレーム#n-1の次のフレームであり、フレーム#n+1は、フレーム#nの次のフレームである。他のフレームも同様に称する。
【０１１５】
図１５に示すB01乃至B12の画素値は、静止している背景のオブジェクトに対応する画素の画素値である。背景に対応するオブジェクトが静止しているので、フレーム#n-1乃至フレームn+1において、対応する画素の画素値は、変化しない。例えば、フレーム#n-1におけるB05の画素値を有する画素の位置に対応する、フレーム#nにおける画素、およびフレーム#n+1における画素は、それぞれ、B05の画素値を有する。
【０１１６】
図１６は、静止している背景に対応するオブジェクトと共に図中の右側に移動する前景に対応するオブジェクトを撮像した画像の３つのフレームの、隣接して１列に並んでいる画素であって、フレーム上で同一の位置の画素の画素値を時間方向に展開したモデル図である。図１６に示すモデルは、カバードバックグラウンド領域を含む。
【０１１７】
図１６において、前景に対応するオブジェクトが、剛体であり、等速で移動すると仮定でき、前景の画像が次のフレームにおいて４画素右側に表示されるように移動するので、前景の動き量vは、４であり、仮想分割数は、４である。
【０１１８】
例えば、図１６中のフレーム#n-1の最も左側の画素の、シャッタが開いて最初のシャッタ時間2ts/vの前景の成分は、F12/vとなり、図１６中の左から２番目の画素の、シャッタが開いて２番目のシャッタ時間2ts/vの前景の成分も、F12/vとなる。図１６中の左から３番目の画素の、シャッタが開いて３番目のシャッタ時間2ts/vの前景の成分、および図１６中の左から４番目の画素の、シャッタが開いて４番目のシャッタ時間2ts/vの前景の成分は、F12/vとなる。
【０１１９】
図１６中のフレーム#n-1の最も左側の画素の、シャッタが開いて２番目のシャッタ時間2ts/vの前景の成分は、F11/vとなり、図１６中の左から２番目の画素の、シャッタが開いて３番目のシャッタ時間2ts/vの前景の成分も、F11/vとなる。図１６中の左から３番目の画素の、シャッタが開いて４番目のシャッタ時間2ts/vの前景の成分は、F11/vとなる。
【０１２０】
図１６中のフレーム#n-1の最も左側の画素の、シャッタが開いて３番目のシャッタ時間2ts/vの前景の成分は、F10/vとなり、図１６中の左から２番目の画素の、シャッタが開いて４番目のシャッタ時間2ts/vの前景の成分も、F10/vとなる。図１６中のフレーム#n-1の最も左側の画素の、シャッタが開いて４番目のシャッタ時間2ts/vの前景の成分は、F09/vとなる。
【０１２１】
背景に対応するオブジェクトが静止しているので、図１６中のフレーム#n-1の左から２番目の画素の、シャッタが開いて最初のシャッタ時間2ts/vの背景の成分は、B01/vとなる。図１６中のフレーム#n-1の左から３番目の画素の、シャッタが開いて最初および２番目のシャッタ時間2ts/vの背景の成分は、B02/vとなる。図１６中のフレーム#n-1の左から４番目の画素の、シャッタが開いて最初乃至３番目のシャッタ時間2ts/vの背景の成分は、B03/vとなる。
【０１２２】
図１６中のフレーム#n-1において、最も左側の画素は、前景領域に属し、左側から２番目乃至４番目の画素は、カバードバックグラウンド領域である混合領域に属する。
【０１２３】
図１６中のフレーム#n-1の左から５番目の画素乃至１２番目の画素は、背景領域に属し、その画素値は、それぞれ、B04乃至B11となる。
【０１２４】
図１６中のフレーム#nの左から１番目の画素乃至５番目の画素は、前景領域に属する。フレーム#nの前景領域における、シャッタ時間2ts/vの前景の成分は、F05/v乃至F12/vのいずれかである。
【０１２５】
前景に対応するオブジェクトが、剛体であり、等速で移動すると仮定でき、前景の画像が次のフレームにおいて４画素右側に表示されるように移動するので、図１６中のフレーム#nの左から５番目の画素の、シャッタが開いて最初のシャッタ時間2ts/vの前景の成分は、F12/vとなり、図１６中の左から６番目の画素の、シャッタが開いて２番目のシャッタ時間2ts/vの前景の成分も、F12/vとなる。図１６中の左から７番目の画素の、シャッタが開いて３番目のシャッタ時間2ts/vの前景の成分、および図１６中の左から８番目の画素の、シャッタが開いて４番目のシャッタ時間2ts/vの前景の成分は、F12/vとなる。
【０１２６】
図１６中のフレーム#nの左から５番目の画素の、シャッタが開いて２番目のシャッタ時間2ts/vの前景の成分は、F11/vとなり、図１６中の左から６番目の画素の、シャッタが開いて３番目のシャッタ時間2ts/vの前景の成分も、F11/vとなる。図１６中の左から７番目の画素の、シャッタが開いて４番目のシャッタ時間2ts/vの前景の成分は、F11/vとなる。
【０１２７】
図１６中のフレーム#nの左から５番目の画素の、シャッタが開いて３番目のシャッタ時間2ts/vの前景の成分は、F10/vとなり、図１６中の左から６番目の画素の、シャッタが開いて４番目のシャッタ時間2ts/vの前景の成分も、F10/vとなる。図１６中のフレーム#nの左から５番目の画素の、シャッタが開いて４番目のシャッタ時間2ts/vの前景の成分は、F09/vとなる。
【０１２８】
背景に対応するオブジェクトが静止しているので、図１６中のフレーム#nの左から６番目の画素の、シャッタが開いて最初のシャッタ時間2ts/vの背景の成分は、B05/vとなる。図１６中のフレーム#nの左から７番目の画素の、シャッタが開いて最初および２番目のシャッタ時間2ts/vの背景の成分は、B06/vとなる。図１６中のフレーム#nの左から８番目の画素の、シャッタが開いて最初乃至３番目の、シャッタ時間2ts/vの背景の成分は、B07/vとなる。
【０１２９】
図１６中のフレーム#nにおいて、左側から６番目乃至８番目の画素は、カバードバックグラウンド領域である混合領域に属する。
【０１３０】
図１６中のフレーム#nの左から９番目の画素乃至１２番目の画素は、背景領域に属し、画素値は、それぞれ、B08乃至B11となる。
【０１３１】
図１６中のフレーム#n+1の左から１番目の画素乃至９番目の画素は、前景領域に属する。フレーム#n+1の前景領域における、シャッタ時間2ts/vの前景の成分は、F01/v乃至F12/vのいずれかである。
【０１３２】
前景に対応するオブジェクトが、剛体であり、等速で移動すると仮定でき、前景の画像が次のフレームにおいて４画素右側に表示されるように移動するので、図１６中のフレーム#n+1の左から９番目の画素の、シャッタが開いて最初のシャッタ時間2ts/vの前景の成分は、F12/vとなり、図１６中の左から１０番目の画素の、シャッタが開いて２番目のシャッタ時間2ts/vの前景の成分も、F12/vとなる。図１６中の左から１１番目の画素の、シャッタが開いて３番目のシャッタ時間2ts/vの前景の成分、および図１６中の左から１２番目の画素の、シャッタが開いて４番目のシャッタ時間2ts/vの前景の成分は、F12/vとなる。
【０１３３】
図１６中のフレーム#n+1の左から９番目の画素の、シャッタが開いて２番目のシャッタ時間2ts/vの期間の前景の成分は、F11/vとなり、図１６中の左から１０番目の画素の、シャッタが開いて３番目のシャッタ時間2ts/vの前景の成分も、F11/vとなる。図１６中の左から１１番目の画素の、シャッタが開いて４番目の、シャッタ時間2ts/vの前景の成分は、F11/vとなる。
【０１３４】
図１６中のフレーム#n+1の左から９番目の画素の、シャッタが開いて３番目の、シャッタ時間2ts/vの前景の成分は、F10/vとなり、図１６中の左から１０番目の画素の、シャッタが開いて４番目のシャッタ時間2ts/vの前景の成分も、F10/vとなる。図１６中のフレーム#n+1の左から９番目の画素の、シャッタが開いて４番目のシャッタ時間2ts/vの前景の成分は、F09/vとなる。
【０１３５】
背景に対応するオブジェクトが静止しているので、図１６中のフレーム#n+1の左から１０番目の画素の、シャッタが開いて最初のシャッタ時間2ts/vの背景の成分は、B09/vとなる。図１６中のフレーム#n+1の左から１１番目の画素の、シャッタが開いて最初および２番目のシャッタ時間2ts/vの背景の成分は、B10/vとなる。図１６中のフレーム#n+1の左から１２番目の画素の、シャッタが開いて最初乃至３番目の、シャッタ時間2ts/vの背景の成分は、B11/vとなる。
【０１３６】
図１６中のフレーム#n+1において、左側から１０番目乃至１２番目の画素は、カバードバックグラウンド領域である混合領域に対応する。
【０１３７】
図１７は、図１６に示す画素値から前景の成分を抽出した画像のモデル図である。
【０１３８】
図１８は、静止している背景と共に図中の右側に移動するオブジェクトに対応する前景を撮像した画像の３つのフレームの、隣接して１列に並んでいる画素であって、フレーム上で同一の位置の画素の画素値を時間方向に展開したモデル図である。図１８において、アンカバードバックグラウンド領域が含まれている。
【０１３９】
図１８において、前景に対応するオブジェクトは、剛体であり、かつ等速で移動していると仮定できる。前景に対応するオブジェクトが、次のフレームにおいて４画素分右側に表示されるように移動しているので、動き量vは、４である。
【０１４０】
例えば、図１８中のフレーム#n-1の最も左側の画素の、シャッタが開いて最初の、シャッタ時間2ts/vの前景の成分は、F13/vとなり、図１８中の左から２番目の画素の、シャッタが開いて２番目のシャッタ時間2ts/vの前景の成分も、F13/vとなる。図１８中の左から３番目の画素の、シャッタが開いて３番目のシャッタ時間2ts/vの前景の成分、および図１８中の左から４番目の画素の、シャッタが開いて４番目のシャッタ時間2ts/vの前景の成分は、F13/vとなる。
【０１４１】
図１８中のフレーム#n-1の左から２番目の画素の、シャッタが開いて最初のシャッタ時間2ts/vの前景の成分は、F14/vとなり、図１８中の左から３番目の画素の、シャッタが開いて２番目のシャッタ時間2ts/vの前景の成分も、F14/vとなる。図１８中の左から３番目の画素の、シャッタが開いて最初の、シャッタ時間2ts/vの前景の成分は、F15/vとなる。
【０１４２】
背景に対応するオブジェクトが静止しているので、図１８中のフレーム#n-1の最も左側の画素の、シャッタが開いて２番目乃至４番目の、シャッタ時間2ts/vの背景の成分は、B25/vとなる。図１８中のフレーム#n-1の左から２番目の画素の、シャッタが開いて３番目および４番目の、シャッタ時間2ts/vの背景の成分は、B26/vとなる。図１８中のフレーム#n-1の左から３番目の画素の、シャッタが開いて４番目のシャッタ時間2ts/vの背景の成分は、B27/vとなる。
【０１４３】
図１８中のフレーム#n-1において、最も左側の画素乃至３番目の画素は、アンカバードバックグラウンド領域である混合領域に属する。
【０１４４】
図１８中のフレーム#n-1の左から４番目の画素乃至１２番目の画素は、前景領域に属する。フレームの前景の成分は、F13/v乃至F24/vのいずれかである。
【０１４５】
図１８中のフレーム#nの最も左側の画素乃至左から４番目の画素は、背景領域に属し、画素値は、それぞれ、B25乃至B28となる。
【０１４６】
前景に対応するオブジェクトが、剛体であり、等速で移動すると仮定でき、前景の画像が次のフレームにおいて４画素右側に表示されるように移動するので、図１８中のフレーム#nの左から５番目の画素の、シャッタが開いて最初のシャッタ時間2ts/vの前景の成分は、F13/vとなり、図１８中の左から６番目の画素の、シャッタが開いて２番目のシャッタ時間2ts/vの前景の成分も、F13/vとなる。図１８中の左から７番目の画素の、シャッタが開いて３番目のシャッタ時間2ts/vの前景の成分、および図１８中の左から８番目の画素の、シャッタが開いて４番目のシャッタ時間2ts/vの前景の成分は、F13/vとなる。
【０１４７】
図１８中のフレーム#nの左から６番目の画素の、シャッタが開いて最初のシャッタ時間2ts/vの前景の成分は、F14/vとなり、図１８中の左から７番目の画素の、シャッタが開いて２番目のシャッタ時間2ts/vの前景の成分も、F14/vとなる。図１８中の左から８番目の画素の、シャッタが開いて最初のシャッタ時間2ts/vの前景の成分は、F15/vとなる。
【０１４８】
背景に対応するオブジェクトが静止しているので、図１８中のフレーム#nの左から５番目の画素の、シャッタが開いて２番目乃至４番目のシャッタ時間2ts/vの背景の成分は、B29/vとなる。図１８中のフレーム#nの左から６番目の画素の、シャッタが開いて３番目および４番目のシャッタ時間2ts/vの背景の成分は、B30/vとなる。図１８中のフレーム#nの左から７番目の画素の、シャッタが開いて４番目のシャッタ時間2ts/vの背景の成分は、B31/vとなる。
【０１４９】
図１８中のフレーム#nにおいて、左から５番目の画素乃至７番目の画素は、アンカバードバックグラウンド領域である混合領域に属する。
【０１５０】
図１８中のフレーム#nの左から８番目の画素乃至１２番目の画素は、前景領域に属する。フレーム#nの前景領域における、シャッタ時間2ts/vの期間に対応する値は、F13/v乃至F20/vのいずれかである。
【０１５１】
図１８中のフレーム#n+1の最も左側の画素乃至左から８番目の画素は、背景領域に属し、画素値は、それぞれ、B25乃至B32となる。
【０１５２】
前景に対応するオブジェクトが、剛体であり、等速で移動すると仮定でき、前景の画像が次のフレームにおいて４画素右側に表示されるように移動するので、図１８中のフレーム#n+1の左から９番目の画素の、シャッタが開いて最初のシャッタ時間2ts/vの前景の成分は、F13/vとなり、図１８中の左から１０番目の画素の、シャッタが開いて２番目のシャッタ時間2ts/vの前景の成分も、F13/vとなる。図１８中の左から１１番目の画素の、シャッタが開いて３番目のシャッタ時間2ts/vの前景の成分、および図１８中の左から１２番目の画素の、シャッタが開いて４番目のシャッタ時間2ts/vの前景の成分は、F13/vとなる。
【０１５３】
図１８中のフレーム#n+1の左から１０番目の画素の、シャッタが開いて最初のシャッタ時間2ts/vの前景の成分は、F14/vとなり、図１８中の左から１１番目の画素の、シャッタが開いて２番目のシャッタ時間2ts/vの前景の成分も、F14/vとなる。図１８中の左から１２番目の画素の、シャッタが開いて最初のシャッタ時間2ts/vの前景の成分は、F15/vとなる。
【０１５４】
背景に対応するオブジェクトが静止しているので、図１８中のフレーム#n+1の左から９番目の画素の、シャッタが開いて２番目乃至４番目の、シャッタ時間2ts/vの背景の成分は、B33/vとなる。図１８中のフレーム#n+1の左から１０番目の画素の、シャッタが開いて３番目および４番目のシャッタ時間2ts/vの背景の成分は、B34/vとなる。図１８中のフレーム#n+1の左から１１番目の画素の、シャッタが開いて４番目のシャッタ時間2ts/vの背景の成分は、B35/vとなる。
【０１５５】
図１８中のフレーム#n+1において、左から９番目の画素乃至１１番目の画素は、アンカバードバックグラウンド領域である混合領域に属する。
【０１５６】
図１８中のフレーム#n+1の左から１２番目の画素は、前景領域に属する。フレーム#n+1の前景領域における、シャッタ時間2ts/vの前景の成分は、F13/v乃至F16/vのいずれかである。
【０１５７】
図１９は、図１８に示す画素値から前景の成分を抽出した画像のモデル図である。
【０１５８】
次に、混合領域に属する画素を対象とした、倍密画像を生成する処理について説明する。
【０１５９】
図２０のフレーム#nにおいて、画素ａ乃至画素cは、混合領域に属する。
【０１６０】
フレーム#nの画素aの画素値Maは、式（９）に示される。
【０１６１】
Ma=B07/4+B07/4+B07/4+F12/4 （９）
【０１６２】
画素aに対応する倍密画像の画素値Ma1および画素値Ma2は、それぞれ式（１０）および式（１１）で表される。式（１０）および式（１１）において、前景の成分または背景の成分に、ゲイン調整のための係数2が乗じられている。
【０１６３】
Ma1=2×(B07/4+B07/4)
=B07/2+B07/2
=B07 （１０）
Ma2=2×(B07/4+F12/4)
=B07/2+F12/2 （１１）
【０１６４】
式（１０）より、画素aに対応する、背景側の倍密画像の画素値Ma1に、フレーム#n-1の対応する画素の画素値B07を設定すればよいことがわかる。
【０１６５】
画素aに対応する、前景側の倍密画像の画素値Ma2は、式（４）または式（５）を変形した式（１２）から算出できる。
【０１６６】
Ma2=2×Ma-Ma1 （１２）
【０１６７】
図２１に、混合領域に属する画素であって、背景の成分をより多く含む画素の画素値、対応する前または後のフレームの画素の画素値、倍密画像の画素値、および時間的に理想的な画素値との関係を示す。
【０１６８】
フレーム#nの混合領域に属する画素が背景の成分をより多く含むとき、図２１に示すように、背景側の倍密画像の画素値に、フレーム#n-1の対応する背景領域に属する画素の画素値が設定される。図２１において、背景側の倍密画像は、フレーム#n-1側に位置する。
【０１６９】
フレーム#nの混合領域に属する画素が背景の成分をより多く含むとき、対応する前景側の倍密画像の画素値は、式（４）または式（５）を基に、フレーム#nの混合領域に属する画素の画素値、および設定された背景側の倍密画像の画素値から算出される。図２１において、前景側の倍密画像は、フレーム#n+1側に位置する。
【０１７０】
同様に、フレーム#nの画素bに対応する、背景側の倍密画像の画素値Mb1に、式（１３）に示すように、フレーム#n-1の対応する画素の画素値B06が設定される。フレーム#nの画素bに対応する、前景側の倍密画像の画素値Mb2は、式（１４）から算出される。
【０１７１】
Mb1=2×(B06/4+B06/4)
=B06/2+B06/2
=B06 （１３）
Mb2=2×Mb-Mb1 （１４）
【０１７２】
画素cの画素値Mcは、式（１５）に示される。
【０１７３】
Mc=B05/4+F12/4+F11/4+F10/4 （１５）
【０１７４】
フレーム#nの画素cに対応する倍密画像の画素値Mc1および画素値Mc2は、それぞれ式（１６）および式（１７）で表される。式（１６）および式（１７）において、前景の成分または背景の成分に、ゲイン調整のための係数2が乗じられている。
【０１７５】
Mc1=2×(B05/4+F12/4)
=B05/2+F12/2 （１６）
Mc2=2×(F11/4+F10/4)
=F11/2+F10/2 （１７）
【０１７６】
ここで、前景の成分の空間相関を利用して、式（１８）が成立するとする。
【０１７７】
F=F11=F10=F09=F08=F07=F06 （１８）
【０１７８】
式（１８）より、F09/4+F08/4+F07/4+F06/4であるから、画素cに対応するフレーム#n+1の画素値は、画素値Fに等しい。
【０１７９】
従って、式（１９）が成立する。
【０１８０】
Mc2=F11/2+F10/2
=F （１９）
【０１８１】
画素cに対応する、背景側の倍密画像の画素値Mc1は、式（４）または式（５）を変形した式（２０）から算出できる。
【０１８２】
Mc1=2×Mc-Mc2 （２０）
【０１８３】
図２２に、混合領域に属する画素であって、前景の成分をより多く含む画素の画素値、対応する前または後のフレームの画素の画素値、倍密画像の画素値、および時間的に理想的な画素値との関係を示す。
【０１８４】
フレーム#nの混合領域に属する画素が前景の成分をより多く含むとき、図２２に示すように、前景側の倍密画像の画素値に、フレーム#n+1の対応する前景領域に属する画素の画素値が設定される。図２２において、前景側の倍密画像は、フレーム#n+1側に位置する。
【０１８５】
フレーム#nの混合領域に属する画素が前景の成分をより多く含むとき、対応する背景側の倍密画像の画素値は、式（４）または式（５）を基に、フレーム#nの混合領域に属する画素の画素値、および設定された前景側の倍密画像の画素値から算出される。図２２において、背景側の倍密画像は、フレーム#n-1側に位置する。
【０１８６】
このように、例えば、動き量vが４であるとき、混合領域に属する画素であって、背景の成分を２つまたは３つ含むものに対応する倍密画像の画素値を生成する場合、背景側の倍密画像の画素値に、前または後のフレームの背景の画素値を設定し、前景側の倍密画像の画素値を、式（４）または式（５）を基に算出する。
【０１８７】
動き量vが４であるとき、混合領域に属する画素であって、背景の成分を１つ含むものに対応する倍密画像の画素値を生成する場合、前景側の倍密画像の画素値に、前または後のフレームの前景の画素値を設定し、背景側の倍密画像の画素値を、式（４）または式（５）を基に算出する。
【０１８８】
より一般的に説明すれば、混合領域に属する画素が、対応する前景領域に属する画素との相関に比較して、対応する背景領域に属する画素との相関が強いとき、背景側の倍密画像の画素値に、対応する背景領域に属する画素の画素値を設定し、前景側の倍密画像の画素値を、式（４）または式（５）を基に算出する。混合領域に属する画素が、対応する背景領域に属する画素との相関に比較して、対応する前景領域に属する画素との相関が強いとき、前景側の倍密画像の画素値に、対応する前景領域に属する画素の画素値を設定し、背景側の倍密画像の画素値を、式（４）または式（５）を基に算出する。
【０１８９】
図２３乃至図２８は、倍密画像の片側の画素に相関の強い画素値を設定する処理の妥当性を検証する処理の結果の例を説明する図である。
【０１９０】
シャッタ時間がtsである画像を２フレーム平均して、シャッタ時間2tsに対応する画像を生成した。生成したシャッタ時間2tsに対応する画像、およびシャッタ時間がtsである画像を基に、シャッタ時間が2tsである画像のフレーム差分と、シャッタ時間2tsに対応する画像、および対応するシャッタ時間がtsである画像の対応するフレームの差分とを比較した。
【０１９１】
ここで、シャッタ時間2tsに対応する画像と、対応するシャッタ時間がtsである画像との対応するフレームの差分の処理において、シャッタ時間がtsである画像は、上述した倍密画像の生成の処理における相関の強い画素値に相当する。
【０１９２】
図２３は、シャッタ時間が2tsである画像のフレーム差分の画像である。
【０１９３】
図２４は、シャッタ時間が2tsである画像のフレーム差分の画像の内の、混合領域に対応する画像の拡大図である。
【０１９４】
図２５は、シャッタ時間が2tsである画像のフレーム差分の画像の、混合領域に属する画素の、画素位置に対応する画素値の変化を示す図である。
【０１９５】
図２６は、シャッタ時間2tsに対応する画像と、対応するシャッタ時間がtsである画像との対応するフレームの差分の画像である。なお、シャッタ時間2tsに対応する画像と、対応するシャッタ時間がtsである画像との差分の算出の処理において、対応するシャッタ時間がtsである画像の背景の画素と注目しているシャッタ時間2tsに対応する画像の画素との差分の処理、および対応するシャッタ時間がtsである画像の前景の画素と注目しているシャッタ時間2tsに対応する画像の画素との差分の処理を適宜切り換えている。
【０１９６】
図２７は、シャッタ時間2tsに対応する画像と、対応するシャッタ時間がtsである画像との対応するフレームの差分の画像の内の、混合領域に対応する画像の拡大図である。
【０１９７】
図２８は、シャッタ時間2tsに対応する画像と、対応するシャッタ時間がtsである画像との対応するフレームの差分の画像の、混合領域に属する画素の、画素位置に対応する画素値の変化を示す図である。
【０１９８】
図２３乃至図２８に示すように、シャッタ時間が2tsである画像のフレーム差分と、シャッタ時間2tsに対応する画像、および対応するシャッタ時間がtsである画像の対応するフレームの差分とは、ほぼ同等の値を示す。
【０１９９】
このことから、倍密画像の片側の画素に相関の強い画素値を設定し、相関の強い画素値および元の画素値から他の片側の倍密画像の画素値を生成する処理は、センサのシャッタ時間を半分にして撮像した画像とほぼ同等の画像を生成できると言える。
【０２００】
次に、前景領域に属する画素を対象として、倍密画像を生成する処理について説明する。
【０２０１】
図２９のフレーム#nにおいて、画素dは、背景領域に属する。
【０２０２】
フレーム#nの画素dの画素値Mdは、式（２１）に示される。
【０２０３】
Md=B10/4+B10/4+B10/4+B10/4 （２１）
【０２０４】
画素dに対応する倍密画像の画素値Md1および画素値Md2は、それぞれ式（２２）および式（２３）で表される。式（２２）および式（２３）において、背景の成分に、ゲイン調整のための係数2が乗じられている。
【０２０５】
Md1=2×(B10/4+B10/4)
=B10/2+B10/2
=B10 （２２）
Md2=2×(B10/4+B10/4)
=B10/2+B10/2
=B10 （２３）
【０２０６】
すなわち、画素dに対応する、倍密画像の画素値Md1および画素値Md2に、フレーム#n-1の対応する画素の画素値B10を設定すればよいことがわかる。
【０２０７】
次に、前景領域に属する画素を対象として、倍密画像を生成する処理について説明する。
【０２０８】
前景領域に属する画素を対象として、倍密画像を生成するとき、正しい画素値を前または次のフレームから取得することはできないので、前景の成分の空間相関を利用する。前または次のフレームの対応する画素値のうち、相関の強い画素値を、倍密画像のいずれかの画素値とする。倍密画像の他の画素値は、式（４）または式（５）を基に、算出される。
【０２０９】
図３０のフレーム#nにおいて、画素eは、前景領域に属する。
【０２１０】
フレーム#nの画素eの画素値Meは、式（２４）に示される。
【０２１１】
Me=F07/4+F08/4+F09/4+F10/4 （２４）
【０２１２】
画素eに対応する倍密画像の画素値Me1および画素値Me2は、それぞれ式（２５）および式（２６）で表される。式（２５）および式（２６）において、前景の成分に、ゲイン調整のための係数2が乗じられている。
【０２１３】
Me1=2×(F09/4+F10/4)
=F09/2+F10/2 （２５）
Me2=2×(F07/4+F08/4)
=F07/2+F08/2 （２６）
【０２１４】
例えば、画素eにおいて、フレーム#n-1の対応する画素との相関に比較して、フレーム#n+1の対応する画素との相関が強いとき、前景の成分の空間相関を利用して、式（２７）が成立するとする。
【０２１５】
F=F08=F07=F06=F05=F04=F03 （２７）
【０２１６】
画素eに対応する倍密画像の画素値Me2は、式（２８）に示すように、フレーム#n+1の対応する画素の画素値が設定される。
【０２１７】
Me2=F07/2+F08/2
=F06/4+F05/4+F04/4+F03/4
=F （２８）
【０２１８】
画素eに対応する、他の倍密画像の画素値Me1は、式（４）または式（５）を変形した式（２９）から算出される。
【０２１９】
Me1=2×Me-Me2 （２９）
【０２２０】
このように、信号処理装置は、混合領域に属す画素について、倍密画像を生成するとき、図３１に示すように、注目する画素が背景の成分をより多く含む場合、すなわち、注目する画素が背景の画素とより相関が強い場合、背景側の倍密画像の画素値に、対応する背景の画素値を設定して、式（４）または式（５）を基に、前景側の倍密画像の画素値を生成する。
【０２２１】
信号処理装置は、混合領域に属す画素について、倍密画像を生成するとき、図３１に示すように、注目する画素が前景の成分をより多く含む場合、すなわち、注目する画素が前景の画素とより相関が強い場合、前景側の倍密画像の画素値に、対応する前景の画素値を設定して、式（４）または式（５）を基に、背景側の倍密画像の画素値を生成する。
【０２２２】
信号処理装置は、背景領域に属す画素について、倍密画像を生成するとき、図３２に示すように、相関が強いフレームの画素を選択して、対応する側の倍密画像の画素値に、相関が強いフレームの画素の画素値を設定して、式（４）または式（５）を基に、他の倍密画像の画素値を生成する。
【０２２３】
このようにすることで、よりノイズの少ない背景の画素値を利用して、密画像を生成することができる。
【０２２４】
信号処理装置は、前景領域に属す画素について、倍密画像を生成するとき、図３３に示すように、相関が強いフレームの画素を選択して、対応する側の倍密画像の画素値に、相関が強いフレームの画素の画素値を設定して、式（４）または式（５）を基に、他の倍密画像の画素値を生成する。
【０２２５】
図３４乃至図４２に、本発明に係る信号処理装置による倍密画像の生成の結果の例を示す。
【０２２６】
図３４は、シャッタ時間が2tsである入力画像の例を示す図である。
【０２２７】
図３５は、シャッタ時間が2tsである入力画像の内の、混合領域を含む画像の拡大図である。
【０２２８】
図３６は、シャッタ時間が2tsである入力画像の内の、混合領域を含む画像の、画素位置に対応する画素値の変化を示す図である。
【０２２９】
図３７は、入力画像に対応する、信号処理装置が生成した倍密画像の片側の例を示す図である。
【０２３０】
図３８は、入力画像に対応する、信号処理装置が生成した倍密画像の片側の内の、混合領域を含む画像の拡大図である。
【０２３１】
図３９は、入力画像に対応する、信号処理装置が生成した倍密画像の片側の内の、混合領域を含む画像の、画素位置に対応する画素値の変化を示す図である。
【０２３２】
図４０は、入力画像に対応する、信号処理装置が生成した倍密画像の他の側の例を示す図である。図４０に例を示す倍密画像は、図３７に示す倍密画像の次の画像である。
【０２３３】
図４１は、入力画像に対応する、信号処理装置が生成した倍密画像の他の側の内の、混合領域を含む画像の拡大図である。
【０２３４】
図４２は、入力画像に対応する、信号処理装置が生成した倍密画像の他の側の内の、混合領域を含む画像の、画素位置に対応する画素値の変化を示す図である。
【０２３５】
図３４乃至図４２から、信号処理装置が生成した倍密画像において、混合領域の幅は、入力画像の混合領域の幅の半分となっていることがわかる。
【０２３６】
また、図３４乃至図４２から、信号処理装置が生成した倍密画像において、動きボケの量は、入力画像の動きボケの量から半減していることがわかる。
【０２３７】
図４３のフローチャートを参照して、本発明に係る信号処理装置による、時間方向に２倍の密度の画像を生成する時間解像度創造の処理を説明する。
【０２３８】
ステップＳ１１において、信号処理装置は、入力された画像を取得する。取得された画像は、フレームメモリ１０１およびフレームメモリ１０２により記憶され、フレーム単位で遅延され、遅延されたフレーム毎に相関演算部１０３または相関演算部１０４に供給される。
【０２３９】
ステップＳ１２において、相関演算部１０３は、次のフレームの対応する画素間との相関値を算出して、算出した相関値を片側画素値生成部１０５に供給する。相関演算部１０４は、前のフレームの対応する画素間との相関値を算出して、算出した相関値を片側画素値生成部１０５に供給する。
【０２４０】
ステップＳ１３において、片側画素値生成部１０５は、相関演算部１０３から供給された相関値、および相関演算部１０４から供給された相関値を基に、相関の強い画素値から倍密画像の片側の画素値を生成する。片側画素値生成部１０５は、生成した画素値を片側画素値生成部１０６に供給する。
【０２４１】
ステップＳ１４において、片側画素値生成部１０６は、注目している画素の画素値および片側画素値生成部１０５から供給された倍密画像の片側の画素値から、センサの特性を基にした演算により、倍密画像の他の画素値を生成する。
【０２４２】
ステップＳ１５において、片側画素値生成部１０５および片側画素値生成部１０６は、生成した画素値からなる倍密画像を出力して、処理は終了する。
【０２４３】
このように、本発明に係る信号処理装置は、時間方向に２倍の密度の画像を生成して、出力することができる。
【０２４４】
図４４のフローチャートを参照して、本発明に係る信号処理装置による、より具体的な時間方向に２倍の密度の画像を生成する時間解像度創造の処理の例を説明する。
【０２４５】
ステップＳ３１において、信号処理装置は、シャッタ時間が2tsの画像を取得する。取得された画像は、フレームメモリ１０１およびフレームメモリ１０２により記憶され、フレーム単位で遅延されて、フレーム毎に相関演算部１０３または相関演算部１０４に供給される。
【０２４６】
ステップＳ３２において、相関演算部１０３は、注目しているフレームの画素と次のフレームの対応する画素間で、画素値の差分の絶対値を算出して、算出した画素値の差分の絶対値を片側画素値生成部１０５に供給する。相関演算部１０４は、注目しているフレームの画素と前のフレームの対応する画素間で、画素値の差分の絶対値を算出して、算出した画素値の差分の絶対値を片側画素値生成部１０５に供給する。
【０２４７】
ステップＳ３３において、片側画素値生成部１０５は、相関演算部１０３から供給された画素値の差分の絶対値、および相関演算部１０４から供給された画素値の差分の絶対値を基に、差分の絶対値の小さい画素値を倍密画像の片側の画素値に設定する。片側画素値生成部１０５は、差分の絶対値の小さい画素値を設定した倍密画像を片側画素値生成部１０６に供給する。
【０２４８】
ステップＳ３４において、片側画素値生成部１０６は、注目しているフレームの画素、および片側画素値生成部１０５から供給された差分の絶対値の小さい画素値が設定された倍密画像から、CCDの特性を基にした演算により、倍密画像の他の画素値を生成する。
【０２４９】
ステップＳ３５において、片側画素値生成部１０５および片側画素値生成部１０６は、生成した画素値からなるシャッタ時間がtsの倍密画像を出力して、処理は終了する。
【０２５０】
このように、本発明に係る信号処理装置は、シャッタ時間が2tsの画像から、シャッタ時間がtsの倍密画像を生成して、出力することができる。
【０２５１】
なお、本発明に係る信号処理装置は、時間方向に２倍の密度の画像を生成するとして説明したが、上述した処理を繰り返すことにより、時間方向に４倍、８倍、または１６倍等の密度の画像を生成することができる。
【０２５２】
また、前景となるオブジェクトの動きの方向は左から右として説明したが、その方向に限定されないことは勿論である。
【０２５３】
なお、センサは、CCDに限らす、固体撮像素子である、例えば、BBD（Bucket Brigade Device）、CID（Charge Injection Device）、またはCPD（Charge Priming Device）などのセンサでもよく、また、検出素子がマトリックス状に配置されているセンサに限らず、検出素子が１列に並んでいるセンサでもよい。
【０２５４】
本発明の信号処理を行うプログラムを記録した記録媒体は、図１に示すように、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク５１（フロッピディスクを含む）、光ディスク５２（CD-ROM(Compaut Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク５３（MB（Mini-Disk）を含む）、もしくは半導体メモリ５４などよりなるパッケージメディアにより構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM２２や、記憶部２８に含まれるハードディスクなどで構成される。
【０２５５】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０２５６】
【発明の効果】
本発明の画像処理装置および方法、記録媒体、並びにプログラムによれば、フレームのうちの注目しているフレームである注目フレームの画像データと、注目フレームに隣接する第１のフレームおよび第２のフレームの対応する画像データとの相関がそれぞれ検出され、第１のフレームと第２のフレームの対応する画像データのうち、相関の大きい方の画像データに基づいて、相関の大きい画像データのフレーム側の第３のフレームの画素データとなる第１の画素データが生成されるとともに、注目フレームの画像データおよび第３のフレームの第１の画素データに基づいて、相関の小さい画像データのフレーム側の第４のフレームの画素データとなる第２の画素データが生成されるようにしたので、自然な動きボケを含む、時間方向に高密度の画像を生成することができるようになる。
【図面の簡単な説明】
【図１】本発明に係る信号処理装置の一実施の形態の構成を示すブロック図である。
【図２】信号処理装置の構成を示すブロック図である。
【図３】センサによる撮像を説明する図である。
【図４】画素の配置を説明する図である。
【図５】検出素子の動作を説明する図である。
【図６】積分効果を有するセンサに入力される光に対応する画素データを説明する図である。
【図７】動いている前景に対応するオブジェクトと、静止している背景に対応するオブジェクトとを撮像して得られる画像を説明する図である。
【図８】背景領域、前景領域、混合領域、カバードバックグラウンド領域、およびアンカバードバックグラウンド領域を説明する図である。
【図９】静止している前景に対応するオブジェクトおよび静止している背景に対応するオブジェクトを撮像した画像における、隣接して１列に並んでいる画素の画素値を時間方向に展開したモデル図である。
【図１０】画素値を時間方向に展開し、シャッタ時間2tsに対応する期間を分割したモデル図である。
【図１１】画素値を時間方向に展開し、シャッタ時間2tsに対応する期間を分割したモデル図である。
【図１２】画素値を時間方向に展開し、シャッタ時間2tsに対応する期間を分割したモデル図である。
【図１３】前景領域、背景領域、および混合領域の画素を抽出した例を示す図である。
【図１４】画素と画素値を時間方向に展開したモデルとの対応を示す図である。
【図１５】画素値を時間方向に展開し、シャッタ時間2tsに対応する期間を分割したモデル図である。
【図１６】画素値を時間方向に展開し、シャッタ時間2tsに対応する期間を分割したモデル図である。
【図１７】画素値を時間方向に展開し、シャッタ時間2tsに対応する期間を分割したモデル図である。
【図１８】画素値を時間方向に展開し、シャッタ時間2tsに対応する期間を分割したモデル図である。
【図１９】画素値を時間方向に展開し、シャッタ時間2tsに対応する期間を分割したモデル図である。
【図２０】混合領域に属する画素に対する処理を説明する図である。
【図２１】混合領域に属する画素と時間的に理想的な画素値との関係を示す図である。
【図２２】混合領域に属する画素と時間的に理想的な画素値との関係を示す図である。
【図２３】倍密画像の片側の画素に相関の強い画素値を設定する処理の妥当性を検証する処理の結果の例を説明する図である。
【図２４】倍密画像の片側の画素に相関の強い画素値を設定する処理の妥当性を検証する処理の結果の例を説明する図である。
【図２５】倍密画像の片側の画素に相関の強い画素値を設定する処理の妥当性を検証する処理の結果の例を説明する図である。
【図２６】倍密画像の片側の画素に相関の強い画素値を設定する処理の妥当性を検証する処理の結果の例を説明する図である。
【図２７】倍密画像の片側の画素に相関の強い画素値を設定する処理の妥当性を検証する処理の結果の例を説明する図である。
【図２８】倍密画像の片側の画素に相関の強い画素値を設定する処理の妥当性を検証する処理の結果の例を説明する図である。
【図２９】背景領域に属する画素に対する処理を説明する図である。
【図３０】前景領域に属する画素に対する処理を説明する図である。
【図３１】混合領域に属する画素に対する処理を説明する図である。
【図３２】背景領域に属する画素に対する処理を説明する図である。
【図３３】前景領域に属する画素に対する処理を説明する図である。
【図３４】入力画像の例を示す図である。
【図３５】入力画像を拡大した例を示す図である。
【図３６】入力画像の画素位置に対応する画素値の変化の例を示す図である。
【図３７】倍密画像の例を示す図である。
【図３８】倍密画像を拡大した例を示す図である。
【図３９】倍密画像の画素位置に対応する画素値の変化の例を示す図である。
【図４０】倍密画像の例を示す図である。
【図４１】倍密画像を拡大した例を示す図である。
【図４２】倍密画像の画素位置に対応する画素値の変化の例を示す図である。
【図４３】時間方向に２倍の密度の画像を生成する時間解像度創造の処理を説明するフローチャートである。
【図４４】時間方向に２倍の密度の画像を生成する時間解像度創造の処理を説明するフローチャートである。
【符号の説明】
２１ CPU， ２２ ROM， ２３ RAM， ２６ 入力部， ２７ 出力部，２８ 記憶部， ２９ 通信部， ５１ 磁気ディスク， ５２ 光ディスク， ５３ 光磁気ディスク， ５４ 半導体メモリ， １０１ フレームメモリ， １０２ フレームメモリ， １０３ 相関演算部， １０４ 相関演算部，１０５ 片側画素値生成部， １０６ 片側画素値生成部
Claims (7)
- 時間積分効果を有する検出素子を有するセンサによって取得された、フレームを構成する画素データからなる画像を処理する画像処理装置において、
前記フレームのうちの注目しているフレームである注目フレームの前記画像データと、前記注目フレームに隣接する第１のフレームおよび第２のフレームの対応する前記画像データとの相関をそれぞれ検出する相関検出手段と、
前記第１のフレームと前記第２のフレームの対応する前記画像データのうち、前記相関の大きい方の前記画像データに基づいて、前記相関の大きい前記画像データのフレーム側の第３のフレームの画素データとなる第１の画素データを生成するとともに、前記注目フレームの前記画像データおよび前記第３のフレームの前記第１の画素データに基づいて、前記相関の小さい前記画像データのフレーム側の第４のフレームの画素データとなる第２の画素データを生成する画素データ生成手段と
を含むことを特徴とする画像処理装置。 - 前記検出素子が少なくとも１つの方向に複数個配置されている前記センサによって取得された画像を処理する
ことを特徴とする請求項１に記載の画像処理装置。 - 複数個の前記検出素子がマトリクス状に配置されている前記センサによって取得された画像を処理する
ことを特徴とする請求項１に記載の画像処理装置。 - 前記相関検出手段は、前記相関として、前記画素データの差分を検出する
ことを特徴とする請求項１に記載の画像処理装置。 - 時間積分効果を有する検出素子を有するセンサによって取得された、フレームを構成する画素データからなる画像を処理する画像処理方法において、
前記フレームのうちの注目しているフレームである注目フレームの前記画像データと、前記注目フレームに隣接する第１のフレームおよび第２のフレームの対応する前記画像データとの相関をそれぞれ検出する相関検出ステップと、
前記第１のフレームと前記第２のフレームの対応する前記画像データのうち、前記相関の大きい方の前記画像データに基づいて、前記相関の大きい前記画像データのフレーム側の第３のフレームの画素データとなる第１の画素データを生成するとともに、前記注目フレームの前記画像データおよび前記第３のフレームの前記第１の画素データに基づいて、前記相関の小さい前記画像データのフレーム側の第４のフレームの画素データとなる第２の画素データを生成する画素データ生成ステップと
を含むことを特徴とする画像処理方法。 - 時間積分効果を有する検出素子を有するセンサによって取得された、フレームを構成する画素データからなる画像を処理用のプログラムであって、
前記フレームのうちの注目しているフレームである注目フレームの前記画像データと、前記注目フレームに隣接する第１のフレームおよび第２のフレームの対応する前記画像データとの相関をそれぞれ検出する相関検出ステップと、
前記第１のフレームと前記第２のフレームの対応する前記画像データのうち、前記相関の大きい方の前記画像データに基づいて、前記相関の大きい前記画像データのフレーム側の第３のフレームの画素データとなる第１の画素データを生成するとともに、前記注目フレームの前記画像データおよび前記第３のフレームの前記第１の画素データに基づいて、前記相関の小さい前記画像データのフレーム側の第４のフレームの画素データとなる第２の画素データを生成する画素データ生成ステップと
を含むことを特徴とするコンピュータが読み取り可能なプログラムが記録されている記録媒体。 - 時間積分効果を有する検出素子を有するセンサによって取得された、フレームを構成する画素データからなる画像を処理するコンピュータに、
前記フレームのうちの注目しているフレームである注目フレームの前記画像データと、前記注目フレームに隣接する第１のフレームおよび第２のフレームの対応する前記画像データとの相関をそれぞれ検出する相関検出ステップと、
前記第１のフレームと前記第２のフレームの対応する前記画像データのうち、前記相関の大きい方の前記画像データに基づいて、前記相関の大きい前記画像データのフレーム側の第３のフレームの画素データとなる第１の画素データを生成するとともに、前記注目フレームの前記画像データおよび前記第３のフレームの前記第１の画素データに基づいて、前記相関の小さい前記画像データのフレーム側の第４のフレームの画素データとなる第２の画素データを生成する画素データ生成ステップと
を実行させるプログラム。
Priority Applications (6)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001073851A JP4608791B2 (ja) | 2001-03-15 | 2001-03-15 | 画像処理装置および方法、記録媒体、並びにプログラム |
| US10/276,229 US7218791B2 (en) | 2001-03-15 | 2002-03-12 | Image processing device and method, and imaging device |
| PCT/JP2002/002275 WO2002076091A1 (fr) | 2001-03-15 | 2002-03-12 | Procede et dispositif de traitement d'image et dispositif d'imagerie |
| EP02703967A EP1292129A4 (en) | 2001-03-15 | 2002-03-12 | IMAGE PROCESSING METHOD AND DEVICE AND IMAGING DEVICE |
| CNB028013174A CN1233151C (zh) | 2001-03-15 | 2002-03-12 | 图像处理装置及其方法和图像采集设备 |
| KR1020027015281A KR100864341B1 (ko) | 2001-03-15 | 2002-03-12 | 화상 처리 장치 및 방법과 촬상 장치 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001073851A JP4608791B2 (ja) | 2001-03-15 | 2001-03-15 | 画像処理装置および方法、記録媒体、並びにプログラム |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2002281381A JP2002281381A (ja) | 2002-09-27 |
| JP2002281381A5 JP2002281381A5 (ja) | 2008-04-24 |
| JP4608791B2 true JP4608791B2 (ja) | 2011-01-12 |
Family
ID=18931218
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001073851A Expired - Fee Related JP4608791B2 (ja) | 2001-03-15 | 2001-03-15 | 画像処理装置および方法、記録媒体、並びにプログラム |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US7218791B2 (ja) |
| EP (1) | EP1292129A4 (ja) |
| JP (1) | JP4608791B2 (ja) |
| KR (1) | KR100864341B1 (ja) |
| CN (1) | CN1233151C (ja) |
| WO (1) | WO2002076091A1 (ja) |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1396819A4 (en) * | 2001-06-15 | 2006-08-09 | Sony Corp | IMAGE PROCESSING APPARATUS AND METHOD AND IMAGING APPARATUS |
| JP4596220B2 (ja) | 2001-06-26 | 2010-12-08 | ソニー株式会社 | 画像処理装置および方法、記録媒体、並びにプログラム |
| WO2003001456A1 (fr) * | 2001-06-26 | 2003-01-03 | Sony Corporation | Appareil et procede de traitement de l'image, et appareil de prise de vue |
| US7702131B2 (en) * | 2005-10-13 | 2010-04-20 | Fujifilm Corporation | Segmenting images and simulating motion blur using an image sequence |
| JP4757113B2 (ja) * | 2006-06-26 | 2011-08-24 | キヤノン株式会社 | 撮像装置及びその制御方法、情報処理装置、印刷装置、印刷データ生成方法 |
| JP5039932B2 (ja) * | 2007-12-28 | 2012-10-03 | Ｎｋワークス株式会社 | キャプチャーソフトウエアプログラムおよびキャプチャー装置 |
| JP5003478B2 (ja) * | 2007-12-28 | 2012-08-15 | Ｎｋワークス株式会社 | キャプチャーソフトウエアプログラムおよびキャプチャー装置 |
| CN101345825B (zh) * | 2008-01-24 | 2010-06-02 | 华硕电脑股份有限公司 | 调整模糊图像的方法 |
| CN101436168B (zh) * | 2008-12-17 | 2010-10-27 | 广东威创视讯科技股份有限公司 | 基于usb的图像采集方法及其装置 |
| JP5858754B2 (ja) * | 2011-11-29 | 2016-02-10 | キヤノン株式会社 | 撮影装置、表示方法及びプログラム |
| USD906348S1 (en) * | 2014-11-26 | 2020-12-29 | Intergraph Corporation | Computer display screen or portion thereof with graphic |
| US20190141332A1 (en) * | 2017-11-08 | 2019-05-09 | Qualcomm Incorporated | Use of synthetic frames in video coding |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS58190184A (ja) * | 1982-04-30 | 1983-11-07 | Nec Corp | フレ−ム間内插方法 |
| JPS6126382A (ja) * | 1984-07-17 | 1986-02-05 | Kokusai Denshin Denwa Co Ltd <Kdd> | 動き量を用いた動画像フレ−ムレ−ト変換方式 |
| JPH02290386A (ja) * | 1989-04-27 | 1990-11-30 | Sony Corp | 動き補正付きテレビジョン信号方式変換器 |
| JPH03101389A (ja) * | 1989-09-14 | 1991-04-26 | Fuji Electric Co Ltd | 動画像処理方法 |
| JPH05167991A (ja) * | 1991-12-13 | 1993-07-02 | Sony Corp | 解像度補償可能な画像変換装置 |
| JPH0678279A (ja) * | 1992-08-25 | 1994-03-18 | Ricoh Co Ltd | ピクチャ生成方式 |
| JP2003524949A (ja) * | 1999-11-05 | 2003-08-19 | デモグラエフエックス インコーポレーテッド | 動きの補償およびフレーム速度の変換を行うシステムと方法 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4107736A (en) * | 1971-12-20 | 1978-08-15 | Image Transform, Inc. | Noise reduction system for video signals |
| US3875584A (en) * | 1973-10-17 | 1975-04-01 | Nasa | Television noise reduction device |
| DE3144050C2 (de) | 1981-11-03 | 1983-09-29 | Deutsche Forschungs- und Versuchsanstalt für Luft- und Raumfahrt e.V., 5000 Köln | Verfahren zur Übertragung und Wiedergabe von Videoszenen, insbesondere Luftbildszenen, mit reduzierter Bildfolgefrequenz |
| US4532548A (en) | 1983-01-27 | 1985-07-30 | Hughes Aircraft Company | Resolution enhancement and zoom |
| GB2231746B (en) | 1989-04-27 | 1993-07-07 | Sony Corp | Motion dependent video signal processing |
| US5442462A (en) * | 1992-06-10 | 1995-08-15 | D.V.P. Technologies Ltd. | Apparatus and method for smoothing images |
| JP4491965B2 (ja) * | 1999-12-28 | 2010-06-30 | ソニー株式会社 | 信号処理装置および方法、並びに記録媒体 |
| US6987530B2 (en) * | 2001-05-29 | 2006-01-17 | Hewlett-Packard Development Company, L.P. | Method for reducing motion blur in a digital image |
| US8532338B2 (en) * | 2004-07-06 | 2013-09-10 | Hewlett-Packard Development Company, L.P. | System and method for compensating for motion blur in optical navigation |
-
2001
- 2001-03-15 JP JP2001073851A patent/JP4608791B2/ja not_active Expired - Fee Related
-
2002
- 2002-03-12 WO PCT/JP2002/002275 patent/WO2002076091A1/ja active Application Filing
- 2002-03-12 EP EP02703967A patent/EP1292129A4/en not_active Withdrawn
- 2002-03-12 KR KR1020027015281A patent/KR100864341B1/ko not_active IP Right Cessation
- 2002-03-12 US US10/276,229 patent/US7218791B2/en not_active Expired - Fee Related
- 2002-03-12 CN CNB028013174A patent/CN1233151C/zh not_active Expired - Fee Related
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS58190184A (ja) * | 1982-04-30 | 1983-11-07 | Nec Corp | フレ−ム間内插方法 |
| JPS6126382A (ja) * | 1984-07-17 | 1986-02-05 | Kokusai Denshin Denwa Co Ltd <Kdd> | 動き量を用いた動画像フレ−ムレ−ト変換方式 |
| JPH02290386A (ja) * | 1989-04-27 | 1990-11-30 | Sony Corp | 動き補正付きテレビジョン信号方式変換器 |
| JPH03101389A (ja) * | 1989-09-14 | 1991-04-26 | Fuji Electric Co Ltd | 動画像処理方法 |
| JPH05167991A (ja) * | 1991-12-13 | 1993-07-02 | Sony Corp | 解像度補償可能な画像変換装置 |
| JPH0678279A (ja) * | 1992-08-25 | 1994-03-18 | Ricoh Co Ltd | ピクチャ生成方式 |
| JP2003524949A (ja) * | 1999-11-05 | 2003-08-19 | デモグラエフエックス インコーポレーテッド | 動きの補償およびフレーム速度の変換を行うシステムと方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2002076091A1 (fr) | 2002-09-26 |
| US20030164882A1 (en) | 2003-09-04 |
| EP1292129A4 (en) | 2006-02-08 |
| CN1461555A (zh) | 2003-12-10 |
| JP2002281381A (ja) | 2002-09-27 |
| KR20030005346A (ko) | 2003-01-17 |
| KR100864341B1 (ko) | 2008-10-17 |
| US7218791B2 (en) | 2007-05-15 |
| EP1292129A1 (en) | 2003-03-12 |
| CN1233151C (zh) | 2005-12-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4596216B2 (ja) | 画像処理装置および方法、記録媒体、並びにプログラム | |
| EP1361542B1 (en) | Image processing device | |
| EP1400926B1 (en) | Image processing apparatus and method and image pickup apparatus | |
| KR100897965B1 (ko) | 화상 처리 장치 및 방법, 및 촬상 장치 | |
| JP4596220B2 (ja) | 画像処理装置および方法、記録媒体、並びにプログラム | |
| JP4596226B2 (ja) | 画像処理装置および方法、記録媒体、並びにプログラム | |
| JP4507044B2 (ja) | 画像処理装置および方法、並びに記録媒体 | |
| JP4507045B2 (ja) | 信号処理装置および方法、並びに記録媒体 | |
| JP4608791B2 (ja) | 画像処理装置および方法、記録媒体、並びにプログラム | |
| JP2001250119A (ja) | 信号処理装置および方法、並びに記録媒体 | |
| JP4479098B2 (ja) | 信号処理装置および方法、並びに記録媒体 | |
| JP4596203B2 (ja) | 画像処理装置および方法、記録媒体、並びにプログラム | |
| JP4106874B2 (ja) | 画像処理装置および方法、並びに記録媒体 | |
| KR100835443B1 (ko) | 화상 처리 장치, 방법 및 그를 위한 기록 매체와 촬상 장치 | |
| KR100894923B1 (ko) | 화상 처리 장치, 방법 및 기록 매체와 촬상 장치 | |
| JP4596201B2 (ja) | 画像処理装置および方法、並びに記録媒体 | |
| JP4596209B2 (ja) | 画像処理装置および方法、記録媒体、並びにプログラム | |
| Tschumperlé et al. | High quality deinterlacing using inpainting and shutter-model directed temporal interpolation | |
| JP2006020108A (ja) | 画像処理装置および方法、記録媒体並びにプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080307 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080307 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100914 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100927 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131022 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131022 Year of fee payment: 3 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |