JP4993403B2 - 画像処理装置、画像符号化装置、画像復号化装置、画像処理システム及びプログラム - Google Patents

Description

本発明は、解像度の変換を行う画像処理装置に関する。

高解像度の静止画像を取得する方法として、位相をずらした画像を取得し、重ね合わせる技術は公知である。このような技術では、例えば、ＣＣＤなどの撮像素子をメカ的に動かしたり、撮像素子と映像との相対位置をずらすように撮像素子前段のレンズを動かしたりして、位相をずらした画像を取得する。このようにして取得された画像には、ランダムノイズが生じることがある。

特許文献１では、フレーム間の差分画像を用いて、動物体領域を抽出する過程において、フレーム間差分画像から求まる領域を表す２値画像を過去複数フレームためることにより、動物体を高精度に抽出する手法が開示されている。
特許文献２では、フレーム間差分画像に対してローパスフィルタをかけてから、動き情報を抽出することにより、ノイズの大きい映像信号から良好な動き情報を検出する手法が開示されている。

特許文献３では、動き補償予測符号化装置の前処理装置に動き補償予測を導入することにより、ランダムノイズを多く含む、動きの大きな入力画像においても、ノイズを低減させ、符号化における動き補償予測精度を上げる手法が開示されている。
特許文献４では、動画像の各フレームをブロック単位に最小値とダイナミックレンジを符号化に用いる際に、連続する２フレームのこれらの値の平均を取ることにより、静止フレームでのノイズの変動をなくす手法が開示されている。

特開平１０−１１５８６号公報 特開平９−８１７５４号公報 特開平６−２９６２７６号公報 特開平６−１６５１４４号公報

本発明は、本構成を有していない場合に比較して、ランダムノイズが効果的に低減された画像であって、高解像度画像の生成に用いられるものを生成することができる画像処理装置を提供することを目的とする。

上記目的を達成するために、本発明に係る画像処理装置は、第１の解像度の複数の入力画像に基づいて平均化画像を生成する平均化画像生成手段と、前記平均化画像生成手段により生成された複数の平均化画像に基づいて、第１の解像度より低解像度である第２の解像度の縮小画像であって位相の異なる複数の縮小画像を生成する縮小画像生成手段とを有する。本発明によれば、本構成を有していない場合に比較して、ランダムノイズが効果的に低減された画像であって、高解像度画像の生成に用いられるものを生成することができる。

好適には、前記平均化画像生成手段は、入力画像のノイズ量に基づいて制御された数の入力画像を平均化する。
好適には、前記縮小画像生成手段は、入力画像のノイズ量に対応する制御情報に基づいて縮小画像を生成する。
本発明によれば、複雑な機構を有していない場合においても、より柔軟に、高解像度画像の生成に用いられる画像を生成することができる。

好適には、前記縮小画像生成手段は、入力画像が静止画である場合、位相の異なる複数の縮小画像を生成する。本発明によれば、高解像度画像の生成時の負荷を低減することができる。

本発明に係る画像符号化装置は、第１の解像度の複数の入力画像に基づいて平均化画像を生成する平均化画像生成手段と、前記平均化画像生成手段により生成された複数の平均化画像に基づいて、第１の解像度より低解像度である第２の解像度の縮小画像であって位相の異なる複数の縮小画像を生成する縮小画像生成手段と、前記縮小画像生成手段により生成された縮小画像に基づいて符号データを生成する符号データ生成手段とを有する。本発明によれば、画像の符号化率を向上することができる。

また、本発明に係る画像復号化装置は、第１の解像度の複数の入力画像に基づいて平均化画像を生成する平均化画像生成手段と、前記平均化画像生成手段により生成された複数の平均化画像に基づいて、第１の解像度より低解像度である第２の解像度の縮小画像であって位相の異なる複数の縮小画像を生成する縮小画像生成手段と、前記縮小画像生成手段により生成された縮小画像に基づいて符号データを生成する符号データ生成手段とを有する画像符号化装置により符号化された符号データを受け付ける受付手段と、前記受付手段により受け付けられた符号データを復号化する復号化手段と、前記復号化手段により復号化された複数の縮小画像と、該縮小画像の生成に関する制御情報とに基づいて、第１の解像度の高解像度画像を生成する高解像度画像生成手段とを有する。本発明によれば、本構成を有していない場合に比較して、より高画質の画像を生成することができる。

さらに、本発明に係る画像処理システムは、第１の解像度の複数の入力画像に基づいて平均化画像を生成する平均化画像生成手段と、前記平均化画像生成手段により生成された複数の平均化画像に基づいて、第１の解像度より低解像度である第２の解像度の縮小画像であって位相の異なる複数の縮小画像を生成する縮小画像生成手段と、前記縮小画像生成手段により生成された縮小画像に基づいて符号データを生成する符号データ生成手段とを有する画像符号化装置と、前記画像符号化装置により符号化された符号データを復号化する復号化手段と、前記復号化手段により復号化された複数の縮小画像と、該縮小画像の生成に関する制御情報とに基づいて、第１の解像度の高解像度画像を生成する高解像度画像生成手段とを有する画像復号化装置とを有する。

本発明に係る第１のプログラムは、コンピュータを含む画像処理装置において、第１の解像度の複数の入力画像に基づいて平均化画像を生成する平均化画像生成ステップと、記生成された複数の平均化画像に基づいて、第１の解像度より低解像度である第２の解像度の縮小画像であって位相の異なる複数の縮小画像を生成する縮小画像生成ステップとを前記画像処理装置のコンピュータに実行させる。

本発明に係る第２のプログラムは、コンピュータを含む画像符号化装置において、第１の解像度の複数の入力画像に基づいて平均化画像を生成する平均化画像生成ステップと、前記生成された複数の平均化画像に基づいて、第１の解像度より低解像度である第２の解像度の縮小画像であって位相の異なる複数の縮小画像を生成する縮小画像生成ステップと、前記生成された縮小画像に基づいて符号データを生成する符号データ生成ステップとを前記画像符号化装置のコンピュータに実行させる。

また、本発明に係る第３のプログラムは、コンピュータを含む画像復号化装置において、第１の解像度の複数の入力画像に基づいて平均化画像を生成し、前記生成された複数の平均化画像に基づいて、第１の解像度より低解像度である第２の解像度の縮小画像であって位相の異なる複数の縮小画像を生成し、前記生成された縮小画像に基づいて符号データを生成する画像符号化装置により符号化された符号データを受け付ける受付ステップと、前記受付られた符号データを復号化する復号化ステップと、前記復号化された複数の縮小画像と、該縮小画像の生成に関する制御情報とに基づいて、第１の解像度の高解像度画像を生成する高解像度画像生成ステップとを前記画像復号化装置のコンピュータに実行させる。

本発明の画像処理装置によれば、本構成を有していない場合に比較して、ランダムノイズが効果的に低減された画像であって、高解像度画像の生成に用いられるものを生成することができる。

まず、本発明の理解を助けるために、本発明の概略を説明する。
図１は、本発明に係る画像処理装置による画像処理の概略を示す図であって、図１（Ａ）は、撮像素子により取得された画像を示し、図１（Ｂ）は、この画像を縮小して得られた縮小画像を示し、図１（Ｃ）は、これらの縮小画像に基づいて生成された高解像度画像を示す。
本発明に係る画像処理装置は、撮像素子により取得された第１の解像度の画像を縮小する。図１（Ａ）において、矢印ａ〜ｄにより示される各画像領域は、図１（Ｂ）に示される各縮小画像の原画像に対応する。ここで、図１（Ｂ）に示される画素ずらし位相１の縮小画像は、図１（Ａ）における画像領域ａを縮小して得られたものである。同様にして、画素ずらし位相２〜４の縮小画像はそれぞれ、画像領域ｂ〜ｄを縮小して得られたものである。

画素ずらし位相１〜４の縮小画像は、画素の位相が異なる画像である。具体的には、これらの縮小画像の位相は、当該縮小画像の解像度における１画素未満の大きさで互いにずれている。このように、本発明に係る画像処理装置は、撮像素子により取得された第１の解像度の入力画像に基づいて、第１の解像度より低解像度である第２の解像度の縮小画像であって位相の異なる複数の縮小画像を生成する。

図１（Ｃ）に示すように、本発明に係る画像処理装置は、生成された複数の縮小画像と、該縮小画像の生成に関する制御情報とに基づいて、第２の解像度より高解像度である第１の解像度の高解像度画像を生成する。ここで、当該制御情報は、例えば、撮像素子により取得された画像から縮小画像が切り出される位置、画素をずらされる位相の大きさ、サブサンプリングの方法などである。このようにして、本発明に係る画像処理装置は、位相をずらされた画像であって、より高解像度の画像の生成に用いられる画像（図１（Ｂ）の縮小画像）を生成する。

本発明に係る画像処理装置は、撮像素子により取得された第１の解像度の画像に対して平均化処理を行う。
図２は、本発明に係る画像処理装置による平均化処理及び画素位相ずらし処理を説明する図である。
図２（Ａ）に示すように、本発明に係る画像処理装置は、ＣＣＤ等の撮像素子により撮像された動画像の各フレームを第１の解像度の入力画像として受け付け、複数のフレーム間において平均化処理を行って平均化画像を生成する。本発明に係る画像処理装置は、例えば連続するフレーム間の差分に基づいて、各フレームに含まれるランダムノイズを測定し、測定されたランダムノイズ量に基づいて、平均化されるフレーム数を制御する。本例では、画像処理装置は、４フレーム毎に平均化処理を行う。即ち、平均化画像は、４つのフレームに基づいて生成されている。

本発明に係る画像処理装置は、平均化画像に対して、図１に示されるような画素位相ずらし処理を行って、画素ずらし画像を生成する。ここで、画素ずらし画像は、平均化画像が縮小されて生成された第２の解像度の縮小画像であって、縮小画像の解像度において１画素未満で位相をずらされたものである。本例では、画素ずらし画像は、撮像素子の位相を１／２画素ずらして取得された４画像である。ここで、４画像の画素の位相は、（１）標準である場合、（２）水平方向にずらされた場合、（３）垂直方向にずらされた場合及び（４）水平方向かつ垂直方向にずらされた場合のものである。

本発明に係る画像符号化装置は、このようにして生成された複数の縮小画像を符号化して符号データを生成する。入力画像が動画像である場合、画像符号化装置は、画素位相をずらされた複数の動画フレームを符号化して動画像符号データを生成する。画像符号化装置は、生成した符号データを画像復号化装置に対して出力する。

図２（Ｂ）に示すように、本発明に係る画像復号化装置は、画像符号化装置により生成された符号データを受け付け、この符号データを復号化して第２の解像度の複数の縮小画像を生成する。ここで、縮小画像は、画素をずらされた動画フレームである。さらに、画像復号化装置は、複数の縮小画像に基づいて、第２の解像度より高解像度である第１の解像度の高解像度画像を生成する。

以下、本発明の実施形態に係る画像処理装置２、画像符号化装置４及び画像復号化装置５を具体的に説明する。
図３は、本発明の実施形態に係る画像処理装置２、画像符号化装置４及び画像復号化装置５のハードウェア構成を、制御装置２０を中心に示す図である。
図３に示すように、画像処理装置２等は、ＣＰＵ２０２及びメモリ２０４などを含む制御装置２０と、ネットワークを介して外部のコンピュータなどとデータの送信及び受信を行う通信装置２２と、ハードディスクドライブなどの記憶装置２４と、液晶ディスプレイなどの表示装置並びにキーボード及びポインティングデバイスを含むユーザインタフェース（ＵＩ）装置２６とを有する。また、画像処理装置２は、ＣＣＤ等の撮像素子を有する画像撮影装置２８に接続されている。

画像処理装置２等は、例えば、後述する画像符号化プログラム４０などがインストールされた汎用コンピュータであり、撮像素子を介して画像撮影装置２８により取得された画像のデータを入力画像として受け付け、この入力画像に対して画像処理を行う。ここで、画像撮影装置２８は、少なくとも２つの解像度で画像を撮像できる撮像素子を有するのが好ましい。また、画像撮影装置２８は、静止画像及び動画像の双方の画像データを取得するのが好ましい。なお、画像処理装置２等は、通信装置２２、記憶装置２４又は記録媒体２４０などを介して画像のデータを取得してもよい。

図４は、本発明の第１の実施形態に係る画像符号化装置４の制御装置２０により実行される画像符号化プログラム４０の機能構成を示す図である。
図４に示すように、画像符号化プログラム４０は、入力画像受付部４００、ランダムノイズ量測定部４０２、フレーム間平均化制御部４０４、フレーム間平均化処理部４０６、画像切り出し制御部４０８、画像切り出し部４１０、符号化部４１２及びデータ出力部４１４を有する。なお、本発明の実施形態に係る画像処理プログラムは、画像符号化プログラム４０から符号化部４１２を取り除かれたものであり、画像処理装置２の制御装置２０により実行される。

画像符号化プログラム４０は、例えば、通信装置２２を介して制御装置２０に供給され、メモリ２０４にロードされて、制御装置２０上で動作する図示しないＯＳ上で、ハードウェアを具体的に利用して実行される。画像符号化プログラム４０は、ＦＤ、ＣＤ又はＤＶＤなどの記録媒体２４０に格納されて、画像符号化装置４に供給されてもよい。なお、以下の各プログラムも、同様に供給されて実行される。また、画像符号化プログラム４０の全部又は一部の機能は、画像符号化装置４に設けられたＡＳＩＣなどにより実現されてもよい。

画像符号化プログラム４０において、入力画像受付部４００は、画像撮影装置２８により取得された第１の解像度の入力画像を受け付けて、ランダムノイズ量測定部４０２及びフレーム間平均化処理部４０６に対して出力する。入力画像受付部４００は、通信装置２２、記憶装置２４又は記録媒体２４０を介して、スキャナ装置などにより読み取られた第１の解像度の入力画像を受け付けてもよい。なお、画像撮影装置２８は、動画を撮影し、動画における各フレームを入力画像受付部４００に対して出力してもよい。この場合、入力画像受付部４００は、動画像データの各フレームを入力画像として受け付ける。

ランダムノイズ量測定部４０２は、入力画像のフレーム間の差分情報に基づいてランダムノイズ量を測定して、フレーム間平均化制御部４０４に対して出力する。具体的には、ランダムノイズ量測定部４０２は、連続するフレーム間の差分画像を生成し、当該差分画像の絶対値を算出する。ランダムノイズ量が大きいほど、当該算出値は大きくなる。

フレーム間平均化制御部４０４は、ランダムノイズ量測定部４０２により測定されたランダムノイズ量に基づいて、フレーム間平均化処理の対象となるフレーム数を決定し、決定されたフレーム数を含むフレーム間平均化制御情報を、フレーム間平均化処理部４０６及び画像切り出し制御部４０８に対して出力する。
なお、ランダムノイズ量の測定手法、及び当該測定値に基づくフレーム間平均化制御情報の決定手法については、後で詳述する。

フレーム間平均化処理部４０６は、第１の解像度の複数の入力画像に基づいて平均化画像を生成して、画像切り出し部４１０に対して出力する。具体的には、フレーム間平均化処理部４０６は、フレーム間平均化制御情報に基づいて、連続する複数のフレーム間で平均化処理を行う。フレーム間平均化処理部４０６は、フレーム間平均化制御情報において指定された数のフレームを平均化する。

画像切り出し制御部４０８は、フレーム間平均化制御情報に基づいて切り出し制御情報を生成して、画像切り出し部４１０及びデータ出力部４１４に対して出力する。切り出し制御情報には、画素をずらす位相の大きさ、画素値の補間手法、画像の切り出し位置、サブサンプリングの手法などが含まれる。画素値の補間手法等は、予め設定されていてもよいし、ＵＩ装置２６のキーボード及びマウスなどの入力装置を介してユーザにより設定されてもよい。なお、画像切り出し制御部４０８は、切り出し制御情報を符号化部４１２に対して出力してもよい。この場合、切り出し制御情報は、後述する符号化部４１２により符号化される。

画像切り出し部４１０は、フレーム間平均化処理部４０６により生成された複数の平均化画像に基づいて、第１の解像度より低解像度である第２の解像度の縮小画像（低解像度画像）であって位相の異なる複数の縮小画像を生成する。具体的には、画像切り出し部４１０は、複数の平均化画像を受け付け、画像切り出し制御部４０８から受け付けた切り出し制御情報に基づいて、入力画像の少なくとも一部の画素を切り出して複数の縮小画像を生成する。

切り出し制御情報の画素ずらし位相が、例えば、第２の解像度における１／２画素である場合、画像切り出し部４１０は、標準位置の画像、及び水平方法及び垂直方向の少なくともいずれかの方向に１／２画素だけ位相をずらされた画像の４通りの縮小画像を生成する。第１の解像度の平均化画像の画素値と、第２の解像度の縮小画像の画素値とが１対１に対応しない場合、画像切り出し部４１０は、最近傍補間法、線形補間法などを適用した所定の補間処理により、縮小画像の画素値を算出してもよい。なお、画素ずらし位相は、１／２画素に限定されず、例えば、１／４画素であってもよいし、１／８画素であってもよい。

画像切り出し部４１０は、生成した複数の縮小画像を符号化部４１２に対して出力する。画像切り出し部４１０は、縮小画像を、通信装置２２を介して図示しない外部のコンピュータに対して出力してもよいし、記憶装置２４に格納してもよい。また、縮小画像は、記録媒体２４０に格納されて、他のコンピュータに移動されてもよい。このようにして、画像切り出し部４１０は、縮小画像生成手段を構成する。

符号化部４１２は、画像切り出し部４１０により生成された複数の縮小画像を受け付け、これらの縮小画像に基づいて符号データを生成してデータ出力部４１４に対して出力する。具体的には、符号化部４１２は、各縮小画像に対して所定の符号化手法を適用して縮小画像を符号化する。なお、入力画像受付部４００が動画フレームを受け付けた場合、符号化部４１２は、平均化された動画フレームの縮小画像を符号化する。また、符号化手法は、特に限定されない。

データ出力部４１４は、符号化部４１２から符号データを受け付け、画像切り出し制御部４０８から切り出し制御情報を受け付け、符号データ及び切り出し制御情報を出力する。データ出力部４１４は、これらのデータを、後述する画像復号化装置５に対して送信してもよいし、記憶装置２４に格納してもよい。なお、切り出し制御情報が、画像切り出し制御部４０８から符号化部４１２に対して出力された場合、データ出力部４１４は、符号化部４１２により符号化された切り出し制御情報を出力してもよい。

図５は、ランダムノイズ量に基づくフレーム間平均化制御情報の決定手法を説明する図である。
図５（Ａ）及び図５（Ｂ）に示すように、フレーム間平均化制御部４０４は、ランダムノイズ量測定部４０２により測定された連続するフレーム間の差分値（例えば、差分画像の絶対値）に基づいて、当該差分値のヒストグラムを作成する。

図５（Ａ）に示すように、閾値Ａ以上の範囲における差分値のヒストグラム数の合計が、閾値Ｂ以下である場合、フレーム間平均化制御部４０４は、ランダムノイズ量が小さいと判定する。この場合、フレーム間平均化制御部４０４は、フレーム間平均化処理を行わない旨のフレーム間平均化制御情報を、フレーム間平均化処理部４０６に対して出力する。

図５（Ｂ）に示すように、閾値Ａ以上の範囲における差分値のヒストグラム数の合計が、閾値Ｂ以上である場合、フレーム間平均化制御部４０４は、ランダムノイズ量が大きいと判定する。この場合、フレーム間平均化制御部４０４は、フレーム間平均化処理を行う旨のフレーム間平均化制御情報を、フレーム間平均化処理部４０６に対して出力する。

フレーム間平均化制御部４０４は、閾値Ａ以上の範囲における差分値のヒストグラム数の合計が閾値Ｂ以上である場合、ヒストグラム数の合計値が大きいほど、平均するフレーム数を多くする。このため、ランダムノイズ量が大きいほど、フレーム間平均化処理部４０６は、多くのフレームに基づいて平均化画像を生成する。

このようにして、フレーム間平均化制御部４０４は、フレームのランダムノイズ量に基づいて平均化されるフレーム数を制御する。フレーム間平均化処理部４０６は、入力画像のランダムノイズ量に基づいてフレーム間平均化制御部４０４により制御された数の入力画像を平均化する。

画像切り出し制御部４０８は、このようにして取得されたランダムノイズ測定量に基づいて、生成される縮小画像の数を制御する。具体的には、画像切り出し制御部４０８は、ランダムノイズ量が小さいほど、生成される縮小画像の数を多くし、ランダムノイズ量が大きいほど、生成される縮小画像の数を少なくする。画像切り出し制御部４０８は、生成される縮小画像の数を切り出し制御情報に含めて、画像切り出し部４１０に対して出力する。したがって、画像切り出し部４１０は、入力画像のランダムノイズ量に対応する制御情報に基づいて縮小画像を生成する。

図６は、ランダムノイズ量測定部４０２、フレーム間平均化制御部４０４及びフレーム間平均化処理部４０６による平均化画像生成処理（Ｓ１０）を示すフローチャートである。なお、平均化画像生成処理は、画像処理プログラム及び当該画像処理プログラムを含む画像符号化プログラム４０により実行されるものである。また、本例は、入力画像として動画像が受け付けられたものである。
図６に示すように、ステップ１００（Ｓ１００）において、ランダムノイズ量測定部４０２は、入力画像受付部４００から第１の解像度の複数の入力画像（即ち、フレーム）を受け付けると、連続するフレーム間の差分画像を生成する。

ステップ１０２（Ｓ１０２）において、フレーム間平均化制御部４０４は、生成された差分画像の絶対値のヒストグラムを作成する。
ステップ１０４（Ｓ１０４）において、フレーム間平均化制御部４０４は、作成されたヒストグラムに基づいて、閾値Ａ以上のヒストグラム数は閾値Ｂ以上であるか否かを判定する。フレーム間平均化制御部４０４は、閾値Ａ以上のヒストグラム数は閾値Ｂ以上である場合にはＳ１０６の処理に進み、そうでない場合にはＳ１０８の処理に進む。

ステップ１０６（Ｓ１０６）において、フレーム間平均化制御部４０４は、ランダムノイズの除去処理を行う旨をフレーム間平均化制御情報に含める。具体的には、フレーム間平均化制御部４０４は、平均するフレーム数を設定する。
ステップ１０８（Ｓ１０８）において、フレーム間平均化制御部４０４は、フレーム間平均化制御情報をフレーム間平均化処理部４０６に対して出力する。

ステップ１１０（Ｓ１１０）において、フレーム間平均化処理部４０６は、第１の解像度の複数の入力画像と、フレーム間平均化制御情報とに基づいて、連続する複数のフレーム間で平均化処理を行って平均化画像を生成する。ここで、フレーム間平均化処理部４０６は、フレーム間平均化制御情報により指定されたフレーム数のフレーム間で平均化処理を行う。

図７は、画像符号化プログラム４０の動作（Ｓ２０）を示すフローチャートである。
図７に示すように、画像符号化プログラム４０において、入力画像受付部４００が、画像撮影装置２８により取得された第１の解像度の入力画像を受け付けると、平均化画像生成処理（図６；Ｓ１０）が実行される。

平均化画像生成処理の後、ステップ２００（Ｓ２００）において、画像切り出し制御部４０８は、フレーム間平均化制御情報に基づいて切り出し制御情報を生成して、画像切り出し部４１０に対して出力する。画像切り出し部４１０は、生成された平均化画像及び切り出し制御情報に基づいて、第２の解像度の複数の縮小画像を生成する。ここで、画像切り出し部４１０は、切り出し制御情報により指定された数の縮小画像を生成する。

ステップ２０２（Ｓ２０２）において、符号化部４１２は、生成された複数の縮小画像を符号化して符号データを生成する。
ステップ２０４（Ｓ２０４）において、データ出力部４１４は、生成された符号データ及び切り出し制御情報を受け付けて、これらのデータを出力する。

図８は、本発明の第１の実施形態に係る画像復号化装置５の制御装置２０により実行される画像復号化プログラム５０の機能構成を示す図である。
図８に示すように、画像復号化プログラム５０は、符号データ受付部５００、画像伸長部５０２及び高解像度画像生成部５０４を有する。

画像復号化プログラム５０において、符号データ受付部５００は、画像符号化装置４により符号化された符号データを受け付けて、画像伸長部５０２に対して出力する。また、符号データ受付部５００は、画像符号化装置４から切り出し制御情報を受け付けて、高解像度画像生成部５０４に対して出力する。ここで、符号データと切り出し制御情報とは、１つのデータに含まれていてもよい。なお、符号データ受付部５００は、符号データを、通信装置２２を介してネットワーク経由で受け付けてもよいし、記録媒体２４０から読み出してもよい。また、符号データは、画像符号化装置４上で動作する画像符号化プログラム４６により動画像の各フレームが符号化されたものであってもよいし、静止画像が符号化されたものであってもよい。

画像伸長部５０２は、符号データ受付部５００により受け付けられた符号データを伸長する。具体的には、画像伸長部５０２は、符号データに対して所定の復号化手法を適用して符号データを復号化して、第２の解像度の複数の縮小画像を取得する。この復号化手法は、画像符号化プログラム４６の符号化部４１２により適用される符号化手法に対応するものである。このように、画像伸長部５０２は、復号化手段を構成する。画像伸長部５０２は、取得した縮小画像を高解像度画像生成部５０４に対して出力する。また、画像伸長部５０２は、当該縮小画像を、通信装置２２を介して外部のコンピュータに対して送信してもよいし、記憶装置２４に格納してもよい。

高解像度画像生成部５０４は、画像伸長部５０２により復号化された複数の縮小画像と、符号データ受付部５００から受け付けた該縮小画像の生成に関する制御情報（切り出し制御情報）とに基づいて、第１の解像度の高解像度画像を生成する。高解像度画像生成部５０４は、生成した高解像度画像データを出力する。高解像度画像生成部５０４は、高解像度画像データを記憶装置２４に格納してもよいし、通信装置２２を介して外部のコンピュータに対して送信してもよい。

なお、第１の解像度の入力画像の画素値と、第２の解像度の縮小画像の画素値とが１対１に対応しない場合であって、画像符号化プログラム４０の画像切り出し部４１０が、補間処理を行わずに縮小画像を生成した場合、高解像度画像生成部５０４は、高解像度画像を生成した後に、生成された高解像度画像に対して折り返し雑音を低減する処理を行ってもよい。また、切り出し制御情報が符号化されている場合、高解像度画像生成部５０４は、画像伸長部５０２により復号化された切り出し制御情報を受け付けてもよい。

図９は、画像復号化プログラム５０の動作（Ｓ３０）を示すフローチャートである。
図９に示すように、ステップ３００（Ｓ３００）において、画像復号化プログラム５０の符号データ受付部５００は、符号データ及び切り出し制御情報を受け付ける。

ステップ３０２（Ｓ３０２）において、画像伸長部５０２は、符号データを伸長して、複数の縮小画像を取得する。
ステップ３０４（Ｓ３０４）において、高解像度画像生成部５０４は、複数の縮小画像と切り出し制御情報とに基づいて高解像度画像を生成する。

本発明の実施形態に係る画像処理システムは、上述した画像符号化装置４及び画像復号化装置５を有する。画像処理システムにおいて、画像符号化装置４及び画像復号化装置５は、例えば図示しないネットワークにより、通信装置２２を介して接続される。符号データ等は、画像符号化装置４等の通信装置２２によりネットワークを介して、画像符号化装置４と画像復号化装置５との間で送受信される。

なお、画像処理装置２、画像符号化装置４及び画像復号化装置５は、同一の筐体に含まれてもよい。また、画像処理プログラム、画像符号化プログラム４０及び画像復号化プログラム５０は、同一のコンピュータ上で動作してもよい。

次に、本発明の第２の実施形態に係る画像符号化装置４及び画像復号化装置５を説明する。
図１０は、本発明の第２の実施形態に係る画像符号化処理及び画像復号化処理の概略を示す図であって、図１０（Ａ）は、画像符号化処理を示し、図１０（Ｂ）は、画像復号化処理を示す。
図１０（Ａ）及び図１０（Ｂ）に示すように、本実施形態に係る画像符号化装置４及び画像復号化装置５は、フレーム間平均化処理が画像符号化装置４ではなく画像復号化装置５により実行される点で、第１の実施形態に係る画像符号化装置４及び画像復号化装置５とは異なる。

本実施形態においては、画像符号化装置４は、連続するフレーム間の差分に基づいてランダムノイズを測定し、測定されたランダムノイズ量に基づいて、画像復号化装置５によりフレーム間平均化処理が行われる複数のフレーム毎に、画素位相をずらされた画素ずらし画像（縮小画像）を生成する。さらに、画像符号化装置４は、このようにして生成された縮小画像を符号化して符号データを生成し、当該符号データを画像復号化装置５に対して出力する。

画像復号化装置５は、符号データを復号化し、画素ずらし位相が同じ複数のフレーム間において平均化処理を行って平均化画像を生成し、当該平均化画像に基づいて高解像度画像を生成する。画像復号化装置５は、平均化画像に基づいて生成された複数のフレームを動画として出力してもよいし、平均化処理を施す前のフレームを動画として出力してもよい。

図１１は、本発明の第２の実施形態に係る画像符号化装置４の制御装置２０により実行される画像符号化プログラム４２の機能構成を示す図である。
図１１に示すように、画像符号化プログラム４２は、入力画像受付部４００、ランダムノイズ量測定部４０２、フレーム間平均化制御部４０４、画像切り出し制御部４０８、画像切り出し部４１０、符号化部４１２及びデータ出力部４１４を有する。即ち、画像符号化プログラム４２は、画像符号化プログラム４０（図４）からフレーム間平均化処理部４０６が取り除かれた構成を有する。なお、図１１に示された各構成のうち、図４に示された構成と実質的に同一のものには同一の符号が付されている。

入力画像受付部４００は、第１の解像度の入力画像を、ランダムノイズ量測定部４０２及び画像切り出し部４１０に対して出力する。画像切り出し部４１０は、入力画像受付部４００から受け付けた複数の入力画像に基づいて、第１の解像度より低解像度である第２の解像度の縮小画像であって位相の異なる複数の縮小画像を生成する。

図１２は、画像符号化プログラム４２の動作（Ｓ４０）を示すフローチャートである。なお、図１２に示された各処理のうち、図６及び図７に示された処理と実質的に同一のものには同一の符号が付されている。
図１２に示すように、Ｓ１００〜Ｓ１０８の処理で、画像符号化プログラム４２において、第１の解像度の入力画像が受け付けられると、ランダムノイズ量が測定され、フレーム間平均化制御情報が生成されて出力される。フレーム間平均化制御情報が出力されると、Ｓ２００〜Ｓ２０４の処理で、切り出し制御情報が、当該フレーム間平均化制御情報に基づいて生成されて出力され、第２の解像度の縮小画像が第１の解像度の入力画像に基づいて生成される。さらに、当該縮小画像が符号化され、符号データが生成されて出力される。

図１３は、本発明の第２の実施形態に係る画像復号化装置５の制御装置２０により実行される画像復号化プログラム５２の機能構成を示す図である。
図１３に示すように、画像復号化プログラム５２は、符号データ受付部５００、画像伸長部５０２、フレーム間平均化処理部５２０及び高解像度画像生成部５０４を有する。即ち、画像復号化プログラム５２は、画像復号化プログラム５０（図８）にフレーム間平均化処理部５２０が付加された構成を有する。なお、図１３に示された各構成のうち、図８に示された構成と実質的に同一のものには同一の符号が付されている。

画像復号化プログラム５２において、フレーム間平均化処理部５２０は、復号化された第２の解像度の複数の縮小画像に基づいて平均化画像を生成して、高解像度画像生成部５０４に対して出力する。高解像度画像生成部５０４は、フレーム間平均化処理部５２０により生成された第２の解像度の複数の平均化画像と、切り出し制御情報とに基づいて、第１の解像度の高解像度画像を生成する。

図１４は、画像復号化プログラム５２の動作（Ｓ５０）を示すフローチャートである。なお、図１４に示された各処理のうち、図９に示された処理と実質的に同一のものには同一の符号が付されている。
図１４に示すように、Ｓ３００〜Ｓ３０２の処理で、符号データが受け付けられると、符号データが伸長されて、複数の縮小画像が生成される。

縮小画像が生成されると、ステップ５００（Ｓ５００）において、フレーム間平均化処理部５２０は、当該複数の縮小画像に基づいて平均化画像を生成する。平均化画像が生成されると、Ｓ３０４の処理で、高解像度画像が、複数の平均化画像に基づいて生成される。

次に、本発明の第３の実施形態に係る画像符号化装置４及び画像復号化装置５を説明する。
図１５は、本発明の第３の実施形態に係る画像符号化処理及び画像復号化処理の概略を示す図であって、図１５（Ａ）は、画像符号化処理を示し、図１５（Ｂ）は、画像復号化処理を示す。
図１５（Ａ）及び図１５（Ｂ）に示すように、本実施形態に係る画像符号化装置４及び画像復号化装置５は、ランダムノイズ量の測定もまた、画像符号化装置４ではなく画像復号化装置５により実行される点で、第２の実施形態に係る画像符号化装置４及び画像復号化装置５とは異なる。

本実施形態においては、画像符号化装置４は、１フレーム毎に画素ずらし位相をずらした縮小画像を生成して符号化する。画像復号化装置５は、符号データを復号化し、連続するフレーム間の差分に基づいてランダムノイズを測定し、測定されたランダムノイズ量に基づいて、画素ずらし位相が同じである複数のフレーム間においてフレーム間平均化処理を行って平均化画像を生成する。例えば、画像復号化装置５は、平均化画像１フレーム分のバッファを有し、Ｎフレームの平均化画像に基づいてＮ＋１フレーム目の平均化画像を生成する場合には、Ｎ＋１枚目の画像に対して１／Ｎの重み付けをして平均化画像を生成する。画像復号化装置５は、平均化画像に基づいて高解像度画像を生成して出力する。

図１６は、本発明の第３の実施形態に係る画像符号化装置４の制御装置２０により実行される画像符号化プログラム４４の機能構成を示す図である。
図１６に示すように、画像符号化プログラム４４は、入力画像受付部４００、画像切り出し制御部４０８、画像切り出し部４１０、符号化部４１２及びデータ出力部４１４を有する。即ち、画像符号化プログラム４４は、画像符号化プログラム４２（図１１）からランダムノイズ量測定部４０２及びフレーム間平均化制御部４０４が取り除かれた構成を有する。なお、図１６に示された各構成のうち、図１１に示された構成と実質的に同一のものには同一の符号が付されている。

入力画像受付部４００は、第１の解像度の入力画像を画像切り出し部４１０に対して出力する。画像切り出し制御部４０８は、切り出し制御情報を画像切り出し部４１０及びデータ出力部４１４に対して出力する。ここで、切り出し制御情報においては、画素をずらす位相の大きさ、及び生成される縮小画像の数は、予め決められている。

図１７は、画像符号化プログラム４４の動作（Ｓ６０）を示すフローチャートである。なお、図１７に示された各処理のうち、図７に示された処理と実質的に同一のものには同一の符号が付されている。
図１７に示すように、画像符号化プログラム４４において、第１の解像度の入力画像が受け付けられると、Ｓ２００〜Ｓ２０４の処理で、第２の解像度の縮小画像が第１の解像度の入力画像に基づいて生成され、当該縮小画像が符号化され、符号データが生成されて出力される。

図１８は、本発明の第３の実施形態に係る画像復号化装置５の制御装置２０により実行される画像復号化プログラム５４の機能構成を示す図である。
図１８に示すように、画像復号化プログラム５４は、符号データ受付部５００、画像伸長部５０２、ランダムノイズ量測定部５４０、フレーム間平均化制御部５４２、フレーム間平均化処理部５２０及び高解像度画像生成部５０４を有する。即ち、画像復号化プログラム５４は、画像復号化プログラム５２（図１３）に、ランダムノイズ量測定部５４０及びフレーム間平均化制御部５４２が付加された構成を有する。なお、図１８に示された各構成のうち、図１３に示された構成と実質的に同一のものには同一の符号が付されている。

画像復号化プログラム５４において、ランダムノイズ量測定部５４０は、画像伸長部５０２により復号化された複数のフレーム間の差分情報に基づいてランダムノイズ量を測定して、フレーム間平均化制御部５４２に対して出力する。ランダムノイズ量測定部５４０は、画素ずらし位相が同じである複数のフレーム間の差分画像の絶対値を算出する。

フレーム間平均化制御部５４２は、ランダムノイズ量測定部５４０により測定されたランダムノイズ量に基づいてフレーム間平均化制御情報を決定して、フレーム間平均化処理部５２０に対して出力する。ここでフレーム間平均化制御情報には、各平均化処理における平均化されるフレーム数が含まれる。

図１９は、画像復号化プログラム５４の動作（Ｓ７０）を示すフローチャートである。なお、図１９に示された各処理のうち、図９に示された処理と実質的に同一のものには同一の符号が付されている。
図１９に示すように、Ｓ３００〜Ｓ３０２の処理で、符号データが受け付けられると、符号データが伸長されて、複数の縮小画像が生成される。

縮小画像が生成されると、平均化画像が、当該縮小画像に基づいて、平均化画像生成処理（図６；Ｓ１０）と同様にして生成される。平均化画像が生成されると、Ｓ３０４の処理で、高解像度画像が、複数の平均化画像に基づいて生成される。

次に、本発明の第４の実施形態に係る画像符号化装置４を説明する。
本実施形態に係る画像符号化装置４は、動画像を入力画像として受け付け、フレームが静止画フレームである場合、画素位相ずらし処理を行い、フレームが動画フレームである場合、画素位相ずらし処理を行わない点で、第１の実施形態に係る画像符号化装置４とは異なる。

図２０は、本発明の第４の実施形態に係る画像符号化装置４の制御装置２０により実行される画像符号化プログラム４６の機能構成を示す図である。
図２０に示すように、画像符号化プログラム４６は、入力画像受付部４００、ランダムノイズ量測定部４０２、フレーム間平均化制御部４０４、フレーム間平均化処理部４０６、静止画フレーム判定部４６０、画像切り出し制御部４０８、画像切り出し部４１０、符号化部４１２及びデータ出力部４１４を有する。即ち、画像符号化プログラム４６は、画像符号化プログラム４０（図４）に静止画フレーム判定部４６０が付加された構成を有する。なお、図２０に示された各構成のうち、図４に示された構成と実質的に同一のものには同一の符号が付されている。また、静止画フレーム判定部４６０は、画像符号化プログラム４２（図１１）又は画像符号化プログラム４４（図１６）に付加された構成であってもよい。

画像符号化プログラム４６において、静止画フレーム判定部４６０は、入力画像受付部４００から入力画像を受け付け、入力画像のそれぞれが静止画フレームであるか否かを判定し、判定結果を画像切り出し制御部４０８に対して出力する。例えば、静止画フレーム判定部４６０は、判定対象の入力画像と、その前に受け付けた入力画像とを比較することにより判定処理を行う。

静止画フレーム判定部４６０は、動き補償における動き量を監視することにより判定処理を行ってもよい。この場合、入力画像は、当該入力画像に対して画像切り出し処理が行われてから、当該入力画像が静止画フレームであるか否かを判定される。このため、当該入力画像の位相はずらされず、当該入力画像より後に受け付けられる入力画像の位相がずらされる。なお、静止画フレームであるか否かの判定処理は、これらの方法に限定されない。

画像切り出し制御部４０８は、入力画像が静止画フレームである場合、切り出し制御情報に画素ずらし処理を含めて、画像切り出し部４１０に対して出力する。画像切り出し制御部４０８は、入力画像が静止画フレームでない場合、画素ずらし処理が含まれていない切り出し制御情報を、画像切り出し部４１０に対して出力する。したがって、画像切り出し部４１０は、入力画像が静止画である場合、位相の異なる複数の縮小画像を生成する。

図２１は、画像符号化プログラム４６の動作（Ｓ８０）を示すフローチャートである。なお、図２１に示された各処理のうち、図７に示された処理と実質的に同一のものには同一の符号が付されている。
図２１に示すように、画像符号化プログラム４６において、第１の解像度の入力画像が受け付けられると、平均化画像生成処理（図６；Ｓ１０）が実行される。

また、ステップ８００（Ｓ８００）において、静止画フレーム判定部４６０は、入力画像が静止画フレームであるか否かを判定する。画像符号化プログラム４６は、入力画像が静止画フレームであると判定された場合にはＳ８０２の処理に進み、そうでない場合にはＳ２００の処理に進む。なお、静止画フレーム判定処理は、平均化画像生成処理の前処理として行われてもよい。

ステップ８０２（Ｓ８０２）において、画像切り出し制御部４０８は、切り出し制御情報に画素ずらし処理を含める。
画像切り出し部４１０が、平均化画像及び画像切り出し制御情報を受け付けると、Ｓ２００〜Ｓ２０４の処理で、第２の解像度の縮小画像が第１の解像度の入力画像に基づいて生成され、当該縮小画像が符号化され、符号データが生成されて出力される。

次に、その他の実施形態に係る画像符号化装置４及び画像復号化装置５を説明する。
図２２は、その他の実施形態係る画像符号化処理及び画像復号化処理の概略を示す図である。
図２２（Ａ）に示される実施形態では、画像符号化装置４は、所定数のフレーム毎に画像の位相をずらして符号化して符号データを生成する。画像復号化装置５は、符号データを伸長し、伸長された画像をそのまま出力する。

図２２（Ｂ）に示される実施形態では、画像符号化装置４は、所定数のフレーム毎に画像の位相をずらして符号化して符号データを生成する。画像復号化装置５は、符号データを伸長し、画素ずれ位相に基づいて伸長された画像の並び替えを行って、高解像度画像を生成する。

図２２（Ｃ）に示される実施形態では、画像符号化装置４は、所定数のフレーム毎に画像の位相をずらし、画素ずれ位相に基づいて、位相をずらされた画像の並び替えを行い、並び替え後の画像を符号化して符号データを生成する。画像復号化装置５は、符号データを伸長し、画素ずれ位相に基づいて伸長された画像の並び替えを行って、高解像度画像を生成する。画像復号化装置５は、符号データを伸長し、伸長された画像に基づいて高解像度画像を生成する。

本発明に係る画像処理装置による画像処理の概略を示す図であって、図１（Ａ）は、撮像素子により取得された画像を示し、図１（Ｂ）は、この画像を縮小して得られた縮小画像を示し、図１（Ｃ）は、これらの縮小画像に基づいて生成された高解像度画像を示す。 本発明に係る画像処理装置による平均化処理及び画素位相ずらし処理を説明する図である。 本発明の実施形態に係る画像処理装置２、画像符号化装置４及び画像復号化装置５のハードウェア構成を、制御装置２０を中心に示す図である。 本発明の第１の実施形態に係る画像符号化装置４の制御装置２０により実行される画像符号化プログラム４０の機能構成を示す図である。 ランダムノイズ量に基づくフレーム間平均化制御情報の決定手法を説明する図である。 ランダムノイズ量測定部４０２、フレーム間平均化制御部４０４及びフレーム間平均化処理部４０６による平均化画像生成処理（Ｓ１０）を示すフローチャートである。 画像符号化プログラム４０の動作（Ｓ２０）を示すフローチャートである。 本発明の第１の実施形態に係る画像復号化装置５の制御装置２０により実行される画像復号化プログラム５０の機能構成を示す図である。 画像復号化プログラム５０の動作（Ｓ３０）を示すフローチャートである。 本発明の第２の実施形態に係る画像符号化処理及び画像復号化処理の概略を示す図であって、図１０（Ａ）は、画像符号化処理を示し、図１０（Ｂ）は、画像復号化処理を示す。 本発明の第２の実施形態に係る画像符号化装置４の制御装置２０により実行される画像符号化プログラム４２の機能構成を示す図である。 画像符号化プログラム４２の動作（Ｓ４０）を示すフローチャートである。 本発明の第２の実施形態に係る画像復号化装置５の制御装置２０により実行される画像復号化プログラム５２の機能構成を示す図である。 画像復号化プログラム５２の動作（Ｓ５０）を示すフローチャートである。 本発明の第３の実施形態に係る画像符号化処理及び画像復号化処理の概略を示す図であって、図１５（Ａ）は、画像符号化処理を示し、図１５（Ｂ）は、画像復号化処理を示す。 本発明の第３の実施形態に係る画像符号化装置４の制御装置２０により実行される画像符号化プログラム４４の機能構成を示す図である。 画像符号化プログラム４４の動作（Ｓ６０）を示すフローチャートである。 本発明の第３の実施形態に係る画像復号化装置５の制御装置２０により実行される画像復号化プログラム５４の機能構成を示す図である。 画像復号化プログラム５４の動作（Ｓ７０）を示すフローチャートである。 本発明の第４の実施形態に係る画像符号化装置４の制御装置２０により実行される画像符号化プログラム４６の機能構成を示す図である。 画像符号化プログラム４６の動作（Ｓ８０）を示すフローチャートである。 その他の実施形態係る画像符号化処理及び画像復号化処理の概略を示す図である。

符号の説明

２・・・画像処理装置
２０・・・制御装置
２０２・・・ＣＰＵ
２０４・・・メモリ
２２・・・通信装置
２４・・・記憶装置
２４０・・・記録媒体
２６・・・ＵＩ装置
２８・・・画像撮影装置
４・・・画像符号化装置
４０・・・画像符号化プログラム
４００・・・入力画像受付部
４０２・・・ランダムノイズ量測定部
４０４・・・フレーム間平均化制御部
４０６・・・フレーム間平均化処理部
４０８・・・画像切り出し制御部
４１０・・・画像切り出し部
４１２・・・符号化部
４１４・・・データ出力部
４２・・・画像符号化プログラム
４４・・・画像符号化プログラム
４６・・・画像符号化プログラム
４６０・・・静止画フレーム判定部
５・・・画像復号化装置
５０・・・画像復号化プログラム
５００・・・符号データ受付部
５０２・・・画像伸長部
５０４・・・高解像度画像生成部
５２・・・画像復号化プログラム
５２０・・・フレーム間平均化処理部
５４・・・画像復号化プログラム
５４０・・・ランダムノイズ量測定部
５４２・・・フレーム間平均化制御部

Claims (8)

1. 撮像された動画像の各フレームを第１の解像度の入力画像として受け付け、受け付けた第１の解像度の複数の入力画像間の差分に基づいてノイズ量を測定する測定手段と、
   前記測定手段により測定されたノイズ量が大きいほど多くの数の入力画像を平均化して平均化画像を生成する平均化画像生成手段と、
   前記平均化画像生成手段により生成された複数の平均化画像のそれぞれから、第１の解像度より低解像度である第２の解像度の縮小画像であって縮小画像の解像度において１画素未満で互いに位相がずらされた１つの縮小画像を生成し、生成された各縮小画像を前記平均化画像生成手段において１つの平均化画像を生成する際に平均した入力画像の数分だけ複製することにより複数の縮小画像を生成する縮小画像生成手段と
   を有する画像処理装置。
2. 前記縮小画像生成手段は、前記測定手段により測定されたノイズ量が小さいほど、生成される縮小画像の数を多くし、入力画像のノイズ量が大きいほど、生成される縮小画像の数を少なくするように縮小画像を生成する
   請求項１に記載の画像処理装置。
3. 撮像された動画像の各フレームを第１の解像度の入力画像として受け付け、受け付けた第１の解像度の複数の入力画像間の差分に基づいてノイズ量を測定する測定手段と、
   前記測定手段により測定されたノイズ量が大きいほど多くの数の入力画像を平均化して平均化画像を生成する平均化画像生成手段と、
   前記平均化画像生成手段により生成された複数の平均化画像のそれぞれから、第１の解像度より低解像度である第２の解像度の縮小画像であって縮小画像の解像度において１画素未満で互いに位相がずらされた１つの縮小画像を生成し、生成された各縮小画像を前記平均化画像生成手段において１つの平均化画像を生成する際に平均した入力画像の数分だけ複製することにより複数の縮小画像を生成する縮小画像生成手段と、
   前記縮小画像生成手段により生成された縮小画像に基づいて符号データを生成する符号データ生成手段と
   を有する画像符号化装置。
4. 撮像された動画像の各フレームを第１の解像度の入力画像として受け付け、受け付けた第１の解像度の複数の入力画像間の差分に基づいてノイズ量を測定する測定手段と、前記測定手段により測定されたノイズ量が大きいほど多くの数の入力画像を平均化して平均化画像を生成する平均化画像生成手段と、前記平均化画像生成手段により生成された複数の平均化画像のそれぞれから第１の解像度より低解像度である第２の解像度の縮小画像であって縮小画像の解像度において１画素未満で互いに位相がずらされた１つの縮小画像を生成し生成された各縮小画像を前記平均化画像生成手段において１つの平均化画像を生成する際に平均した入力画像の数分だけ複製することにより複数の縮小画像を生成する縮小画像生成手段と、前記縮小画像生成手段により生成された縮小画像に基づいて符号データを生成する符号データ生成手段とを有する画像符号化装置により符号化された符号データを受け付ける受付手段と、
   前記受付手段により受け付けられた符号データを復号化する復号化手段と、
   前記復号化手段により復号化された複数の縮小画像と、該縮小画像の生成に関する制御情報とに基づいて、第１の解像度の高解像度画像を生成する高解像度画像生成手段と
   を有する画像復号化装置。
5. 撮像された動画像の各フレームを第１の解像度の入力画像として受け付け、受け付けた第１の解像度の複数の入力画像間の差分に基づいてノイズ量を測定する測定手段と、
   前記測定手段により測定されたノイズ量が大きいほど多くの数の入力画像を平均化して平均化画像を生成する平均化画像生成手段と、
   前記平均化画像生成手段により生成された複数の平均化画像のそれぞれから、第１の解像度より低解像度である第２の解像度の縮小画像であって縮小画像の解像度において１画素未満で互いに位相がずらされた１つの縮小画像を生成し、生成された各縮小画像を前記平均化画像生成手段において１つの平均化画像を生成する際に平均した入力画像の数分だけ複製することにより複数の縮小画像を生成する縮小画像生成手段と、
   前記縮小画像生成手段により生成された縮小画像に基づいて符号データを生成する符号データ生成手段と
   を有する画像符号化装置と、
   前記画像符号化装置により符号化された符号データを復号化する復号化手段と、
   前記復号化手段により復号化された複数の縮小画像と、該縮小画像の生成に関する制御情報とに基づいて、第１の解像度の高解像度画像を生成する高解像度画像生成手段と
   を有する画像復号化装置と
   を有する画像処理システム。
6. コンピュータを含む画像処理装置において、
   撮像された動画像の各フレームを第１の解像度の入力画像として受け付け、受け付けた第１の解像度の複数の入力画像間の差分に基づいてノイズ量を測定する測定ステップと、
   測定されたノイズ量が大きいほど多くの数の入力画像を平均化して平均化画像を生成する平均化画像生成ステップと、
   前記生成された複数の平均化画像のそれぞれから、第１の解像度より低解像度である第２の解像度の縮小画像であって縮小画像の解像度において１画素未満で互いに位相がずらされた１つの縮小画像を生成し、生成された各縮小画像を前記平均化画像生成手段において１つの平均化画像を生成する際に平均した入力画像の数分だけ複製することにより複数の縮小画像を生成する縮小画像生成ステップと
   を前記画像処理装置のコンピュータに実行させるプログラム。
7. コンピュータを含む画像符号化装置において、
   撮像された動画像の各フレームを第１の解像度の入力画像として受け付け、受け付けた第１の解像度の複数の入力画像間の差分に基づいてノイズ量を測定する測定ステップと、
   測定されたノイズ量が大きいほど多くの数の入力画像を平均化して平均化画像を生成する平均化画像生成ステップと、
   前記生成された複数の平均化画像のそれぞれから、第１の解像度より低解像度である第２の解像度の縮小画像であって縮小画像の解像度において１画素未満で互いに位相がずらされた１つの縮小画像を生成し、生成された各縮小画像を前記平均化画像生成手段において１つの平均化画像を生成する際に平均した入力画像の数分だけ複製することにより複数の縮小画像を生成する縮小画像生成ステップと、
   前記生成された縮小画像に基づいて符号データを生成する符号データ生成ステップと
   を前記画像符号化装置のコンピュータに実行させるプログラム。
8. コンピュータを含む画像復号化装置において、
   撮像された動画像の各フレームを第１の解像度の入力画像として受け付け、受け付けた第１の解像度の複数の入力画像間の差分に基づいてノイズ量を測定し、測定されたノイズ量が大きいほど多くの数の入力画像を平均化して平均化画像を生成し、前記生成された複数の平均化画像のそれぞれから、第１の解像度より低解像度である第２の解像度の縮小画像であって縮小画像の解像度において１画素未満で互いに位相がずらされた１つの縮小画像を生成し、生成された各縮小画像を前記平均化画像生成手段において１つの平均化画像を生成する際に平均した入力画像の数分だけ複製することにより複数の縮小画像を生成し、前記生成された縮小画像に基づいて符号データを生成する画像符号化装置により符号化された符号データを受け付ける受付ステップと、
   前記受付られた符号データを復号化する復号化ステップと、
   前記復号化された複数の縮小画像と、該縮小画像の生成に関する制御情報とに基づいて、第１の解像度の高解像度画像を生成する高解像度画像生成ステップと
   を前記画像復号化装置のコンピュータに実行させるプログラム。
   

Images