JP4874175B2 - 画像拡大方法、画像拡大装置、集積回路、およびプログラム - Google Patents

Description

本発明は、画像の解像度拡大に適した画像読出し方法、および読み出された画像を拡大して再生する画像拡大方法に関する。

近年、デジタルスチルカメラなどで撮影した動画像や静止画像を高解像度化して、より鮮明な画像を取得するための取り組みが盛んに行われている。その一つとして、互いに位置ずれを有する複数の画像を合成して高周波成分を復元する方法が、原画像に近い鮮明な高解像度画像を取得する方法として研究されている。この方法によれば、動画像において時間的に連続する複数枚の画像を利用して高解像度化することも可能であり、デジタルスチルカメラやビデオカメラで撮影した動画像を高解像度化するなど幅広い用途が見込まれる。以降、互いに位置ずれを有する複数の低解像度画像から高解像度画像を生成する処理を、超解像と呼ぶ。

超解像の手法についても多数あるが、安定して高画質な高解像度画像を得るために、反復処理により高解像度画像の画素値を逐次更新する再構成型の超解像が広く利用されている。再構成型の超解像の一例として、ＭＡＰ（Ｍａｘｉｍｕｍ Ａ Ｐｏｓｔｅｒｉｏｒｉ）法がある（例えば、特許文献１参照。）。ＭＡＰ法は、バイキュービック法やニアレストネイバー法などにより生成した高解像度画像を初期値として、観測画像である複数の低解像度画像を条件としたときの事後確率を最大にする高解像度画像を再構成する方法である。事後確率は評価関数により示され、評価関数は誤差項と収束項から成る。誤差項は、撮像モデルを仮定した場合に、高解像度画像から撮像モデルを元に推定される画素値と、位置合わせされた低解像度画像の画素値との２乗誤差を示し、収束項は、画像は至るところで滑らかであるという仮定など事前情報に基づいた拘束を示している。ここで、低解像度画像が十分に帯域制限されている場合には、低解像度画像から高解像度画像を復元できるため超解像の効果は低いことから、超解像を適用する低解像度画像は高周波成分を多く含む、言い換えれば、エイリアシング成分を多く含むことが望ましい。従って、超解像を適用するには、次の２つの要件を満たすことが重要である。

１つ目の要件は、低解像度画像間の位置合わせが正確にできることであり、２つ目の要件は、低解像度画像には強いエイリアシングがあることである。

一方、一般的なデジタルスチルカメラなどでは、撮像素子で撮影された高解像度画像を高フレームレートで読み出すことが処理能力等の関係から困難であるため、読み出すデータ量を削減する方法として、画素混合や間引き読出しが利用されている。このとき、高解像度の画像を低解像度の画像として読み出すことから、読出し後の低解像度画像を超解像により高画質に拡大する技術が注目されている。一例として、非特許文献１には、画素混合により読み出した混合画像と、間引き読出しにより読み出した間引き画像とを共に用いて超解像を行う方法が示されている。

以下に、非特許文献１における画像拡大方法を従来例として説明する。
従来の画像拡大方法においては、高解像度で撮影可能な撮像素子から混合画像と間引き画像の２種類の低解像度画像を読み出す。混合画像とは、読出し範囲内の複数の画素を混合してから読み出した画像であり、間引き画像とは、所定の範囲内の画素のうち１画素のみを読み出した画像である。ここで、混合画像では、画素混合により高周波成分が抑制されるため、エイリアシングの影響が抑えられる。エイリアシングの影響が抑えられた画像においては、正確な位置合わせが実現できる。一方、間引き画像には強いエイリアシングが含まれている。従って、位置合わせには混合画像を用い、超解像の再構成処理には間引き画像を利用することにより、超解像に必要な２つの要件を満たすことができる。

図１６は、従来の画像拡大方法を実施する画像拡大装置５００の構成を示すブロック図である。画像拡大装置５００は、図１６に示すように画像保存部５１０、画像再生部５２０、およびメモリ５３０を備えている。

ここで、画像保存部５１０は、例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅｓ：電荷結合素子）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ：相補型金属酸化膜半導体）などの撮像素子で構成され、画像入力部５１１および画像読出し部５１２を備えている。画像入力部５１１は、入力画像５０１を撮影する。画像読出し部５１２は、画像入力部５１１で撮影された入力画像５０１から間引き画像５０２と混合画像５０３とを読み出してそれぞれメモリ５３０に格納する。

一方、画像再生部５２０は、位置合わせ部５２１および画像拡大部５２２を備えている。位置合わせ部５２１は、メモリ５３０から複数の混合画像５０３を読み出し、読み出した複数の混合画像５０３の位置合わせを行って画像間の位置ずれ量を算出し、この位置ずれ量を画像拡大部５２２に出力する。なお、ここでは、位置ずれ量を動きベクトル５０４で表現するものとする。画像拡大部５２２は、位置ずれ量を示す動きベクトル５０４に基づいて、メモリ５３０から読出した複数の間引き画像５０２を利用して超解像の再構成処理を行って画像を拡大し、拡大画像５０５を出力する。

図１７は、画像保存部５１０の動作を示すフローチャートであり、図１８は、間引き画像および混合画像を説明するための図であり、（ａ）間引き画像、（ｂ）混合画像を説明するための図である。

まず、画像読出し部５１２は、画像入力部５１１で撮影された入力画像５０１から予め定められた位置の画素値を間引き画像の画素として読み出す（ステップＳ０１０１）。例えば、図１８（ａ）に示すように４画素に１画素の割合で画素（図中、黒塗りの三角で示す）を読み出すと、間引き画像は入力画像５０１に対して解像度が２分の１である低解像度画像となる。続いて、画像読出し部５１２は、入力画像５０１から間引き画像の読出し位置と同じ位置における混合画素を、混合画像の画素として読み出す（ステップＳ０１０２）。例えば、図１８（ｂ）に示すようにエリア３０１の９画素を用いて画素混合を行って１画素を算出して読み出すと、９画素の中心が混合画像の離散化点（図中、黒塗りの四角で示す）となり、混合画像は入力画像５０１に対して解像度が２分の１である低解像度画像となる。

図１９は、画像再生部５２０の動作を示すフローチャートである。
まず、位置合わせ部５２１は、複数の混合画像を用いて位置合わせを行い、画像間の位置ずれ量を取得する（ステップＳ０２０１）。次に、画像拡大部５２２は、動きベクトル５０４に基づいて超解像の再構成処理を実施し、画像を拡大する（ステップＳ０２０２）。
特開２０００−３３９４５０号公報 "組合せ画素混合と超解像処理への応用"、ＰＲＭＵ２００５−２７４（２００６−３）

しかしながら、従来の画像拡大方法では、混合画像および間引き画像の読出し位置が固定であった。図２０（ａ）は、従来の画像拡大方法における画素混合の例を示す図である。図２０（ａ）は、９画素を混合する例であり、混合される９画素の中心が混合画像の離散化点（図中、黒塗りの四角で示す）に相当する。図中のピクチャＰｉｃ１からピクチャＰｉｃ４は、連続する４枚の画像（ピクチャ）を示すとすると、全ての画像において離散化点の位置は等しい。この例では、混合画像は入力に対して解像度が２分の１である低解像度画像となる。なお、図ではピクチャ中の一部の画素だけを示しており、その他の画素については省略している。図２０（ｂ）は、ピクチャＰｉｃ１からピクチャＰｉｃ４に対応する混合画像の、読み出された低解像度画像の座標における画素位置を示す図である。各格子は低解像度画像の画素位置を示し、混合画像の離散化点がピクチャＰｉｃ１からピクチャＰｉｃ４において常に同一の画素位置にマッピングされることが分かる。なお、間引き画像についても同様に、固定の間引き位置の画素値を読み出していた。

このように、従来の画像拡大方法では、混合画像の離散化点、および間引き画像の間引き位置が固定であるため、入力画像列が静止していると、読み出された混合画像および間引き画像において位置ずれが発生しない。超解像では、低解像度画像間に位置ずれがない場合には、その効果が著しく低下する。結果として、従来の画像拡大方法では、入力画像列が静止している、つまり、被写体が静止している場合には、超解像の効果が著しく低下するという課題がある。

そこで、本発明は上記の事情に鑑みてなされたものであり、入力画像列が静止している場合、すなわち被写体が静止している場合であっても、低解像度の撮像画像を高画質に拡大することができる画像読出し方法および画像拡大方法を提供することを目的とする。

上記目的を達成するため、本発明に係る画像拡大方法は、撮影された入力画像から読み出された混合画像および間引き画像を用いて、画像の解像度を上げて拡大画像を出力する画像拡大方法であって、前記入力画像毎に、前記混合画像および前記間引き画像の読出し画素の位置が移動するように読出し位置を決定し、決定された前記読出し位置に従って、前記入力画像から、隣接する複数の画素の信号を混合して前記混合画像を読み出し、決定された前記読出し位置に従って、前記入力画像から、空間的に離れた画素の信号を間引いて前記間引き画像を読み出し、高画質に画像拡大を行うか否かを選択し、高画質に画像拡大を行うことが選択された場合に、複数の前記混合画像を位置合わせすることによって複数の前記混合画像における位置ずれ量を算出し、前記位置ずれ量を前記読出し位置の移動量に基づいて補償し、補償後の前記位置ずれ量に基づいて複数の前記間引き画像を位置合わせして再構成することによって、画像の解像度を上げて拡大画像を出力し、高画質に画像拡大を行うことが選択されなかった場合に、フィルタ処理により画像の解像度を上げて拡大画像を出力することを特徴とする。
また、上記目的を達成するため、本発明に係る画像読出し方法は、撮影された入力画像から超解像に用いる混合画像および間引き画像を読み出す画像読出し方法であって、前記入力画像毎に、前記混合画像および前記間引き画像の読出し画素の位置が移動するように読出し位置を決定し、決定された前記読出し位置に従って、前記入力画像から、隣接する複数の画素の信号を混合して前記混合画像を読み出し、決定された前記読出し位置に従って、前記入力画像から、空間的に離れた画素の信号を間引いて前記間引き画像を読み出すことを特徴とする。

これによって、離散化点の位置をずらしながら混合画像と間引き画像を読み出し、被写体が静止している場合であっても、撮像画像間に位置ずれを発生させることができる。そのため、超解像、すなわち低解像度の２種類の撮像画像（混合画像および間引き画像）を用いて画像を高解像度に拡大する際に、例えば被写体が静止している場合であっても、画像を読出し時に発生させた位置ずれを利用することにより、低解像度の撮像画像を高画質に拡大することができる。

ここで、前記読出し位置を、基準となる位置から開始し、所定の移動経路に従って整数画素分ずつ移動した後に再び基準位置に戻るよう周期的に決定してもよい。

これによって、混合画像および間引き画像の読出し位置を周期的に移動することができる。

また、前記画像読出し方法は、さらに、決定された前記読出し位置を示す情報を、読み出した前記混合画像および前記間引き画像に関連付けて記録してもよい。

これによって、画像を高解像度に拡大する際に、混合画像および間引き画像の読出し位置の移動量を取得することができる。

また、前記画像読出し方法は、さらに、前記入力画像が静止しているか否かを判定し、前記入力画像が静止していると判定した場合にのみ、前記読み出し位置を移動するように前記読出し位置を決定してもよい。

これによって、必要に応じて読出し位置を移動するので、読出し位置の移動を行っていない画像の再生時には、読出し位置の移動量の補償が不要になり、処理量を削減することができる。

また、本発明に係る画像拡大方法は、撮影された入力画像から読み出された混合画像および間引き画像を用いて、画像の解像度を上げて拡大画像を出力する画像拡大方法であって、前記入力画像毎に、前記混合画像および前記間引き画像の読出し画素の位置が移動するように読出し位置を決定し、決定された前記読出し位置に従って、前記入力画像から、隣接する複数の画素の信号を混合して前記混合画像を読み出し、決定された前記読出し位置に従って、前記入力画像から、空間的に離れた画素の信号を間引いて前記間引き画像を読み出し、複数の前記混合画像を位置合わせすることによって複数の前記混合画像における位置ずれ量を算出し、前記位置ずれ量を前記読出し位置の移動量に基づいて補償し、補償後の前記位置ずれ量に基づいて複数の前記間引き画像を位置合わせして再構成することによって、画像の解像度を上げて拡大画像を出力することを特徴とする。

これによって、離散化点の位置をずらしながら混合画像と間引き画像を読み出し、被写体が静止している場合であっても、撮像画像間に位置ずれを発生させているので、例えば被写体が静止している場合であっても、画像の読出し時に発生させた位置ずれを利用することにより、低解像度の混合画像および間引き画像の２種類の撮像画像を用いて画像を高解像度に拡大することができる。

ここで、前記画像拡大方法は、さらに、高画質に画像拡大を行うか否かを選択し、高画質に画像拡大を行うことが選択された場合に、複数の前記混合画像を位置合わせすることによって複数の前記混合画像における位置ずれ量を算出し、前記位置ずれ量を前記読出し位置の移動量に基づいて補償し、補償後の前記位置ずれ量に基づいて複数の前記間引き画像を位置合わせして再構成することによって、画像の解像度を上げて拡大画像を出力し、高画質に画像拡大を行うことが選択されなかった場合に、フィルタ処理により画像の解像度を上げて拡大画像を出力してもよい。

これによって、必要に応じて高画質に画像拡大を行うか否かを選択することができるので、高画質な拡大画像が要求される場合には超解像による拡大結果を出力し、その他の場合には例えば演算負荷の低いフィルタ処理による拡大画像を出力することができ、高画質な拡大画像の出力と、低演算量での拡大画像の出力とを効果的に切り替えることが可能になる。

なお、本発明は、このような画像読出し方法および画像拡大方法として実現することができるだけでなく、このような画像読出し方法および画像拡大方法が含む特徴的なステップを手段とする画像読出し装置および画像拡大装置として実現したり、それらのステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体やインターネット等の伝送媒体を介して配信することができるのは言うまでもない。

以上のように、本発明によれば、離散化点の位置をずらしながら混合画像と間引き画像を読み出すことにより、撮像画像間に位置ずれを発生させているので、例えば被写体が静止している場合であっても、読出し時に発生させた位置ずれを利用することにより、低解像度の混合画像および間引き画像の２種類の撮像画像を用いて撮像画像を高画質に拡大することができ、その実用的価値が高い。

以下、本発明の各実施の形態について、それぞれ図面を参照しながら説明する。

（実施の形態１）
図１は、本発明の実施の形態１に係る画像拡大装置の構成を示すブロック図である。

画像拡大装置１００は、２種類の低解像度画像を用いて画像の解像度を上げて拡大画像を出力するための装置であり、図１に示すように画像保存部１１０、画像再生部１２０、およびメモリ１３０を備えている。

ここで、画像保存部１１０は、例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅｓ：電荷結合素子）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ：相補型金属酸化膜半導体）などの撮像素子で構成され、画像入力部１１１、画像読出し部１１２、および読出し位置決定部１１３を備えている。

画像入力部１１１は、入力画像１０１を撮影する。読出し位置決定部１１３は、混合画像の離散化点の位置と、間引き画像の間引き位置を決定し、決定した位置を示すシフトベクトルを画像読出し部１１２へ出力する。ここで、シフトベクトルは、読出し位置の予め定めた基準位置からの移動量を示している。画像読出し部１１２は、画像入力部１１１で撮影された入力画像１０１から、読出し位置決定部１１３から入力されたシフトベクトルにより指定される位置における混合画像１０３、および間引き画像１０２を画像入力部１１１から読み出し、それぞれメモリ１３０に格納する。

一方、画像再生部１２０は、位置合わせ部１２１、位置ずれ補償部１２２、および画像拡大部１２３を備えている。

位置合わせ部１２１は、メモリ１３０から複数の混合画像１０３を読み出し、読み出した複数の混合画像１０３の位置合わせを行って画像間の位置ずれ量をそれぞれ算出し、この位置ずれ量を画像拡大部１２３に出力する。なお、ここでは、位置ずれ量を動きベクトル１０６で表現するものとする。位置ずれ補償部１２２は、位置ずれ量を示す動きベクトル１０６を、それぞれの読出し位置の移動量に基づいて補償し、補償後の動きベクトル１０７を算出する。画像拡大部１２３は、補償後の動きベクトル１０７に基づいて、メモリ１３０から読出した複数の間引き画像１０２を利用して超解像の再構成処理を行って画像を拡大し、拡大画像１０８を出力する。

次に、上記のように構成された画像拡大装置１００の動作について説明する。
まず、画像保存部１１０は、混合画像の離散化点の位置、および間引き画像の間引き位置を変更しながら入力画像１０１を読み出すことにより、読み出された混合画像、および間引き画像において位置ずれを発生させる。また、画像再生部１２０は、読出し時に発生させた位置ずれを利用して超解像を行う。以下、画像拡大装置１００の動作の詳細について説明する。

図２は、画像保存部１１０における入力画像毎の読出し動作を示すフローチャートである。

まず、読出し位置決定部１１３は、混合画像の離散化点の位置、および間引き画像の間引き位置を指定する情報であるシフトベクトルを決定する（ステップＳ１１０１）。シフトベクトルは、予め定めた基準位置からの移動量を示すものであり、例えば、基準位置に対して水平、垂直の正の方向に１画素ずつずらして読出しを行う場合には、（１，１）と指定する。次に、画像読出し部１１２は、シフトベクトルから決定される位置の画素値を間引き画像の画素として読み出す（ステップＳ１１０２）。さらに、画像読出し部１１２は、シフトベクトルから決定される位置における混合画素を混合画像の画素として読み出す。なお、間引き画像の読み出し（ステップＳ１１０２）の前に混合画像の読み出し（ステップＳ１１０３）を実施してもよい。

図３は、シフトベクトルに従って、入力画像毎に離散化点をずらしながら混合画像を読み出す例を示す図である。図３（ａ）は、連続する入力画像を、シフトベクトルが（０，０）である位置を基準位置として、シフトベクトルが（０，０）→（１，０）→（１，１）→（０，１）となるように読出し位置を移動させながら読み出す例であり、図中の黒塗りの四角が混合画像の離散化点に相当する。なお、図ではピクチャ中の一部の画素だけを示しており、その他の画素については省略している。図中のピクチャＰｉｃ１からピクチャＰｉｃ４において、離散化点の位置が１画素ずつずれていき、ピクチャＰｉｃ５において基準位置に復帰する。この例では、混合画像は入力に対して解像度が２分の１である低解像度画像となる。図３（ｂ）は、ピクチャＰｉｃ１からピクチャＰｉｃ５に対する混合画像の、低解像度画像の座標における画素位置を示す図である。図３（ｂ）の各格子は低解像度画像の画素位置における離散化点の位置を示す。図３（ａ）における１画素の移動量は、低解像度画像上では半画素の移動量に相当する。従って、ピクチャＰｉｃ２からピクチャＰｉｃ４は、低解像度画像上で、基準位置となるピクチャＰｉｃ１の位置に対して、それぞれ、（０．５，０）、（０．５，０．５）、（０，０．５）の移動量を有する。なお、（ｓ、ｔ）は、水平方向にｓ画素、垂直方向にｔ画素の位置ずれを示す。

次に、読出し位置決定部１１３におけるシフトベクトルの設定方法について述べる。超解像においては、複数の低解像度画像が、互いに小数画素分の位置ずれを有することが望ましい。従って、シフトベクトルは、混合画像および間引き画像において小数画素分の位置ずれが発生するように設定する。例えば、図３の例では、半画素分の位置ずれが発生するように設定している。また、シフトベクトルは循環するように設定しているが、循環の周期は、読出し画像を超解像する際の拡大率に応じて決定できる。拡大率をＮとすると、互いに小数画素分の位置ずれを有するＮ×Ｎ枚の低解像度画像があれば、理想的な超解像を実現できる。従って、図３に示した例において、解像度を２分の１にして読み出した画像を、元のサイズに拡大するには２×２＝４枚の低解像度画像があれば十分である。よって、例えば、上記のように（０，０）→（１，０）→（１，１）→（０，１）となるシフトベクトルの移動を繰り返せばよい。

なお、拡大率Ｎは、フレームレート、または画像サイズ等に応じて変えることが可能である。例えば、画像サイズが小さい場合には拡大率Ｎを大きくし、画像サイズが大きい場合には拡大率Ｎを小さくすることができる。また、例えば、フレームレートが低い場合には拡大率Ｎを大きくし、フレームレートが高い場合には拡大率Ｎを小さくすることができる。また、あまり拡大率Ｎを大きくすると間引き画像の歪が大きくなるため、拡大率Ｎに上限を設定することも可能である。また、撮像素子の解像度のうちどれだけの解像度を用いて間引き画像および混合画像を読み出したか、すなわち入力画像に対して解像度をどれだけ低くして低解像度画像を読み出したかにより拡大率Ｎの上限は決まることになる。

図４は、混合画像の読出し位置の移動パターンの例を示す図であり、（ａ）図３の例と同一の移動パターン、（ｂ）（ａ）に示す移動パターンを簡略化した図、（ｃ）他の移動パターンの例、（ｄ）（ｃ）に示す移動パターンを簡略化した図、（ｅ）他の移動パターンの例、（ｆ）（ｅ）に示す移動パターンを簡略化した図である。図４（ａ）、（ｃ）、（ｅ）においては、全て図中の（１）の位置を基準位置として（１）→（２）→（３）→（４）までの移動を繰り返す。すなわち、図４（ａ）の例では、上記のように連続する入力画像を、シフトベクトルが（０，０）である位置を基準位置として、シフトベクトルが（０，０）→（１，０）→（１，１）→（０，１）となるように読出し位置を移動させながら読み出す。また、図４（ｃ）の例では、連続する入力画像を、シフトベクトルが（０，０）である位置を基準位置として、シフトベクトルが（０，０）→（１，０）→（０，１）→（１，１）となるように読出し位置を移動させながら読み出す。また、図４（ｅ）の例では、連続する入力画像を、シフトベクトルが（０，０）である位置を基準位置として、シフトベクトルが（０，０）→（０，１）→（１，１）→（１，０）となるように読出し位置を移動させながら読み出す。

図５は、解像度を３分の１にして読み出した画像を、元のサイズに拡大する場合の、読出し方法の例を示す図であり、（ａ）混合画像の読出し位置の移動パターンの例、（ｂ）（ａ）の移動パターン（１）から（９）までの読出し画像の、低解像度画像における画素位置、を示す図である。このとき、拡大率は３倍であり、３×３＝９枚の低解像度画像があれば理想的な超解像を実現できることから、互いに小数画素分の位置ずれを有する９枚の読出し画像を生成すればよい。よって、例えば図５（ａ）に示すようにシフトベクトルが（１）（０，０）→（２）（１，０）→（３）（２，０）→（４）（０，１）→（５）（１，１）→（６）（２，１）→（７）（０，２）→（８）（１，２）→（９）（２，２）となるように移動させる。このように読出し位置を移動させた場合、図５（ｂ）に示すように互いに３分の１画素ずつ位置ずれした読出し画像が得られる。

次に、図６と図７を参照しながら、一般的な撮像素子において広く用いられるベイヤー配列における混合画像の読出し例について説明する。

図６は、ベイヤー配列における画素混合を説明するための図であり、（ａ）ベイヤー配列の基本単位、（ｂ）ベイヤー配列における９画素混合の例、（ｃ）９画素混合後の混合画素の、低解像度画像上での画素位置、を示す図である。図中のＲＧＢは、それぞれ赤、緑、青の撮像素子を示し、黒丸は混合画像の離散化点を示す。

ベイヤー配列では、図６（ａ）に示すように１個のＲ画素とＢ画素、および２個のＧ画素をまとめた単位が基本単位となる。そこで、例えば、図６（ｂ）に示すようにエリア１１０１における９個のＧ画素を混合して、エリア１１０１の中心に位置するＧ画素の離散化点の画素値とする。同様に、エリア１１０２における９個のＲ画素を混合して、エリア１１０２の中心に位置するＲ画素の離散化点の画素値とする。また同様に、エリア１１０３における９個のＢ画素を混合して、エリア１１０３の中心に位置するＢ画素の離散化点の画素値とする。また同様に、エリア１１０４における９個のＧ画素を混合して、エリア１１０４の中心に位置するＧ画素の離散化点の画素値とする。このように画素混合を行うことで、混合画素は、図６（ｃ）に示すような低解像度画像上での画素位置となる。

図７は、ベイヤー配列において離散化点の位置をずらしながら画素混合する例を示す図であり、（ａ）シフトベクトルが（０，０）→（１，０）となるように読出し位置を移動させながら読み出す例、（ｂ）画素混合後の低解像度画像上での画素位置、を示す図である。図中のピクチャＰｉｃ１が基準位置、すなわち、シフトベクトルが（０，０）である位置に相当し、ピクチャＰｉｃ２が、シフトベクトルが（１，０）となる位置に相当する。シフトベクトルの移動は、図６（ａ）に示したベイヤー配列の基本単位を最小単位とする。図７（ａ）に示す混合例では、解像度が３分の１になるため、シフトベクトルの（０，０）→（１，０）への変化は、図７（ｂ）に示すように低解像度画像上における水平方向への３分の１画素相当の移動に相当する。なお、画素配列はベイヤー配列に限定されるものではなく、ハニカム配列など他の配列にも適用できる。

なお、上記では、読出し画像を入力画像のサイズに拡大する際の拡大率を元に、シフトベクトルの移動パターンを決定したが、拡大率に拠らず、固定の移動パターンとしてもよい。また、使用可能な参照画像の枚数に応じてシフトベクトルの移動パターンを決定してもよい。例えば、計４枚の画像を使える場合には、（０，０）→（１，０）→（１，１）→（０，１）のように、互いに位置ずれを有する４枚の画像が得られるように移動パターンを決定する。

また、入力画像の読出し方法の切替わりに応じて、シフトベクトルの移動パターンを切替えてもよい。ここで、入力画像の読出し方法の切替わりとは、例えば撮影中に入力画像に対して解像度をどれだけ低くして低解像度画像を読み出すかが、変更された場合等である。

以上では、混合画像について読出し位置の移動方法を説明したが、間引き画像においても同様の方法で読出し位置を移動する。

なお、基準位置からの移動量が間引き画像と混合画像で揃っていれば、基準位置自体は異なっていてもよい。これは、間引き画像と混合画像において基準位置からの移動量が揃っていれば、混合画像間の位置ずれと間引き画像間の位置ずれが等しくなるためである。

また、読出し位置決定部１１３は、各混合画像、および間引き画像における画像読出し時の移動量を特定するための補助情報も、メモリ１３０に格納する。なお、読出し位置決定部１１３は、基準位置の混合画像、および間引き画像を特定する情報、シフトベクトルの移動パターンを示す情報、および、移動量の最小単位を格納してもよい。このとき、基準位置と異なる位置の混合画像、および間引き画像における画像読出し時の移動量は、シフトベクトルの移動パターンから決定できる。例えば、図３の例では、基準位置となるのはピクチャＰｉｃ１とピクチャＰｉｃ５であり、シフトベクトルの移動パターンは（０，０）→（１，０）→（１，１）→（０，１）、移動量の最小単位は半画素となる。従って、ピクチャＰｉｃ３の基準位置に対する移動量は、水平方向に１×０．５＝０．５画素、垂直方向に１×０．５＝０．５画素となる。あるいは、移動量の最小単位を入力画像側での１画素分として、別途記録しておいた入力画像と読出し画像との解像度の比率から、読出し画像における移動量を計算してもよい。

また、画像保存部１１０は、読み出した混合画像、および間引き画像を符号化してからメモリ１３０に格納してもよい。この場合、読出し位置決定部１１３は、画面内符号化画像など特定の画像が基準位置となるようにシフトベクトルを決定して、基準位置の画像を特定する情報を省略してもよい。

また、画面内符号化画像や、撮影を一時停止した後に再開する場合など、特定のケースにおいては、シフトベクトルを基準位置にリセットしてもよい。

図８は、画像保存部１１０によってメモリ１３０に記録されるデータの構造例を示す図であり、（ａ）ストリームの構造、（ｂ）ヘッダの構造、を示す図である。まず、図８（ａ）に示すように、混合画像のストリームと間引き画像のストリームとがメモリ１３０に記録される。さらに、図８（ｂ）に示すように、各読出し画像のシフトベクトルを示す情報と、混合画像や間引き画像の記録先アドレスなどの再生に必要な情報がヘッダ情報として格納される。なお、基準位置が既知である場合には、基準位置を特定するための情報は省略してもよい。また、ヘッダ情報として、例えば間引き画像と混合画像とで基準位置が異なっている場合等、さらに、混合画像と間引き画像の基準位置を特定するための情報を格納してもよい。また、図８に示すデータは、メモリ上に保持されてもよいし、ファイルとして記録されてもよい。特に、画像保存部１１０において記録したデータを記録終了後に再生する場合などは、ファイルによる記録が有効である。また、記録時にはヘッダ情報とストリームデータとをパケット化して記録してもよいし、それぞれ独立して記録してもよい。

続いて、画像再生部１２０の動作について説明する。
図９は、画像再生部１２０の動作を示すフローチャートである。まず、位置合わせ部１２１は、メモリ１３０から複数の混合画像１０３を読み出し、読み出した複数の混合画像を用いて位置合わせを行い、動きベクトル１０６を取得する（ステップＳ１２０１）。超解像を行う際には、動きベクトル１０６を利用して間引き画像を位置合わせするが、間引き画像の位置合わせ時には、間引き画像の読出し時の移動量を考慮する。これは、画像拡大の対象となる間引き画像の読出し位置に対して、参照する間引き画像を位置合わせすると、間引き画像の読出し位置を移動させているために、拡大後の画像間にも移動に伴う位置ずれ（読出し時の移動量に相当）が発生するためである。そこで、位置ずれ補償部１２２は、動きベクトル１０６をそれぞれの間引き画像における読出し位置の移動量に基づいて補償し、補償後の動きベクトル１０７を取得する（ステップＳ１２０２）。ここでは、基準位置をシフトベクトルが（０、０）となる画像の位置として、動きベクトル１０６を補償する。例えば、図３（ａ）に示すようにシフトベクトルが（１、０）のピクチャＰｉｃ２に対応する間引き画像の動きベクトル１０６に対しては、拡大率が２倍であるとすると（０．５、０）の補償を行う。同様に、シフトベクトルが（１、１）の間引き画像の動きベクトル１０６に対しては（０．５、０．５）、シフトベクトルが（０、１）の間引き画像の動きベクトル１０６に対しては（０、０．５）の補償を行う。これによって、参照する間引き画像の位置が、画像拡大の対象となる間引き画像の位置に合うことになる。なお、基準位置をシフトベクトルが（０、０）と異なる位置の画像として構わない。続いて、画像拡大部１２３は、補償後の動きベクトル１０７に基づいて超解像の再構成処理を実施して画像を拡大し、拡大画像１０８を出力する（ステップＳ１２０３）。

なお、本実施の形態では、位置ずれ補償部１２２を位置合わせ部１２１と画像拡大部１２３との間に設け、位置合わせ後に読出し位置の移動量を補償し、その後画像拡大を行う構成としているが、これに限られるものではない。例えば、位置合わせ前に読出し位置の移動量を補償しても構わない。この場合には、位置ずれ補償部１２２は、混合画像間の読出し時の移動量を位置合わせ部１２１に入力し、間引き画像間の読出し時の移動量を画像拡大部１２３に入力する。そして、位置合わせ部１２１は、読出し時の移動量位置ずれを補償してから位置合わせを行う。また、画像拡大部１２３は、超解像の再構成処理を行う前に間引き画像における読出し時の移動量を補償する。

また、例えば、位置合わせ後に画像拡大を行って、その後読出し位置の移動量を補償しても構わない。この場合には、画像拡大後の画像を読出し位置の移動量に基づいて移動することになる。

図１０は、画像拡大後に読出し位置の移動量を補償する場合について説明する図であり、（ａ）間引き画像のピクチャＰｉｃ１からピクチャＰｉｃ４の読出し位置の移動量、（ｂ）画像拡大後のピクチャＰｉｃ１とピクチャＰｉｃ３の位置関係、（ｃ）基準位置に移動後のピクチャＰｉｃ３、を示す図である。間引き画像のピクチャＰｉｃ１と間引き画像のピクチャＰｉｃ３を水平、垂直方向共に２倍に拡大すると、拡大後の高解像度画像の座標において、図１０（ｂ）に示すようにピクチャＰｉｃ３は、ピクチャＰｉｃ１に対して水平、垂直方向共に正の方向に１画素分ずれている。従って、ピクチャＰｉｃ３の拡大画像の再生時には、水平、垂直方向共に負の方向に１画素ずらして、図１０（ｃ）に示すように基準位置となるＰｉｃ１の画素位置と揃えてから再生する。このとき、画像の左端、および上端の画素（図１０（ｂ）の領域１５０１）が空となる。ピクチャＰｉｃ３を超解像する場合、領域１５０１内の画素値は、ピクチャＰｉｃ３の近傍画素からの補間結果、あるいは、隣接ピクチャを位置合わせした結果により充填される。一方、図１０（ｂ）の領域１５０２に含まれる画素は不要となる。

以上のように、本実施の形態の画像拡大装置１００では、画像保存部１１０において、読出し位置をずらしながら混合画像と間引き画像を読み出すため、入力画像が静止している際にも、互いに小数画素の位置ずれを有する混合画像列、および間引き画像列を生成できる。また、画像再生部１２０では、画像保存部１１０によって発生させた読出し時の移動量に伴う位置ずれを利用して画像拡大するとともに、読出し時の移動量に起因する拡大画像の位置ずれを補償する。このように、画像拡大装置１００では、従来の画像拡大装置では、入力画像が静止しているために画像拡大時の画質が著しく低下していたケースにおいても、入力画像を高画質に拡大できる。

（実施の形態２）
次に本発明の実施の形態２に係る画像拡大装置２００について説明する。この画像拡大装置２００では、入力画像が静止しているか否かを判定し、静止していると判定した場合にのみ読出し位置をずらしながら混合画像および間引き画像を読み出すこととしている。

図１１は、実施の形態２に係る画像拡大装置２００の構成を示すブロック図である。なお、実施の形態１の画像拡大装置１００と同様の構成については同じ符号を付し、説明を省略する。

画像拡大装置２００は、本実施の形態１の画像拡大装置１００と同様に、２種類の低解像度画像を用いて画像の解像度を上げて拡大画像を出力するための装置であり、図１１に示すように画像保存部２１０、画像再生部１２０、およびメモリ１３０を備えている。画像拡大装置２００は、本実施の形態１の画像拡大装置１００に対して、画像保存部２１０の構成および動作が異なる。画像保存部２１０は、画像拡大装置１００の画像保存部１１０の構成に加えて、静止判定部２１２を備えている。

静止判定部２１２は、直前に読み出された所定の枚数の混合画像間で位置合わせを行い、この位置合わせ結果に基づいて入力画像が静止しているか否かを判定し、判定結果２０１を読出し位置決定部２１１に出力する。読出し位置決定部２１１は、判定結果２０１の値に基づいて混合画像および間引き画像の読出し位置を決めるシフトベクトルを決定する。すなわち、読出し位置決定部２１１は、入力画像が静止していると判定された場合にのみ混合画像および間引き画像の読出し位置が移動するように読出し位置を決定する。

図１２は、画像保存部２１０において入力画像毎の読出し動作を示すフローチャートである。まず、静止判定部２１２は、入力画像が静止しているか否かを判定する（ステップＳ２１０１）。静止判定部２１２は、判定時には、直前に読み出された所定の枚数の混合画像をメモリ１３０から取得し、所定の枚数の混合画像間で位置合わせを行う。そして、静止判定部２１２は、画像において動きを有すると判定される領域の割合が一定の閾値以下となる際に、入力画像が静止していると判定する。なお、画像拡大時には画像再生部１２０において混合画像を利用して位置合わせを行うため、画像拡大時における位置合わせ結果を用いて、入力画像が静止しているかどうかを判定してもよい。あるいは、撮影時に画像入力部１１１が静止している、つまり、デジタルスチルカメラなどを固定して動画像を撮影しているケースなどにおいては入力画像が静止していると判定してもよい。このとき、光学的手振れ補正などに使用されるジャイロなどにより画像入力部１１１の物理的な揺れを検出し、揺れの大きさが閾値以下である際に静止していると判定する。本方法では、画像内に動物体が含まれる場合にも入力画像が静止していると判定されてしまうなど判定の精度が低下する可能性があるが、簡易的な判定には利用できる。

静止判定部２１２による判定の結果、静止していると判定された場合（ステップＳ２１０１でＹｅｓ）には、読出し位置決定部２１１は、混合画像および間引き画像の読出し位置が移動するようにシフトベクトルを設定する（ステップＳ２１０２）。シフトベクトルの設定方法は、上記実施の形態１で説明した方法に従う。一方、静止判定部２１２による判定の結果、静止していないと判定された場合（ステップＳ２１０１でＮｏ）には、読出し位置決定部２１１は、シフトベクトルを基準位置（０、０）にセットし、基準位置の読出し画像を取得すると決定する（ステップＳ２１０３）。続いて、画像読出し部１１２は、読出し位置決定部２１１によって決定されたシフトベクトルに基づいて間引き画像を読み出し（ステップＳ１１０２）、同様にして混合画像を読み出す（ステップＳ１１０３）。

なお、読出し位置決定部２１１は、上記処理（ステップＳ２１０３）においてシフトベクトルを基準位置（０、０）にセットし、基準位置の読出し画像を取得すると決定しているが、これに限られるものではなく、シフトベクトルを基準位置とは異なる位置にセットし、この位置から入力画像を読み出すと決定してもよい。

また、静止判定部２１２は、入力画像が静止していると判定した区間を示す情報を、別途メモリ１３０に格納してもよい。また、画像再生部１２０は、入力画像が静止していると示される区間においては、位置合わせ部１２１における混合画像による位置合わせを行わずに、入力画像の読出し時の位置ずれのみに基づいて位置合わせを行い、間引き画像を拡大してもよい。

以上のように、本実施の形態２の画像保存部２１０では、入力画像が静止しているか否かを判定し、静止していると判定した場合にのみ、読出し位置をずらしながら混合画像と間引き画像を読み出すため、読出し位置が一定である画像の再生時には、読出し位置の補償が不要になるという効果が得られる。

（実施の形態３）
次に本発明の実施の形態３に係る画像拡大装置３００について説明する。この画像拡大装置３００では、読出し画像を高画質に再生するか否かを選択し、高画質に再生する場合には超解像により画像を拡大し、通常画質で再生する際にはフィルタ処理により画像を拡大して出力することとしている。

図１３は、実施の形態３に係る画像拡大装置３００の構成を示すブロック図である。なお、実施の形態１の画像拡大装置１００と同様の構成については同じ符号を付し、説明を省略する。

画像拡大装置３００は、本実施の形態１の画像拡大装置１００と同様に、２種類の低解像度画像を用いて画像の解像度を上げて拡大画像を出力するための装置であり、図１３に示すように画像保存部１１０、画像再生部３２０、およびメモリ１３０を備えている。画像拡大装置３００は、本実施の形態１の画像拡大装置１００に対して、画像再生部３２０の構成および動作が異なる。画像再生部３２０は、画像拡大装置１００の画像再生部１２０の構成に加えて、再生モード指示部３２２を備えている。

再生モード指示部３２２は、再生時に高画質で再生するか否かを示す再生画質指示信号３０１を位置ずれ補償部３２１および画像拡大部３２３に出力する。 画像拡大部３２３は、再生画質指示信号３０１により指定された再生モードに従って、混合画像あるいは間引き画像を拡大して出力する。すなわち、画像拡大部３２３は、高画質モードで再生する場合に、補償後の動きベクトル１０７に基づいて、メモリ１３０から取得した複数の間引き画像１０２を利用して超解像の再構成処理を行って画像を拡大する。また、画像拡大部３２３は、高画質モードで再生しない場合に、位置ずれ補償部３２１から入力された補償後の混合画像をフィルタ処理により拡大する。

なお、画像拡大部３２３、および位置ずれ補償部３２１は次のように動作してもよい。画像拡大部３２３は、再生画質指示信号３０１により指定された再生モードに従い、高画質モードで再生する場合には、位置ずれ補償部３２１から取得した補償後の動きベクトル１０７に基づき、メモリ１３０から読出した複数の間引き画像１０２を再構成して超解像し、拡大画像１０８を出力する。高画質モードで再生しない場合には、位置ずれ補償部３２１は、読出し位置の移動量を、補償後の動きベクトル１０７として画像拡大部３２３に出力する。画像拡大部３２３は、メモリ１３０から拡大対象のピクチャの混合画像１０３を読出して、位置ずれ補償部３２１から取得した読出し位置の移動量に基づいて位置ずれを補償し、フィルタ処理などにより補間拡大した後に、拡大画像１０８を出力する。

図１４は、画像再生部３２０の動作を示すフローチャートである。まず、再生モード指示部３２２は、高画質モードで再生するか否かを判定する（ステップＳ２２０１）。ここでは、高画質モードで再生するか否かは、予めユーザにより指定されるものとする。なお、画像再生部３２０の演算性能等に基づいて機器側で自動的に設定してもよい。再生モード指示部３２２による判定の結果、高画質モードで再生すると判定された場合（ステップＳ２２０１でＹｅｓ）には、画像拡大部３２３は、超解像により画像を拡大して出力する（ステップＳ２２０２）。一方、再生モード指示部３２２による判定の結果、高画質モードで再生しないと判定された場合（ステップＳ２２０１でＮｏ）には、位置ずれ補償部３２１は、混合画像の読出し時の移動量を補償し、補償後の混合画像を画像拡大部３２３へ出力する（ステップＳ２２０３）。次に、画像拡大部３２３は、バイキュービック法やニアレストネイバー法などのフィルタ処理により補償後の混合画像を拡大する（ステップＳ２２０４）。なお、画像拡大部３２３における拡大処理（ステップＳ２２０４）は、フィルタによる処理に限定されるものではなく、超解像に比べて演算量の低い他の方法であってもよいし、バイキュービック法で拡大した画像に強調フィルタをかけるなど、複数のフィルタ処理を組み合わせてもよい。また、画像拡大の対象を混合画像としたのは、間引き画像に比べてエイリアシングの影響が少なく、フィルタ処理による拡大に適しているためであるが、間引き画像を拡大してもよい。さらに、混合画像の読出し時の移動量の補償を、画像拡大部３２３における画像拡大の前で行うのではなく、画像拡大の後で拡大された拡大画像に対して行ってもよい。

以上のように、本実施の形態の画像再生部３２０では、画像拡大時の画質を選択できるため、高画質な拡大画像が要求される場合には超解像による拡大結果を出力し、その他の場合には演算負荷の低いフィルタ処理による拡大画像を出力することができ、高画質な拡大画像の出力と、低演算量での拡大画像の出力とを効果的に切り替えられるという効果が得られる。例えば、ユーザにより選択された特定の画像を超解像により高品質に拡大し、通常の動画再生時には低演算量のフィルタ処理による画像拡大を行うといった使い方が可能である。

以下に、実施の形態１から実施の形態３に関する変形例について述べる。
まず、各実施の形態において、画像保存部と画像再生部とは別々に実施してもよい。このとき、画像保存部は図８に示したようなファイルとして混合画像、間引き画像、およびヘッダ情報として記録し、画像再生部は前記記録されたファイルを読み込んで再生してもよい。

また、本実施の形態の画像拡大装置を画像符号化に応用してもよい。画像入力部において撮影した入力画像を符号化する際に、入力画像よりも低い解像度で混合画像と間引き画像を読み出し、読み出した混合画像と間引き画像をそれぞれ符号化する。このとき、読出し位置の移動量などの情報も、符号化データに含めてもよい。復号時には、まず混合画像と間引き画像を復号し、混合画像の位置合わせ結果を利用して間引き画像を超解像して出力する。例えば、入力画像の解像度を水平、垂直方向共に２分の１にして読み出せば、画像の面積は４分の１になる。従って、混合画像と間引き画像を合わせても合計の面積は２分の１であり、これら画像を符号化すれば、入力画像を元の解像度のままで符号化するよりも効率的にデータを圧縮できる。また、混合画像と間引き画像との間で画面間予測符号化時に動きの情報などを共用すれば、更なる圧縮率の向上を見込める。さらに、混合画像と間引き画像とを一本の符号化ストリームとして符号化してもよい。なお、復号時に、混合画像と間引き画像を共に使用することを示す、あるいは、混合画像と間引き画像とが同一ストリームに含まれていることを示すフラグ情報を符号化データに含めてもよい。また、復号画像を超解像して出力することを指示するフラグ情報についても、同様に符号化データに含めてもよい。

また、入力画像が静止していることが既知であれば、画像保存部は、読出し位置をずらしながら間引き画像のみを読み出してもよい。このとき、画像再生部は、読出し位置の移動量に基づいて位置合わせを行い、間引き画像を拡大する。

上記各実施の形態では、超解像を目的として複数画像の位置合わせを行ったが、複数枚の動画像を位置合わせして合成することにより、雑音を多く含む動画像の信号対雑音比を改善する（つまり、感度を向上する）ことも可能である。これは、ランダムに存在する雑音は、複数枚の画像を合成しても増幅されないが、原信号は、複数枚の画像を合成することで増幅できるためである。このように、超解像に利用する位置合わせ部を、感度向上など他の目的に使用してもよい。

（実施の形態４）
さらに、上記各実施の形態で示した画像拡大方法を実現するためのプログラムを、フレキシブルディスク等の記録媒体に記録するようにすることにより、上記各実施の形態で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。

図１５は、上記各実施の形態の画像拡大方法を、フレキシブルディスク等の記録媒体に記録されたプログラムを用いて、コンピュータシステムにより実施する場合の説明図である。

図１５（ｂ）は、フレキシブルディスクの正面からみた外観、断面構造、及びフレキシブルディスクを示し、図１５（ａ）は、記録媒体本体であるフレキシブルディスクの物理フォーマットの例を示している。フレキシブルディスクＦＤはケースＦ内に内蔵され、該ディスクの表面には、同心円状に外周からは内周に向かって複数のトラックＴｒが形成され、各トラックは角度方向に１６のセクタＳｅに分割されている。従って、上記プログラムを格納したフレキシブルディスクでは、上記フレキシブルディスクＦＤ上に割り当てられた領域に、上記プログラムが記録されている。

また、図１５（ｃ）は、フレキシブルディスクＦＤに上記プログラムの記録再生を行うための構成を示す。画像拡大方法を実現する上記プログラムをフレキシブルディスクＦＤに記録する場合は、コンピュータシステムＣｓから上記プログラムをフレキシブルディスクドライブを介して書き込む。また、フレキシブルディスク内のプログラムにより画像拡大方法を実現する上記画像拡大方法をコンピュータシステム中に構築する場合は、フレキシブルディスクドライブによりプログラムをフレキシブルディスクから読み出し、コンピュータシステムに転送する。

なお、上記説明では、記録媒体としてフレキシブルディスクを用いて説明を行ったが、光ディスクを用いても同様に行うことができる。また、記録媒体はこれに限らず、ＩＣカード、ＲＯＭカセット等、プログラムを記録できるものであれば同様に実施することができる。

以上、本発明に係る画像拡大装置および画像拡大方法について、上記各実施の形態に基づいて説明したが、本発明は、これら実施の形態に限定されるものではない。本発明の主旨を逸脱しない範囲内で、当業者が思いつく変形を本実施の形態に施したものも、本発明に含まれる。

例えば、本実施の形態における画像拡大装置を備える光ディスク記録装置、動画像送信装置、デジタルテレビ放送送出装置、Ｗｅｂサーバ、通信装置、携帯情報端末等や、本実施の形態における画像拡大装置を備える動画像受信装置、動画像記録装置、デジタルテレビ放送受信装置、通信装置、携帯情報端末等も、本発明に含まれるのは言うまでもない。ここで、動画像記録装置とはカムコーダやＷｅｂカメラ、動画撮影機能あるいは連写機能を有するデジタルスチルカメラなどを含む。

なお、ブロック図（図１、図１１及び図１３など）の各機能ブロックは典型的には集積回路であるＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）として実現される。これらは個別に１チップ化されても良いし、一部又は全てを含むように１チップ化されても良い。例えばメモリ以外の機能ブロックが１チップ化されていても良い。

ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサーで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。

さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。

また、各機能ブロックのうち、画像処理の対象となるデータを格納する部だけ１チップ化せずに別構成としても良い。

本発明によれば、撮像素子からの画像読出し位置をずらしながら混合画像と間引き画像を取得するという負荷の少ない方法により、被写体が静止している場合にも高画質な画像拡大を実現でき、デジタルスチルカメラなど撮像素子における画像データの読出し速度が制限される機器において、特にその実用性が高い。

実施の形態１の画像拡大装置の構成を示すブロック図である。 実施の形態１の画像保存部の動作を示すフローチャートである。 実施の形態１の画像保存部における画像読出し例を示す図であり、（ａ）シフトベクトルに従って読出し位置を移動させながら読み出す例、（ｂ）読み出された混合画像の座標における画素位置、を示す図である。 実施の形態１の画像保存部における画像読出し時の位置ずらし方法の例を示す図であり、（ａ）図３の例と同一の移動パターン、（ｂ）（ａ）に示す移動パターンを簡略化した図、（ｃ）他の移動パターンの例、（ｄ）（ｃ）に示す移動パターンを簡略化した図、（ｅ）他の移動パターンの例、（ｆ）（ｅ）に示す移動パターンを簡略化した図である。 実施の形態１の画像保存部における、読出し画像の縮小率に応じた画像読出し例を示す図であり、（ａ）混合画像の読出し位置の移動パターンの例、（ｂ）（ａ）の移動パターンで読み出された混合画像の座標における画素位置、を示す図である。 ベイヤー配列における画像読出し方法を示す図であり、（ａ）ベイヤー配列の基本単位、（ｂ）ベイヤー配列における９画素混合の例、（ｃ）９画素混合後の混合画素の、低解像度画像上での画素位置、を示す図である。 実施の形態１の画像保存部における、ベイヤー配列画素の画像読出し例を示す図であり、（ａ）シフトベクトルに従って読出し位置を移動させながら読み出す例、（ｂ）画素混合後の低解像度画像上での画素位置、を示す図である。 実施の形態１の画像保存部における記録データ例を示す図であり、（ａ）ストリームの構造、（ｂ）ヘッダの構造、を示す図である。 実施の形態１の画像再生部の動作を示すフローチャートである。 実施の形態１の画像再生部において画像拡大後に読出し位置の移動量を補償する場合について説明する図であり、（ａ）間引き画像の読出し位置の移動量、（ｂ）画像拡大後のピクチャの位置関係、（ｃ）基準位置に移動後のピクチャ、を示す図である。 実施の形態２の画像拡大装置の構成を示すブロック図である。 本実施の形態２の画像保存部の動作を示すフローチャートである。 実施の形態３の画像拡大装置の構成を示すブロック図である。 本実施の形態３の画像再生部の動作を示すフローチャートである。 上記各実施の形態の画像処理方法をコンピュータシステムにより実現するためのプログラムを格納するための記憶媒体についての説明図であり、（ａ） 記録媒体本体であるフレキシブルディスクの物理フォーマットの例を示した説明図、（ｂ） フレキシブルディスクの正面からみた外観、断面構造、及びフレキシブルディスクを示した説明図、（ｃ） フレキシブルディスクＦＤに上記プログラムの記録再生を行うための構成を示した説明図である。 従来の画像拡大装置の構成を示すブロック図である。 従来の画像拡大装置の画像保存部の動作を示すフローチャートである。 間引き画像および混合画像を説明するための図であり、（ａ）間引き画像、（ｂ）混合画像を説明するための図である。 従来の画像拡大装置の画像再生部の動作を示すフローチャートである。 従来の画像拡大装置の画像保存部における画像読出し例を示す図であり、（ａ）画素混合の例、（ｂ）読み出された混合画像の座標における画素位置、を示す図である。

符号の説明

１００、２００、３００ 画像拡大装置
１１０、２１０ 画像保存部
１２０、３２０ 画像再生部
１１１ 画像入力部
１１２ 画像読出し部
１１３、２１１ 読出し位置決定部
１２１ 位置合わせ部
１２２、３２１ 位置ずれ補償部
１２３、３２３ 画像拡大部
１３０ メモリ
２１２ 静止判定部
３２２ 再生モード指示部

Claims (10)

1. 撮影された入力画像から読み出された混合画像および間引き画像を用いて、画像の解像度を上げて拡大画像を出力する画像拡大方法であって、
   前記入力画像毎に、前記混合画像および前記間引き画像の読出し画素の位置が移動するように読出し位置を決定し、
   決定された前記読出し位置に従って、前記入力画像から、隣接する複数の画素の信号を混合して前記混合画像を読み出し、
   決定された前記読出し位置に従って、前記入力画像から、空間的に離れた画素の信号を間引いて前記間引き画像を読み出し、
   高画質に画像拡大を行うか否かを選択し、
   高画質に画像拡大を行うことが選択された場合に、
   複数の前記混合画像を位置合わせすることによって複数の前記混合画像における位置ずれ量を算出し、
   前記位置ずれ量を前記読出し位置の移動量に基づいて補償し、
   補償後の前記位置ずれ量に基づいて複数の前記間引き画像を位置合わせして再構成することによって、画像の解像度を上げて拡大画像を出力し、
   高画質に画像拡大を行うことが選択されなかった場合に、
   フィルタ処理により画像の解像度を上げて拡大画像を出力する
   ことを特徴とする画像拡大方法。
2. 撮影された入力画像から読み出された混合画像および間引き画像を用いて、画像の解像度を上げて拡大画像を出力する画像拡大装置であって、
   前記入力画像毎に、前記混合画像および前記間引き画像の読出し画素の位置が移動するように読出し位置を決定する読出し位置決定手段と、
   前記読出し位置決定手段によって決定された前記読出し位置に従って、前記入力画像から、隣接する複数の画素の信号を混合して前記混合画像を読み出すとともに、前記読出し位置に従って、前記入力画像から、空間的に離れた画素の信号を間引いて前記間引き画像を読み出す画像読出し手段と、
   高画質に画像拡大を行うか否かを選択する選択手段と、
   複数の前記混合画像を位置合わせすることによって複数の前記混合画像における位置ずれ量を算出する位置合わせ手段と、
   前記位置ずれ量を前記読出し位置の移動量に基づいて補償する位置ずれ補償手段と、
   画像の解像度を上げて拡大画像を出力する画像拡大手段とを備え、
   前記画像拡大手段は、高画質に画像拡大を行うことが選択された場合に、補償後の前記位置ずれ量に基づいて複数の前記間引き画像を位置合わせして再構成することによって、画像の解像度を上げて拡大画像を出力し、高画質に画像拡大を行うことが選択されなかった場合に、フィルタ処理により画像の解像度を上げて拡大画像を出力する
   ことを特徴とする画像拡大装置。
3. 撮影された入力画像から読み出された混合画像および間引き画像を用いて、画像の解像度を上げて拡大画像を出力するための集積回路であって、
   前記入力画像毎に、前記混合画像および前記間引き画像の読出し画素の位置が移動するように読出し位置を決定する読出し位置決定手段と、
   前記読出し位置決定手段によって決定された前記読出し位置に従って、前記入力画像から、隣接する複数の画素の信号を混合して前記混合画像を読み出すとともに、前記読出し位置に従って、前記入力画像から、空間的に離れた画素の信号を間引いて前記間引き画像を読み出す画像読出し手段と、
   高画質に画像拡大を行うか否かを選択する選択手段と、
   複数の前記混合画像を位置合わせすることによって複数の前記混合画像における位置ずれ量を算出する位置合わせ手段と、
   前記位置ずれ量を前記読出し位置の移動量に基づいて補償する位置ずれ補償手段と、
   画像の解像度を上げて拡大画像を出力する画像拡大手段とを備え、
   前記画像拡大手段は、高画質に画像拡大を行うことが選択された場合に、補償後の前記位置ずれ量に基づいて複数の前記間引き画像を位置合わせして再構成することによって、画像の解像度を上げて拡大画像を出力し、高画質に画像拡大を行うことが選択されなかった場合に、フィルタ処理により画像の解像度を上げて拡大画像を出力する
   ことを特徴とする集積回路。
4. 撮影された入力画像から読み出された混合画像および間引き画像を用いて、画像の解像度を上げて拡大画像を出力するためのプログラムであって、
   前記入力画像毎に、前記混合画像および前記間引き画像の読出し画素の位置が移動するように読出し位置を決定する読出し位置決定ステップと、
   前記読出し位置決定ステップによって決定された前記読出し位置に従って、前記入力画像から、隣接する複数の画素の信号を混合して前記混合画像を読み出すとともに、前記読出し位置に従って、前記入力画像から、空間的に離れた画素の信号を間引いて前記間引き画像を読み出す画像読出しステップと、
   複数の前記混合画像を位置合わせすることによって複数の前記混合画像における位置ずれ量を算出する位置合わせステップと、
   高画質に画像拡大を行うか否かを選択するステップと、
   前記位置ずれ量を前記読出し位置の移動量に基づいて補償する位置ずれ補償ステップと、
   高画質に画像拡大を行うことが選択された場合に、補償後の前記位置ずれ量に基づいて複数の前記間引き画像を位置合わせして再構成することによって、画像の解像度を上げて拡大画像を出力し、高画質に画像拡大を行うことが選択されなかった場合に、フィルタ処理により画像の解像度を上げて拡大画像を出力する画像拡大ステップと
   をコンピュータに実行させることを特徴とするプログラム。
5. 撮影された入力画像から読み出された混合画像および間引き画像を用いて、画像の解像度を上げて拡大画像を出力する画像拡大方法であって、
   前記入力画像毎に、前記混合画像および前記間引き画像の読出し画素の位置が移動するように読出し位置を決定し、
   決定された前記読出し位置に従って、前記入力画像から、隣接する複数の画素の信号を混合して前記混合画像を読み出し、
   決定された前記読出し位置に従って、前記入力画像から、空間的に離れた画素の信号を間引いて前記間引き画像を読み出し、
   複数の前記混合画像を位置合わせすることによって複数の前記混合画像における位置ずれ量を算出し、
   前記位置ずれ量を前記読出し位置の移動量に基づいて補償し、
   補償後の前記位置ずれ量に基づいて複数の前記間引き画像を位置合わせして再構成することによって、画像の解像度を上げて拡大画像を出力し、
   前記読出し位置は、画像読み出し時のフレームレート、あるいは、前記拡大画像の拡大率に基づいて決定される
   ことを特徴とする画像拡大方法。
6. 前記画像拡大方法は、さらに、
   高画質に画像拡大を行うか否かを選択し、
   高画質に画像拡大を行うことが選択された場合に、
   複数の前記混合画像を位置合わせすることによって複数の前記混合画像における位置ずれ量を算出し、
   前記位置ずれ量を前記読出し位置の移動量に基づいて補償し、
   補償後の前記位置ずれ量に基づいて複数の前記間引き画像を位置合わせして再構成することによって、画像の解像度を上げて拡大画像を出力し、
   高画質に画像拡大を行うことが選択されなかった場合に、
   フィルタ処理により画像の解像度を上げて拡大画像を出力する
   ことを特徴とする請求項５記載の画像拡大方法。
7. 撮影された入力画像から読み出された混合画像および間引き画像を用いて、画像の解像度を上げて拡大画像を出力する画像拡大装置であって、
   前記入力画像毎に、前記混合画像および前記間引き画像の読出し画素の位置が移動するように読出し位置を決定する読出し位置決定手段と、
   前記読出し位置決定手段によって決定された前記読出し位置に従って、前記入力画像から、隣接する複数の画素の信号を混合して前記混合画像を読み出すとともに、前記読出し位置に従って、前記入力画像から、空間的に離れた画素の信号を間引いて前記間引き画像を読み出す画像読出し手段と、
   複数の前記混合画像を位置合わせすることによって複数の前記混合画像における位置ずれ量を算出する位置合わせ手段と、
   前記位置ずれ量を前記読出し位置の移動量に基づいて補償する位置ずれ補償手段と、
   補償後の前記位置ずれ量に基づいて複数の前記間引き画像を位置合わせして再構成することによって、画像の解像度を上げて拡大画像を出力する画像拡大手段とを備え、
   前記読出し位置決定手段は、前記読出し位置を、画像読み出し時のフレームレート、あるいは、前記拡大画像の拡大率に基づいて決定する
   ことを特徴とする画像拡大装置。
8. 前記画像拡大装置は、さらに、
   高画質に画像拡大を行うか否かを選択する選択手段を備え、
   高画質に画像拡大を行うことが選択された場合に、
   前記位置合わせ手段は、複数の前記混合画像を位置合わせすることによって複数の前記混合画像における位置ずれ量を算出し、
   前記位置ずれ補償手段は、前記位置ずれ量を前記読出し位置の移動量に基づいて補償し、
   前記画像拡大手段は、補償後の前記位置ずれ量に基づいて複数の前記間引き画像を位置合わせして再構成することによって、画像の解像度を上げて拡大画像を出力し、
   高画質に画像拡大を行うことが選択されなかった場合に、
   前記画像拡大手段は、フィルタ処理により画像の解像度を上げて拡大画像を出力する
   ことを特徴とする請求項７記載の画像拡大装置。
9. 撮影された入力画像から読み出された混合画像および間引き画像を用いて、画像の解像度を上げて拡大画像を出力するためのプログラムであって、
   前記入力画像毎に、前記混合画像および前記間引き画像の読出し画素の位置が移動するように読出し位置を決定する読出し位置決定ステップと、
   前記読出し位置決定ステップによって決定された前記読出し位置に従って、前記入力画像から、隣接する複数の画素の信号を混合して前記混合画像を読み出すとともに、前記読出し位置に従って、前記入力画像から、空間的に離れた画素の信号を間引いて前記間引き画像を読み出す画像読出しステップと、
   複数の前記混合画像を位置合わせすることによって複数の前記混合画像における位置ずれ量を算出する位置合わせステップと、
   前記位置ずれ量を前記読出し位置の移動量に基づいて補償する位置ずれ補償ステップと、
   補償後の前記位置ずれ量に基づいて複数の前記間引き画像を位置合わせして再構成することによって、画像の解像度を上げて拡大画像を出力する画像拡大ステップとを含み、
   前記読出し位置は、画像読み出し時のフレームレート、あるいは、前記拡大画像の拡大率に基づいて決定され、
   前記読出し位置決定ステップと、前記画像読出しステップと、前記位置合わせステップと、位置ずれ補償ステップと、前記画像拡大ステップとをコンピュータに実行させることを特徴とするプログラム。
10. 前記プログラムは、さらに、
    高画質に画像拡大を行うか否かを選択するステップを含み、
    高画質に画像拡大を行うことが選択された場合に、
    前記位置合わせステップにおいて、複数の前記混合画像を位置合わせすることによって複数の前記混合画像における位置ずれ量を算出し、
    前記位置ずれ補償ステップにおいて、前記位置ずれ量を前記読出し位置の移動量に基づいて補償し、
    前記画像拡大ステップにおいて、補償後の前記位置ずれ量に基づいて複数の前記間引き画像を位置合わせして再構成することによって、画像の解像度を上げて拡大画像を出力し、
    高画質に画像拡大を行うことが選択されなかった場合に、
    前記画像拡大ステップにおいてフィルタ処理により画像の解像度を上げて拡大画像を出力する
    ことを特徴とする請求項９記載のプログラム。

Images