以下、本発明の実施形態を、図面を用いて説明する。なお、各図面において、同じ符号が付されている構成要素は同じ機能を有する。
(第1の実施形態)
図1は、本発明の第1の実施形態の画像転送システムを示すブロック図である。
画像転送システムは、画像送信装置100、伝送路110、画像受信装置120、及び、伝送路130を備える。画像送信装置100は、伝送路110を介して、画像受信装置120に接続される。
画像送信装置100は、入力部101、水平縮小部102、符号化部103、及び、送信部104を有する。
画像送信装置100は、プロセッサ、及び、メモリ等を備える計算機であってもよく、入力部101、水平縮小部102、符号化部103、及び、送信部104等の機能をプログラムによって実装してもよい。また、画像送信装置100は、入力部101、水平縮小部102、符号化部103、及び、送信部104等の機能を、LSI等の素子によって実装してもよい。
また、画像送信装置100は、管理者等によって、画像送信装置100において用いられるパラメータを入力するための入力装置を備えてもよい。
入力部101には、例えば、テレビジョン放送信号などの動画像のフィールド画像が入力される。また、入力部101に、符号化された符号化ストリームが入力された場合、入力部101は、入力された符号化ストリームを復号し、復号されたストリームの中から、動画像のフィールド画像を抽出する。
水平縮小部102は、入力部101から送信されるフィールド画像の水平方向の画素数を減らすための機能である。すなわち、水平縮小部102は、フィールド画像を水平方向に縮小する。水平縮小部102の詳細を、図2A及び図2Bに後述する。
符号化部103は、水平縮小部102によって水平方向に縮小されたフィールド画像を符号化する機能である。送信部104は、符号化部103によって符号化されたフィールド画像を、伝送路110を介して画像受信装置120に送信する機能である。画像送信装置100が放送局の送信装置である場合、送信部104は、画像符号化データを、電波等によって送信する。
伝送路110は、符号化された画像を含む画像符号化データを送信するための伝送路である。また、伝送路110は、通信のための伝送路だけでなく、放送、又は、蓄積のための伝送路であってもよい。
画像受信装置120は、受信部121、復号化部122、水平拡大部123、超解像部124、表示部125、及び、送信部126を有する。
画像受信装置120は、プロセッサ、及び、メモリ等を備える計算機であってもよく、受信部121、復号化部122、水平拡大部123、超解像部124、表示部125、及び、送信部126等の機能をプログラムによって実装してもよい。また、画像受信装置120は、受信部121、復号化部122、水平拡大部123、超解像部124、表示部125、及び、送信部126等の機能を、LSI等の素子によって実装してもよい。
また、画像受信装置120は、管理者等によって、画像受信装置120において用いられるパラメータを入力するための入力装置を備えてもよい。
受信部121は、画像送信装置100から送信されたフィールド画像を受信するための機能である。画像受信装置120が放送受信装置などである場合、電波等によって送信された画像符号化データを受信する。
復号化部122は、画像送信装置100の符号化部103によって符号化されたフィールド画像を復号化するための機能である。復号化部122は、受信部121によって受信された画像符号化データを復号し、フィールド画像を生成する。
水平拡大部123は、水平縮小部102によって水平方向に縮小されたフィールド画像の水平方向の画素数を増やすための機能である。すなわち、水平拡大部123は、フィールド画像を水平方向に拡大する。水平拡大部123の詳細を、図2Cに後述する。
超解像部124は、水平拡大部123から受信したフィールド画像の解像度をあげるための機能である。超解像部124の詳細を、図3又は図8に後述する。
表示部125は、フィールド画像を画像として表示するための機能である。表示部125は、水平拡大部123及び超解像部124によって高解像度化されたフィールド画像を表示する。表示部125には、例えば、プラズマディスプレイパネル、液晶表示パネル、又は、電子若しくは電解放出型ディスプレイパネルが用いられる。
送信部126は、水平拡大部123及び超解像部124によって高解像度化されたフィールド画像を伝送路130を介して送信するための機能である。送信部126は、フィールド画像を、伝送路130を介して他の機器等に送信する。
図2A及び図2Bは、本発明の第1の実施形態の水平縮小部102を示すブロック図である。
水平縮小部102は、画素数(すなわち、サンプル数)を変換する画素変換機能を有する。水平縮小部102は、一般的に、ポリフェーズ型、又は、オーバサンプリング型によって実装される。
図2Aは、本発明の第1の実施形態のポリフェーズ型の水平縮小部102を示すブロック図である。
図2Aに示すポリフェーズ型の水平縮小部102は、複数の補間ローパスフィルタ部201と、切替部202とを有する。
水平方向の画素数を変換率m/n倍(ただし、m、nはともに整数)によって変換する場合、図2Aに示す水平縮小部102は、所定の周波数特性を持った補間ローパスフィルタ部201をm個有する。そして、切替部202は、補間ローパスフィルタ部201の出力を、整数mと整数nとによって定められた順番に従って出力されるように、切り替わる。
図2Bは、本発明の第1の実施形態のオーバサンプリング型の水平縮小部102を示すブロック図である。
図2Bに示すオーバサンプリング型の水平縮小部102は、アップサンプリング部203、補間ローパスフィルタ部204、及び、ダウンサンプリング部205を有する。水平方向の画素数を変換率m/n倍によって変換する場合、アップサンプリング部203は、まず、フィールド画像に含まれるサンプル数を、m倍にアップサンプリングする。
具体的には、アップサンプリング部203は、フィールド画像の入力データを整数m個の画素ごとに順番に水平方向に配置する。そして、その間の(m−1)個の画素に”0”を挿入する。
その後、補間ローパスフィルタ部204は、アップサンプリング部203から送信されたデータに、所定の周波数特性によってフィルタリングする。さらに、ダウンサンプリング部205は、補間ローパスフィルタ部204から送信された入力データを、1/n倍にダウンサンプリングする。すなわち、整数n個の画素ごとに1画素を等間隔に選択して間引きした後、間引きされた入力データを出力する。
図2Bに示す水平縮小部102の機能は、一般的に用いられる方法によって実装されてよい。第1の実施形態の補間ローパスフィルタ部204は、カットオフ周波数の値を保持する。また、第1の実施形態のアップサンプリング部203は、アップサンプリングに用いる整数mを保持し、ダウンサンプリング部205は、ダウンサンプリングに用いる整数nを保持する。
補間ローパスフィルタ部204は、サンプリング周波数からカットオフ周波数分離れた周波数帯域(通過帯域)以外の周波数帯域の成分を削除する。本実施形態の水平縮小部102が用いるカットオフ周波数及び変換率は、あらかじめ管理者等によって定められる。
画像送信装置100の符号化部103は、水平縮小部102によって縮小された画像を圧縮し、そして、圧縮された画像を符号化する。符号化部103には、映像信号を圧縮する映像符号化方法であれば、いずれの映像符号化方法が用いられてもよい。例えば、MPEG−2、MPEG−4、又は、H.264/AVCなどの映像符号化方法が用いられてもよい。また、伝送路110が十分な通信帯域を保持している場合、又は、遅延を可能な限り小さくする場合、符号化部103は、画像を符号化しなくてもよい。
本発明の実施形態によれば、水平縮小部102によって水平方向に縮小されたフィールド画像を圧縮するため、水平縮小部102を含まない画像転送システムと比較した場合、圧縮率の向上が期待できる。
図2Cは、本発明の第1の実施形態の水平拡大部123を示すブロック図である。
図2Cに示す水平拡大部123の構成は一例である。図2Cに示す水平拡大部123は、複数枚の画像間で被写体が動いたことによって生じる位相差を抽出し、高解像度化するための機能を有する。
水平拡大部123は、位置推定部221、動き補償部222、水平拡大部223、及び、水平拡大部224を有する。図2Cに示す水平拡大部123は、二つの画像(フィールド画像#1及びフィールド画像#2)を入力され、二つのフィールド画像間を動き補償し、二つのフィールド画像を出力する。
なお、二つのフィールド画像は、受信部121が連続して受信する画像符号化データから取得された画像である。なお、フィールド画像#2は、フィールド画像#1よりも早い時間に受信したフィールド画像でもよく、フィールド画像#2よりも遅い時間に受信したフィールド画像でもよい。
また、水平拡大部123は、バッファ等に接続され、フィールド画像#1又はフィールド画像#2のうちいずれか早く受信したフィールド画像を、水平拡大部123に接続されるバッファに蓄える。そして、遅く受信したフィールド画像とともに、早く受信したフィールド画像を処理する。
第1の実施形態において、水平拡大部123及び超解像部124は、フィールド画像#1を高解像度化する。
位置推定部221は、まず、復号化部122によって復号された画像(フィールド画像#1及びフィールド画像#2)に含まれる画素の標本化位置を各々取得する。そして、フィールド画像#1の画素とフィールド画像#2の画素との標本化位置を比較することによって、フィールド画像#1の画素の、フィールド画像#2の画素に対応する位置を推定する。そして、推定された位置に基づいて、画素ごとのサンプリング位相差θを求める。
次に、動き補償部222は、位置推定部221によって求められたサンプリング位相差θを用いて、位置ずれが無くなるようにフィールド画像#2の画像を動き補償する。
そして、水平拡大部224は、高解像度化する対象の画像(フィールド画像#1)の水平方向の画素数を増やす。また、水平拡大部223は、他の画像(フィールド画像#2)の水平方向の画素数を増やす。
位置推定部221には、参考文献1又は参考文献2に記載された方法が用いられる。
[参考文献1]Shigeru ANDO "A Velocity Vector Field Measurement System Based on Spatio-Temporal Image Derivative", Papers of Measurement Automatic Control Academic Society, pp.1330-1336, Vol.22, No. 12,1986
[参考文献2]Hiroyuki KOBAYASHI et al. "Calculation Method of a Phase-Only Correlation Function for Images Based on Discrete Cosine Transform", IEICE Technical Report ITS2005-92, IE2005-299(2006-02), pp.73-78
水平拡大部224及び水平拡大部223は、水平方向の画素数を増やすため、図2A又は図2Bに示す水平縮小部102と同じ機能を有する。第1の実施形態の水平縮小部102において、変換率の整数mと整数nとは、m<nに定められるが、第1の実施形態の水平拡大部224及び水平拡大部223において、変換率の整数mと整数nとは、m>nに定められる。
第1の実施形態の水平拡大部224及び水平拡大部223が用いるカットオフ周波数及び変換率は、あらかじめ管理者等によって定められる。管理者等は、水平拡大部224及び水平拡大部223による処理の後、フィールド画像の水平方向の各折返し成分と垂直方向の折返し成分とが重ならず、かつ、折返し成分が残るようなカットオフ周波数及び変換率を定める。
水平拡大部224及び水平拡大部223が図2Aに示す水平縮小部102と同じ機能を有する場合、管理者等は、水平方向の画素数が増えるように、補間ローパスフィルタ部201のm個の値を定める。また、水平拡大部224及び水平拡大部223が図2Bに示す水平縮小部102と同じ機能を有する場合、管理者等は、水平方向の画素数が増えるように、アップサンプリング部203が用いる整数m及びダウンサンプリング部205が用いる整数nの値を定める。
なお、超解像部124が一つのフィールド画像#1だけを高解像度化する場合、水平拡大部123は、位置推定部221、動き補償部222、及び、水平拡大部223を有する必要はない。すなわち、超解像部124が一つのフィールド画像#1だけを高解像度化する場合、水平拡大部123は、図2A又は図2Bに示す水平縮小部102と同じでよい。
超解像部124は、水平拡大部123から送信される画像の高解像度化処理を行う。第1の実施形態の超解像部124は、二つの画像(フィールド画像#1及びフィールド画像#2)を水平拡大部123から送信されるが、本発明の超解像部124は、一つの画像を送信されてもよい。
また、超解像部124に送信されるフィールド画像は、輝度成分と二つの色差成分とを含んでもよく、赤成分、緑成分、及び、青成分を含んでもよい。本実施形態における超解像部124は、前述の成分ごとに超解像処理(すなわち、折返し成分の除去処理)を実行するか否かを判定する機能、及び、判定するためのパラメータを保持してもよい。
具体的には、超解像部124が輝度成分又は色差成分によって、折返し成分を除去するか否かを判定する場合、超解像部124は、フィールド画像に含まれる画素ごとに、輝度成分又は色差成分を判定する機能を保持してもよい。また、超解像部124は、画像送信装置100に備わるメモリ等に格納されたパラメータに従って、いずれの輝度成分又は色差成分の画素の折返し成分を除去するかを判定する機能を保持してもよい。
第1の実施形態の超解像部124は、以下の図3又は図8の機能を有する。
図3は、本発明の第1の実施形態の超解像部124の第1の構成例を示すブロック図である。
超解像部124は、折返し成分除去部301、直線角度算出部302、混合部303、及び、位相シフト部310を有する。
図3に示す超解像部124は、二つのフィールド画像(フィールド画像#1及びフィールド画像#2)が入力される。水平拡大部123から送信されたフィールド画像#1及びフィールド画像#2は、位相シフト部310に入力される。また、水平拡大部123から送信されたフィールド画像#1は、直線角度算出部302及び混合部303に入力される。さらに、水平拡大部123から送信されたサンプリング位相差θは、折返し成分除去部301に入力される。
位相シフト部310は、入力されたフィールド画像の位相を一定量だけシフトしたフィールド画像を生成する。本実施形態において、位相シフト部310は、フィールド画像の位相を一定量だけシフトするため、受信した二つのフィールド画像を各々二つに分岐させ、これによって、合計四つのフィールド画像を生成する方法を用いる。
具体的には、本実施形態の位相シフト部310は、π/2位相シフト器及び遅延器を有する。π/2位相シフト器は、分岐された一方のフィールド画像の位相をπ/2シフトする。そして、遅延器は、π/2位相シフト器の処理によって生じる遅延分、分岐された他方のフィールド画像も遅延させることによって、分岐された他方のフィールド画像を補償する。
位相シフト部310は、π/2位相シフト器によって位相がπ/2ずらされたフィールド画像#1(フィールド画像#A)と、π/2位相シフト器によって生じる遅延を遅延器によって補償されたフィールド画像#1(フィールド画像#B)と、π/2位相シフト器によって位相をπ/2ずらされたフィールド画像#2(フィールド画像#C)と、π/2位相シフト器によって生じる遅延を遅延器によって補償されたフィールド画像#2(フィールド画像#D)と、を生成する(例えば、特許文献2参照)。
そして、位相シフト部310は、生成された四つのフィールド画像#A〜フィールド画像#Dを、折返し成分除去部301に送信する。
折返し成分除去部301は、位相シフト部310から送信される画像(フィールド画像#A〜フィールド画像#D)と、水平拡大部123の位置推定部221から送信された画素ごとのサンプリング位相差θと、に基づいて、周波数スペクトルにおける折返し成分を全て除去する。これによって、折返し成分除去部301は、フィールド画像#A〜フィールド画像#Dに基づいて、フィールド画像#1の原成分だけを抽出する。
第1の構成例の超解像部124における折返し成分除去部301には、複数のフィールド画像に含まれる被写体の位置の差に基づいて、画像内の動き方向の折返し成分を除去する方法を用いる(例えば、特許文献2参照)。これによって、折返し成分除去部301は、フィールド画像#1の原成分を、混合部303に送信する。
直線角度算出部302は、水平拡大部123から送信されたフィールド画像(フィールド画像#1)に表示される直線又はエッジの向き(角度304)を、フィールド画像#1の画素ごとに算出する。直線又はエッジの向き(角度304)を画素ごとに算出する方法には、例えば、ハフ変換などの従来技術が用いられる。
混合部303は、水平拡大部123から送信される画像(折返し成分を含む)と折返し成分除去部301から送信される画像(折返し成分を含まない)とを、直線角度算出部302から送信される角度304に従って合成する。具体的には、角度304に従って定められた比率によって、フィールド画像#1及びフィールド画像#2を画素ごとに合成する。そして、混合部303は、一つのフィールド列、すなわち、フィールド画像を出力する。
なお、超解像部124は、バッファに接続されてもよい。そして、折返し成分除去部301は、受信したサンプリング位相差θに対応する画素の折返し成分を除去するため、受信したフィールド画像又はサンプリング位相差θを一時的にバッファに格納してもよい。また、混合部303は、受信した角度304に対応する、フィールド画像#1の画素と折返し成分を除去されたフィールド画像#1の画素とを、合成するため、バッファに受信した角度304、フィールド画像#1又は折返し成分を除去されたフィールド画像#1を一時的に格納してもよい。
また、第1の実施形態の超解像部124は、二つのフィールド画像を用いることによって、一つのフィールド画像を高解像度化したが、本発明の超解像部124は、一つのフィールド画像を用いて、一つのフィールド画像を高解像度化してもよい。一つのフィールド画像を用いる場合、超解像部124の位相シフト部310は不要であり、折返し成分除去部301へのサンプリング位相差θの入力も不要である。
また、第1の構成例の超解像部124は、いずれの輝度成分又は色差成分を持つ画素の折返し成分を除去するか否かを判定した後、判定された結果に従って、混合部303に、各画素の折返し成分を除去させてもよい。
図4は、本発明の第1の実施形態の混合部303を示すブロック図である。
混合部303は、係数算出部401、乗算器402、乗算器403、及び、加算器404を有する。乗算器402は、入力されたフィールド画像#1の各画素に、各画素に対応する係数α(値域は0〜1)を乗算し、乗算結果を加算器404に送信する。また、乗算器403は、折返し成分除去部301から送信された原成分のみのフィールド画像#1の各画素に、各画素に対応する係数(1−α)を乗算し、乗算結果を加算器404に送信する。
加算器404は、乗算器402及び乗算器403から送信された各画素を加算し、加算された結果を表示部125又は送信部126に送信する。係数算出部401は、係数αと係数(1−α)を、直線角度算出部302から送信された角度304を用いて生成する。そして、係数算出部401は、係数αを乗算器402に送信し、係数(1−α)を乗算器403に送信する。
乗算器402に入力されるフィールド画像#1には折返し成分が含まれ、乗算器403に入力されるフィールド画像#1は、原成分のみである。このため、係数αの値に従って、折返し成分と原成分とを加算することによって、本実施形態の超解像部124は、より高解像度のフィールド画像を取得できる。
以下、係数算出部401及び係数αの具体例について図5A〜図5Cを用いて説明する。
図5Aは、本発明の第1の実施形態の角度304を示す説明図である。
図5Aは、斜め線が表示される画像を示し、画像の水平方向をx軸によって示し、画像の垂直方向をy軸によって示す。角度304は、画像の斜め線が水平方向(x軸)と並行である場合、0(rad)であり、垂直方向(y軸)と並行である場合、π/2(rad)である。水平方向と斜め線との間の角度は、図5Aに示すx軸からの偏差(範囲は0〜π/2)によって示される。
図5Bは、本発明の第1の実施形態の空間周波数スペクトルを示す説明図である。
図5Bの空間周波数スペクトル(すなわち、周波数スペクトル)は、横軸が水平周波数μであり、縦軸が垂直周波数νである表によって示される。図5Aに示す画像は、フーリエ変換によって図5Bに示す空間周波数スペクトルに変換される。
以下に示す例は、角度304が0〜π/2radである場合における具体例である。図5Aの角度304の値が小さい程、すなわち、0radに近い程、図5Aの斜め線は、水平周波数μの軸より垂直周波数νの軸が近い領域に含まれる点に変換される。
また、角度304の値がπ/2radに近い程(垂直方向に並行する程)、空間周波数スペクトル上において、垂直周波数νの軸より水平周波数μの軸が近い側の領域に含まれる点に変換される。
図5Bに示す領域(2)は、角度304がπ/4radに近い場合において、角度304が変換される領域である。
すなわち、図5Aの斜め線がx軸と並行になる程(画像において、横線に近い程)、図5Aの斜め線は、図5Bに示す領域(1)に変換される。すなわち、図5Aの斜め線がy軸と並行になる程(画像において、縦線になる程)図5Aの斜め線は、図5Bに示す領域(3)に変換される。
図5Cは、本発明の第1の実施形態の角度304と係数αとの対応を示す説明図である。
係数αは、係数算出部401によって定められる。係数αの値が0.0の場合、加算器404による出力には、折返し成分除去部301の出力、すなわち、原成分がすべて含まれる。また、係数αの値が1.0に近い値である場合、加算器404による出力には、折返し成分除去前の画像(フィールド画像#1)の割合が増える。すなわち、係数αの値が1.0に近い値である場合、加算器404による出力には、折返し成分除去の効果が小さくなり、折返し成分が多く含まれる。
前述のように、画像転送システムは、画像におけるノイズを除去するために、水平方向の折返し成分を除去し、垂直方向の折返し成分を残すことが望ましい。
第1の構成例の超解像部124における係数算出部401は、角度304が小さい値である程、垂直方向の折返し成分が多く含まれるため、係数αを1に近い値に定める。これによって、加算器404は、垂直方向の折返し成分を残した画像を出力できる。
また、第1の構成例の超解像部124における係数算出部401は、角度304が大きい値である程、水平方向の折返し成分が多く含まれるため、係数αを0に近い値に定める。これによって、加算器404は、水平方向の折返し成分を除去した画像を出力できる。
図5Cに示す項目(1)は、角度304が0〜3π/16radであり、図5Bの領域(1)を示す。また、図5Cに示す項目(2)は、角度304が3π/16rad〜π/4radであり、図5Bの領域(2)を示す。また、図5Cに示す項目(3)は、角度304がπ/4rad〜π/2radであり、図5Bでは領域(3)に該当する。
図5Cの項目(1)において、係数αは1であり、項目(2)において係数αは0.5である。また、図5Cの項目(3)において、係数αは0である。角度304と係数αとの対応は、管理者等によってあらかじめ定められ、係数算出部401によって保持される。
図5Cに示す角度304と係数αとの対応が、係数算出部401によって保持されることによって、図5Bの領域(1)に生じた折返し成分は除去されず、図5Bの領域(2)に生じた折返し成分は、弱められ、図5Bの領域(3)に生じた折返し成分は、除去される。
次に、図6〜図7において、本発明の画像転送システムの高解像度化処理によって生成される画像を、周波数スペクトルを用いて説明する。
図6A〜図6Dは、m=2、n=3の条件において、水平縮小部102が画像の水平方向の画素数を減らす(解像度を低くする)処理における、各処理部からの出力の周波数スペクトルを示す。図6A〜図6Dにおいて、水平縮小部102は、図2Bに示すオーバサンプリング型であり、アップサンプリング部203、補間ローパスフィルタ部204、及び、ダウンサンプリング部205を有する。
図6A〜図6Dに示す図の横軸は水平周波数μであり、縦軸は垂直周波数νであり、黒丸は水平方向のサンプリング位置(周波数)600を示す。また、水平方向のサンプリング周波数はμs毎の周波数であり、垂直方向のサンプリング周波数はνs毎の周波数である。
図6Aは、本発明の第1の実施形態の水平縮小部102に入力される画像の周波数スペクトルを示す説明図である。
図6Aに示す周波数スペクトルは、水平縮小部102に入力されるフィールド画像を示す。フィールド画像の垂直周波数成分には、インタレース化に伴って垂直方向のナイキスト周波数(νs/2)以上の周波数成分が含まれているものと想定する。また、水平周波数成分には、ナイキスト周波数(μs/2)以上の周波数成分は含まれていないものと想定する。
入力部101から出力されるフィールド画像を、水平方向に2/3倍縮小するため、水平縮小部102は、アップサンプリング部203による水平方向への2倍アップサンプリング、補間ローパスフィルタ部204によるフィルタリング、及び、ダウンサンプリング部205による1/3倍ダウンサンプリングを行う。
図6Bは、本発明の第1の実施形態の水平縮小部102のアップサンプリング部203による出力の周波数スペクトルを示す説明図である。
図6Bに示す周波数スペクトルは、m=2の条件における、水平縮小部102のアップサンプリング部203の出力を示す。図6Bに示すとおり、アップサンプリング部203による処理の結果、図6Aに示す水平方向のサンプリング位置の間隔がμsから2μsに広がる。
図6Cは、本発明の第1の実施形態の水平縮小部102の補間ローパスフィルタ部204による出力の周波数スペクトルを示す説明図である。
図6Cに示す周波数スペクトルは、水平縮小部102の補間ローパスフィルタ部204の出力を示す。第1の実施形態の水平縮小部102の補間ローパスフィルタ部204が保持するカットオフ周波数は、μs/3より大きく、2μs/3より小さい値である。通過帯域630は、補間ローパスフィルタ部204がカットオフ周波数を用いることによって残された周波数帯域である。
水平縮小部102の補間ローパスフィルタ部204は、図6Bに示す水平方向の周波数スペクトルのうちサンプリング周波数(図6Cにおいて、μ=0、μ=2μs等)の近傍の周波数だけを残し、その他の周波数の成分を削除する。図6Cにおいて、カットオフ周波数はμs/2である。
補間ローパスフィルタ部204のカットオフ周波数は、図6Dに示すダウンサンプリング部205の出力の周波数スペクトルにおいて、インタレース化に伴う垂直方向の折返し成分641と水平方向の折返し成分640とに重なりが生じないような値に、あらかじめ管理者等によって定められる。そして定められたカットオフ周波数は、補間ローパスフィルタ部204によって保持される。
図6Dは、本発明の第1の実施形態の水平縮小部102のダウンサンプリング部205の出力の周波数スペクトルを示す説明図である。
図6Dに示す周波数スペクトルは、n=3の条件における、水平縮小部102のダウンサンプリング部205の出力を示す。図6Dのとおり、ダウンサンプリング部205によって、水平方向のサンプリング周波数は、μs’(=2μs/3)毎の周波数に定められる。このサンプリング周波数の間隔に、補間ローパスフィルタ部204の出力の周波数成分が順に配置される。その結果、補間ローパスフィルタ部204によってフィルタリングされた周波数帯域分、フィールド画像の水平方向が縮小される。
図6Dに示す周波数スペクトルの楕円のうち、ν軸上に平行して配置される楕円の重なりが、インタレース化に伴う垂直方向の折返し成分641を示す。また、μ軸に平行して配置される楕円の重なりが、水平方向の折返し成分640を示す。
なお、管理者等は、μs/3より大きく2μs/3より小さい範囲の値であり、かつ、インタレース化に伴う垂直方向の折返し成分641と水平方向の折返し成分640に重なりが生じないような値に、補間ローパスフィルタ部204のカットオフ周波数を定める。これによって、インタレース化に伴う垂直方向の折返し成分641と重なりのない水平周波数μs/3の近傍で折返し成分640が発生する。
管理者等は、前述のように、水平縮小部102による処理の後、フィールド画像の水平方向の折返し成分と垂直方向の折返し成分とが重ならず、かつ、折返し成分が残るようなカットオフ周波数及び変換率を定める。
図7A〜図7Dは、水平拡大部123がm=3、n=2の条件において、水平方向の解像度を増やす(画素数を増やす)際の周波数スペクトルを示す。図7A〜図7Dにおいて、水平拡大部123は、水平縮小部102と同じく、図2Bに示すオーバサンプリング型であり、アップサンプリング部203、補間ローパスフィルタ部204、及び、ダウンサンプリング部205を有する。
図7A〜図7Dに示す図の横軸は水平周波数μであり、縦軸は垂直周波数νであり、黒丸は水平方向のサンプリング位置(周波数)700である。
図7Aは、本発明の第1の実施形態の水平拡大部123に入力される画像の周波数スペクトルを示す説明図である。
図7Aに示す周波数スペクトルは、水平縮小部102から送信された画像が、符号化部103、送信部104、伝送路110、受信部121、及び、復号化部122を介して、水平拡大部123に入力される際の、入力される画像の周波数スペクトルを示す。このため、本実施形態において、図7Aに示す周波数スペクトルと、水平縮小部102から送信される図6Dに示す周波数スペクトルとは同じである。
水平拡大部123は、画像を水平方向に3/2倍拡大するため、水平方向にアップサンプリング部203による3倍アップサンプリング、補間ローパスフィルタ部204によるフィルタリング、及び、ダウンサンプリング部205による1/2倍ダウンサンプリングを行う。
図7Bは、本発明の第1の実施形態の水平拡大部123のアップサンプリング部203による出力の周波数スペクトルを示す説明図である。
図7Bに示す周波数スペクトルは、m=3の条件における、水平拡大部123のアップサンプリング部203の出力を示す。図7Bに示すとおり、アップサンプリング部203による処理の結果、図7Aに示す水平方向のサンプリング位置の間隔が2μs/3から2μsに広がる。
図7Cは、本発明の第1の実施形態の水平拡大部123の補間ローパスフィルタ部204による出力の周波数スペクトルを示す説明図である。
図7Cに示す周波数スペクトルは、水平拡大部123の補間ローパスフィルタ部204の出力を示す。第1の実施形態の水平拡大部123の補間ローパスフィルタ部204のカットオフ周波数は、μs/2である。また、水平拡大部123の補間ローパスフィルタ部204は、図7Bに示す水平方向の周波数スペクトルのうちサンプリング周波数(図7Cにおいて、μ=0、μ=2μs等)の近傍の周波数(通過帯域730)だけを残し、その他の周波数を削除する。
水平拡大部123の補間ローパスフィルタ部204のカットオフ周波数も、水平縮小部102と同じく、あらかじめ管理者等によって定められ、補間ローパスフィルタ部204に保持される。管理者等は、水平拡大部123による処理の後、フィールド画像の水平方向の折返し成分と垂直方向の折返し成分とが重ならず、かつ、折返し成分が残るようなカットオフ周波数及び変換率を定める。
図7Dは、本発明の第1の実施形態の水平拡大部123のダウンサンプリング部205の出力の周波数スペクトルを示す説明図である。
図7Dに示す周波数スペクトルは、n=2の条件における、水平拡大部123のダウンサンプリング部205の出力を示す。図7Dのとおり、ダウンサンプリング部205によって、水平方向のサンプリング周波数は、μs”(=μs)毎の周波数に定められる。この定められたサンプリング周波数の間隔に、補間ローパスフィルタ部204の出力の周波数成分が配置される。この結果、フィールド画像の水平方向の画素数が増大する。
水平縮小部102において発生した折返し成分640は、図7Dに示すとおり、水平周波数μs/3の近傍において、折返し成分740として残ったままである。また、インタレース化に伴う垂直方向の折返し成分741は、折返し成分641と同じく生じる。図7Dに示す周波数スペクトルは、超解像部124に送信される。
超解像部124が、図5Cに示す角度304と係数αとの対応を用いて出力を生成する。角度304の値が0〜3π/16の場合、すなわち、超解像部124が、図5Cに示す周波数スペクトル上の領域(1)の係数αを用いる場合、水平方向の折返し成分740は除去されない。また、図5Cに示す領域(1)は、図7Dに示すインタレース化に伴って生じた折返し成分741を含むため、領域(1)の係数αを用いる場合、インタレース化に伴って生じた折返し成分741は除去されない。
一方、角度304の値がπ/4〜π/2の場合、すなわち、超解像部124が、図5Cに示す周波数スペクトル上の領域(3)の係数αを用いる場合、水平方向の折返し成分740の多くが除去される。すなわち、図5Cに示す領域(3)は、図7Dに示す折返し成分740を含むことから、折返し成分740の多くが除去される。
さらに、角度304の値が3π/16〜π/4の場合、すなわち、超解像部124が、図5Cに示す周波数スペクトル上の領域(2)の係数αを用いる場合、水平方向の折返し成分740は低減される。
図7Dに示す水平方向の折返し成分740だけを除去するためには、角度304の値がtan-1(2/3)より小さい場合、係数αを1に定め、角度304の値がtan-1(2/3)より大きい場合、係数αを0に定める。これによって、超解像部124は、図6Aに示す元の周波数スペクトルを得ることが可能である。
第1の構成例の超解像部124の係数算出部401は、図5Cのように、係数αと角度304とを対応させてあらかじめ保持し、フィールド画像#1が混合部303に送信された場合、角度304に対応する係数αを定める。そして、混合部303は、定められた係数αと、係数αに対応する画素とを、乗算器402及び乗算器403に処理させる。なお、係数算出部401は、係数αと角度304とを管理者等によってあらかじめ与えられていてもよい。
前述の超解像部124の第1の構成例によれば、超解像部124は、フィールド画像の角度304に従って係数αを定めることによって、水平方向の折返し成分を除去することができる。すなわち、角度304に従って、折返し成分を除去する量を変化させることができる。これによって、高解像度の画像を取得することが可能である。
図8は、本発明の第1の実施形態の超解像部124の第2の構成例を示すブロック図である。
図8に示す超解像部124は、図3に示す超解像部124と異なる構成を有する。図8に示す超解像部124も、複数の画像を処理する。図8に示す超解像部124は、直線角度算出部302から送信される角度304に従って、折返し成分を除去する。以下では、図3に示す超解像部124と同じ機能には、同じ符号を付す。また、図3に示す超解像部124と同じ機能の説明は、重複するため、省略する。
図8の超解像部124は、折返し成分除去部801、直線角度算出部302、及び、位相シフト部310を有する。
折返し成分除去部801は、水平拡大部123から送信されたサンプリング位相差θと、位相シフト部310から送信されたフィールド画像と、直線角度算出部302から送信された角度304とを受信する。そして、折返し成分除去部801は、送信された画像の周波数スペクトルにおける水平方向の折返し成分740を、サンプリング位相差θ及び角度304に基づいて除去し、画像の原成分を抽出する。
図9は、本発明の第1の実施形態の位相シフト部310と折返し成分除去部801との構成を示すブロック図である。
図8に示す第2の構成例の超解像部124は、図9に示す位相シフト部310と折返し成分除去部801とを有する。
位相シフト部310は、図3に示す位相シフト部310と同じく、位相シフト器と遅延器とを有する。図9に示す位相シフト部310には、画像900A(フィールド画像#1)及び画像900B(フィールド画像#2)が入力される。
図9に示す位相シフト部310は、画像900A及び画像900Bを、位相シフト器によって、位相の異なる二つの画像に各々変換する。この結果、位相シフト部310は、画像(921、922、923、及び、924)を出力する。なお、位相シフト部310に入力される画像は、二つでなくてよく、三つ以上であってもよい。
折返し成分除去部801は、係数決定部910、乗算器(911、912、913、及び914)、及び、加算器915を有する。乗算器911には画像921が入力され、乗算器912には画像922が入力され、乗算器913には画像923が入力され、乗算器914には画像924が入力される。
画像921は、画像900Aが二つに分岐されたフィールド画像のうちの一つのフィールド画像であり、分岐された他方のフィールド画像がπ/2位相シフト器によって処理される際に生じる遅延を遅延器に補償されたフィールド画像である。画像922は、画像900Aが二つに分岐されたフィールド画像のうちの一つのフィールド画像であり、π/2位相シフト器によって位相をπ/2シフトされたフィールド画像である。
また、画像923は、画像900Bが二つに分岐されたフィールド画像のうちの一つのフィールド画像であり、分岐された他方のフィールド画像がπ/2位相シフト器によって処理される際に生じる遅延を補償されたフィールド画像である。画像924は、画像900Bが二つに分岐されたフィールド画像のうちの一つのフィールド画像であり、π/2位相シフト器によって位相をπ/2シフトされたフィールド画像である。
係数決定部910は、サンプリング位相差θと角度304とに基づいて生成された係数(C0、C2、C1、及び、C3)を算出する。
折返し成分除去部801の乗算器(911、912、913、及び、914)は、位相シフト部310から出力された画像(921、922、923、及び、924)の各画素と、係数決定部910によって算出された係数(C0、C2、C1、及び、C3)とを、各々乗算し、乗算された結果を加算器915に送信する。加算器915は、乗算器(911、912、913、及び、914)から送信された画素を加算し、表示部125又は送信部126に加算結果を送信する。
超解像部124は、バッファに接続され、画像(921、922、923、及び、924)、角度304又はサンプリング位相差θをバッファに一時的に格納してもよい。これによって、画像(921、922、923、及び、924)に対応する角度304及びサンプリング位相差θによって、係数(C0、C2、C1、及び、C3)を算出し、その係数(C0、C2、C1、及び、C3)と画像(921、922、923、及び、924)とを対応させてもよい。
係数決定部910は、水平拡大部123からサンプリング位相差θを受信する。また、直線角度算出部302から角度304を受信する。
なお、図9に示す第2の構成例の超解像部124は、複数の画像を入力されるが、本発明の超解像部124は、一つの画像を入力されてもよい。
図10は、本発明の第1の実施形態の係数決定部910による係数算出方法を示す説明図である。
図10は、第2の構成例の超解像部124に含まれる係数決定部910が、係数(C0、C2、C1、及び、C3)を定める際に用いる方法を示す。
図22B及び図22Cによって、係数(C0、C2、C1、及び、C3)を定める方法の概要を示す。
図22Bは、従来技術の画像に含まれる原成分を示す説明図である。
図22Bに示す四つのベクトルは、二つの画像(フィールド画像#1及びフィールド画像#2)の原成分を示すベクトル(1101及び1102)、及び、フィールド画像#1及びフィールド画像#2の原成分を各々π/2位相シフトした結果を示すベクトル(1103及び1104)である。
ベクトル(1101〜1104)は、原成分を示す。ベクトル(1101及び1102)は、実軸と並行に記載される。図22Bのベクトル(1101〜1104)は、図22Aに示すベクトル(1101〜1104)に対応する。
図22Cは、従来技術の画像に含まれる折返し成分を示す説明図である。
図22Cに示す四つのベクトルは、二つのフィールド画像を、水平縮小部102及び水平拡大部123によって処理した後の、各折返し成分の位相を示す。ベクトル1105は、フィールド画像#1の折返し成分であり、ベクトル1107は、π/2位相シフト後のフィールド画像#1の折返し成分である。ベクトル1106は、フィールド画像#2の折返し成分であり、ベクトル1108は、π/2位相シフト後のフィールド画像#2の折返し成分である。
フィールド画像#1の折返し成分のベクトル1105は、実軸と並行である。フィールド画像#2の折返し成分のベクトル1106は、実軸からサンプリング位相差θ分傾く。
第1の実施形態の第2の構成例の超解像部124は、図22Bに示す四つの成分と与えられた係数(C0、C2、C1、及び、C3)とを各々乗算し、乗算された結果のベクトル和を取得する。また、図22Cに示す四つの成分と係数(C0、C2、C1、及び、C3)とを各々乗算し、乗算された結果のベクトル和を取得する。
このため、係数決定部910は、図22Bにおいて実軸の成分が1になり、虚軸の成分が0になり、かつ、図22Cにおいて実軸の成分が係数α(値域は0〜1)になり、虚軸の成分が0となるような、係数(C0、C2、C1、及び、C3)を定める。すなわち、係数決定部910は、係数αの値を定めることによって、超解像部124から出力されるフィールド画像に残る折返し成分の量を調整する。
前述のとおり、係数(C0、C2、C1、及び、C3)を定めることによって、第1の実施形態の超解像部124は、二つのフィールド画像だけを用いて、折返し成分を完全に除去する高解像度化、又は、折返し成分を若干残した高解像度化を実現可能となる。
なお、図8の超解像部124における係数αは、前述の図3の超解像部124における係数αと同じく、角度304に従って定められる。すなわち、係数αの値が0.0である場合、折返し成分が完全に除去される。また、係数αの値が0.0に近づく程、折返し成分が低減する。係数αの値が1.0の場合、折返し成分は完全に残る。これは、前述の図3の超解像部124における係数αと同じであり、角度304と係数αとの関係も図5Cに示す対応関係と同じである。
さらに、図8の超解像部124は、フィールド画像#1及びフィールド画像#2の原成分及び折返し成分のベクトル和の虚軸の成分を0にするため、係数(C0、C1、C2、及び、C3)を用いる。
係数C0は、位相シフト部310の画像921(水平拡大後のフィールド画像#1の原成分と折返し成分との和)に対応する係数である。また、係数C1は、位相シフト部310の画像922(水平拡大後のフィールド画像#1の原成分と折返し成分とをそれぞれπ/2位相シフトした結果の和)に対応する係数である。
また、係数C2は、位相シフト部310の画像923(水平拡大後のフィールド画像#2の原成分と折返し成分との和)に対応する係数である。また、係数C3は、位相シフト部310の画像924(水平拡大後のフィールド画像#2の原成分と折返し成分とをそれぞれπ/2位相シフトした結果の和)に対応する係数である。
係数決定部910は、前述の係数αと係数(C0、C1、C2、及び、C3)とサンプリング位相差θを用い、図10の(a)の条件を満たすような、連立方程式をあらかじめ求める。その結果、係数決定部910は、図22B及び図22Cに示す各成分の位相関係から、図10の(b)に示す連立方程式を求める。
係数決定部910は、直線角度算出部302から受信した角度304に従って係数αを定め、図10の(b)の連立方程式を算出する。これによって、係数(C0、C1、C2、及び、C3)を定めることができる。
例えば、係数α=0である場合、すなわち、折返し成分を完全に除去する場合、係数決定部910は、係数(C0、C1、C2、及び、C3)を、図10の(c)のように定める。図10の(d)は、サンプリング位相差θをπ/8radごとに0〜2πradまで変化させた場合の、係数(C0、C1、C2、及び、C3)の値を示す。
図10の(d)に示す係数(C0、C1、C2、及び、C3)を用いた場合、折返し成分除去部801による処理は、もとのフィールド画像#2の信号を、1/16画素の精度によって位置推定し、フィールド画像#1に動き補償する処理に相当する。係数決定部910は、サンプリング位相差θの値が0未満、又は、2π以上である場合、sin関数及びcos関数の周期性を利用し、サンプリング位相差θの値に2πの整数倍の値を、加算又は減算することによって、サンプリング位相差θが0〜2πの範囲に収まるように、係数(C0、C1、C2、及び、C3)を定めればよい。
前述のとおり、第2の構成例の超解像部124も、第1の構成例の超解像部124と同じく、角度304に従って、折返し成分を除去する量を変化させることができる。
なお、第2の構成例の超解像部124は、いずれの輝度成分又は色差成分を持つ画素の折返し成分を除去するか否かを判定した後、判定された結果に従って、折返し成分除去部801に、各画素の折返し成分を除去させてもよい。
また、前述の第1の実施形態の画像受信装置120は、画像ごとに直線又はエッジの角度を求め、画素ごとに係数αを定めた。しかし、本発明の画像受信装置120は、フィールド画像中の任意の画素を抽出し、抽出された画素の直線又はエッジの角度304を算出してもよい。そして、本発明の画像受信装置120は、抽出された画素と抽出された画素の周辺の画素に、算出された角度304に従った係数αを定めてもよい。
前述のとおり、第1の実施形態の画像送信装置100は、インタレース化されたフィールド画像を水平方向に縮小し、縮小された画像を圧縮及び符号化し、伝送路110を介して画像受信装置120に送信する。画像送信装置100は、フィールド画像を縮小した後に圧縮するため、送信する画像符号化データの量を低減することができる。このような画像送信装置100を備える画像転送システムによれば、伝送路110の通信帯域に限りがあってもより情報量の多い映像信号を送信することが可能となる。
また、第1の実施形態の画像受信装置120は、圧縮及び符号化された画像符号化データを受信し、受信した画像復号化データを復号する。そして、復号されたフィールド画像を水平方向に拡大し、拡大されたフィールド画像の各画素において直線又はエッジの角度304を求める。そして、求められた角度304に従って折返し成分を除去する量を変化させる。
第1の実施形態の画像受信装置120は、画像において垂直方向に傾いた直線又はエッジについて折返し成分の除去の程度を強くし、水平方向に傾いた直線又はエッジについては折返し成分の除去の程度を弱くする。この結果、画像における水平方向の折返し成分の多くを除去でき、さらに、インタレース化に伴う垂直方向の折返し成分の多くを残すことが可能である。
このため、第1の実施形態の画像受信装置120は、水平方向に縮小及び拡大されたフィールド画像から、高解像度なフィールド画像を生成できる。そして、被写体に垂直方向の動きがある場合においても、垂直方向の折返し成分の多くを残すことができるため、画質劣化の少ない高解像度なフィールド画像を生成することができる。
なお、第1の実施形態の画像転送システムは、伝送路110に蓄積装置を用い、画像送信装置100と画像受信装置120とを一体化することによって、画像蓄積装置として実装されてもよい。
また、第1の実施形態の水平縮小部102及び水平拡大部123が用いるカットオフ周波数及び変換率は、各処理の後、フィールド画像の水平方向の折返し成分と垂直方向の折返し成分とが重ならず、かつ、折返し成分が残るようなカットオフ周波数及び変換率を定めた。しかし、本実施形態の画像転送システムは、水平拡大部123による処理の後、フィールド画像の水平方向の折返し成分と垂直方向の折返し成分とが重なる場合も、角度304によって水平方向の折返し成分を除去するため、高解像度化の効果が得られる。
(第2の実施形態)
第2の実施形態の画像送信装置は、第1の実施形態の画像転送システムと異なり、水平縮小部によって用いられた変換率(すなわち、整数m及び整数nの比)と、カットオフ周波数とを符号化部において画像符号化データに含める。そして、変換率とカットオフ周波数とを含む画像符号化データを、画像受信装置に送信する。
第2の実施形態の画像受信装置は、受信した画像符号化データから復号化部によって変換率とカットオフ周波数とを抽出する。そして、抽出された変換率とカットオフ周波数とを用いて、水平拡大部と超解像部とに処理させる。これによって、第2の実施形態の画像転送システムは、周波数スペクトルにおける折返し成分の発生状況をより正確に把握し、ノイズ等の画質劣化の少ない高解像度画像を生成する。
以下において、前述の第1の実施形態の画像転送システムが有する機能と同じ機能には、同じ符号を付す。また、同じ機能に関する重複する説明を省略する。
図11は、本発明の第2の実施形態の画像転送システムの構成を示すブロック図である。
第2の実施形態の画像転送システムは、画像送信装置1200、伝送路110、画像受信装置1220、及び、伝送路130を備える。画像送信装置1200は、図1に示す画像送信装置100に相当する。画像受信装置1220は、図1に示す画像受信装置120に相当する。
画像送信装置1200は、入力部101、水平縮小部1202、符号化部1203、及び、送信部104を有する。
画像送信装置1200は、第1の実施形態の画像送信装置100と同じく、プロセッサ、及び、メモリ等を備える計算機であってもよく、入力部101、水平縮小部1202、符号化部1203、及び、送信部104等の機能をプログラムによって実装してもよい。また、入力部101、水平縮小部1202、符号化部1203、及び、送信部104等の機能を、LSI等の素子によって実装してもよい。
また、画像送信装置1200は、管理者等によって、画像送信装置1200において用いられるパラメータを入力するための入力装置を備えてもよい。
水平縮小部1202は、入力部101から送信されるフィールド画像を処理する。具体的には、水平縮小部1202は、画像の水平方向の画素数を減らす。第2の実施形態の水平縮小部1202は、第1の実施形態の水平縮小部102と同じ機能を用いるが、さらに、フィールド画像をフィルタリングする際に用いたカットオフ周波数と、水平方向の画素数の変換率とを出力する。
なお、第2の実施形態の水平縮小部1202は、変換率n/mによって、水平方向の画素数を減らす(n、m:整数、n<m)。すなわち、水平縮小部1202が図2Bに示すオーバサンプリング型である場合、アップサンプリング部203が整数nを用いてフィールド画像のサンプリング周波数を大きくし、ダウンサンプリング部205が整数mを用いてフィールド画像のサンプリング周波数を小さくする。
符号化部1203は、水平縮小部1202によって縮小された画像を圧縮することによって、画像符号化データを生成する。また、水平縮小部1202から送信されるカットオフ周波数と、変換率とを多重して符号化する。これによって、符号化されたカットオフ周波数と変換率とを画像符号化データに含める。
カットオフ周波数と変換率とを画像符号化データに多重化する方法には、例えば、H.264/AVCの映像符号化方式によって規定されるストリームシンタクスのSEI(Supplementary Enhancement Information)のユーザデータ領域に多重する方法が用いられる。
画像受信装置1220は、受信部121、復号化部1222、水平拡大部1223、超解像部124、表示部125、及び送信部126を有する。
画像受信装置1220は、第1の実施形態の画像受信装置120と同じく、プロセッサ、及び、メモリ等を備える計算機であってもよく、受信部121、復号化部1222、水平拡大部1223、超解像部124、表示部125、及び送信部126等の機能をプログラムによって実装してもよい。また、画像受信装置1220は、受信部121、復号化部1222、水平拡大部1223、超解像部124、表示部125、及び送信部126等の機能を、LSI等の素子によって実装してもよい。
復号化部1222は、受信部121によって受信された画像符号化データを復号することによって、フィールド画像を生成する。そして、受信された画像符号化データに含まれるストリームシンタクスのSEIからカットオフ周波数1228と変換率1229とを抽出する。ここで、変換率1229は、n/mである。
図12は、本発明の第2の実施形態の水平拡大部1223の構成を示すブロック図である。
図12に示す水平拡大部1223の構成は、複数の画像間において被写体が動いた場合に生じるサンプリング位相差θを用いて、超解像部124が、画像を高解像度化することを想定したものである。水平拡大部1223は、位置推定部221、動き補償部222、水平拡大部223、水平拡大部224、及び、拡大率・カットオフ周波数算出部1301を有する。
図12に示す水平拡大部1223は、二つの画像(フィールド画像#1及びフィールド画像#2)を用いて、一方の画像(フィールド画像#2)を動き補償し、さらに、二つの画像(フィールド画像#1、及び、動き補償後のフィールド画像#2)を出力する。
拡大率・カットオフ周波数算出部1301は、受信部121によって抽出されたカットオフ周波数1228と変換率1229とを受信する。そして、受信したカットオフ周波数1228と変換率1229とに基づいて、水平拡大部223及び水平拡大部224において用いられるカットオフ周波数1230と拡大率1231とを、算出する。
水平拡大部223及び水平拡大部224は、拡大率・カットオフ周波数算出部1301から送信されたカットオフ周波数1230と拡大率1231とに基づいて、画像(フィールド画像#2及びフィールド画像#1)の水平方向に画素を増やす。
拡大率・カットオフ周波数算出部1301は、例えば、変換率1229の逆数を、拡大率としてもよい。具体的には、変換率1229がn/mである場合、拡大率1231をm/nとしてもよい。また、カットオフ周波数1230を、復号化部1222から送信されたカットオフ周波数1228と同じとしてもよい。
図7A〜図7Dに示す周波数スペクトルは、m=3、n=2である条件において、拡大率1231がm/nである場合の、第2の実施形態の水平拡大部223及び水平拡大部224が出力する周波数スペクトルと同じである。水平拡大部1223の結果、図7Dに示す周波数スペクトルが出力される。
そして、図7Dに示す周波数スペクトルには、ダウンサンプリング部205において既に生じた折返し成分以外に、新たな折返し成分は発生していない。具体的には、インタレース化に伴う折返し成分741と、水平方向の折返し成分740とが重なることによって発生する新たな折返し成分は、図7Dに示す周波数スペクトルには発生していない。
すなわち、第2の実施形態の水平拡大部1223は、画像送信装置1200から送信されたカットオフ周波数1228と変換率1229を用いることによって、新たな折返し成分の発生を防ぐことができる。
また、超解像部124が一つの画像だけを用いて高解像度化する場合、水平拡大部1223は、位置推定部221、動き補償部222、及び、水平拡大部224を有する必要がない。
図13は、本発明の第2の実施形態の超解像部1224の構成を示すブロック図である。
第2の実施形態の超解像部1224は、図13に示す復号化部1222から送信されるカットオフ周波数1228(以下、第1のカットオフ周波数1228)と変換率1229と、水平拡大部1223から送信されるカットオフ周波数1230(以下、第2のカットオフ周波数1230)と拡大率1231とを用いて、空間方向の折返し成分の発生を推定し、推定された結果を用いてフィールド画像を高解像度化する。
なお、第2の実施形態の超解像部1224に送信されるフィールド画像は、第1の実施形態の超解像部124と同じく、輝度成分と二つの色差成分とを含んでもよく、赤成分、緑成分、及び、青成分を含んでもよい。また、第2の実施形態における超解像部1224は、前述の成分ごとに超解像処理を実行するか否かを判定する機能、及び、判定するためのパラメータを保持してもよい。
図13に示す超解像部1224は、折返し成分除去部301、直線角度算出部302、位相シフト部310、混合部1403、及び、折返し成分推定部1401を有する。以下に示す第2の実施形態の超解像部1224の折返し成分除去部301、直線角度算出部302、及び、位相シフト部310は、第1の実施形態の第1の構成例の超解像部124の折返し成分除去部301、直線角度算出部302、及び、位相シフト部310と同じである。
折返し成分推定部1401は、復号化部1222から送信される第1のカットオフ周波数1228と変換率1229と、水平拡大部1223によって用いられた第2のカットオフ周波数1230と拡大率1231とを用いて空間方向における折返し成分の発生を推定する。
折返し成分推定部1401による折返し成分の推定方法を、以下に示す。
以下に示す推定方法において、変換率1299はn/mであり、拡大率1231はm/nであり、水平方向の画素の拡大後のサンプリング周波数はμsである。このため、水平方向の画素を縮小する際に折返し成分が発生する第1の条件は、第1のカットオフ周波数1228が(n/2m)×μsより大きい場合である。また、水平方向の画素の拡大時に新たな折返し成分が発生しない第2の条件は、第2のカットオフ周波数が(1/2)×μsより小さい場合である。
従って、前述の第1の条件及び第2の条件に基づいて、折返し成分推定部1401は、(n/2m)×μs−(第1のカットオフ周波数−(n/2m)×μs)から(1/2)×μsまでの水平周波数の成分には、折返しが生じている可能性が高いと判定する。このため、(n/2m)×μs−(第1のカットオフ周波数−(n/2m)×μs)から(1/2)×μsまでの水平周波数の画素において、折返し成分が発生することを示す情報を、折返し成分発生データに格納する。
また、折返し成分推定部1401は、(n/2m)×μs−(第1のカットオフ周波数−(n/2m)×μs)より小さい水平周波数の成分において、折返しが発生していないと判定する。このため、(n/2m)×μs−(第1のカットオフ周波数−(n/2m)×μs)より小さい水平周波数の画素において、折返し成分が発生しないことを示す情報を、折返し成分発生データに格納する。
そして、折返し成分推定部1401は、情報を格納された折返し成分発生データを、混合部1403に送信する。折返し成分推定部1401は、折返し成分発生データを、例えば、水平周波数μと垂直周波数νとの関係式によって示してもよい。
なお、本実施形態では、複数のフィールド画像を用いた場合の構成について説明したが、一つの画像を用いた構成でもよい。その場合、位相シフト部310は不要であり、折返し成分除去部301への位相差の入力も不要である。
図14は、本発明の第2の実施形態の混合部1403の構成を示すブロック図である。
混合部1403は、係数算出部1501、乗算器402、乗算器403、及び、加算器404を有する。混合部1403の乗算器402、乗算器403、及び、加算器404は、第1の実施形態の混合部303の乗算器402、乗算器403、及び、加算器404と同じである。
混合部1403と第1の実施形態の混合部303とが異なる点は、係数算出部1501が、折返し成分推定部1401から送信された折返し成分発生データと、直線角度算出部302から送信された角度304と、を用いて係数αを定める点である。
係数算出部1501は、例えば、図5Cに示す項目(1)、(2)及び(3)のうち、角度304が示す項目を抽出する。そして、折返し成分発生データを参照し、抽出された項目において折返し成分が発生している場合、係数算出部1501は、係数αを0に定める。また、抽出された項目において折返し成分が発生していない場合、係数算出部1501は、係数αを1に定める。
第2の実施形態の超解像部1224によれば、折返し成分が発生する画素を推定することによって、折返し成分の発生の有無と角度304とに従って、折返し成分の除去量を変化させることが可能となる。
また、第1の実施形態の超解像部124の第2の構成例に、第2の実施形態の折返し成分推定部1401を追加してもよい。この場合、係数決定部910は、折返し成分発生データと角度304とに基づいて、係数αの値を定めることによって、係数(C0、C1、C2、及び、C3)を算出し、折返し成分を除去する量を変化させる。
以上のような第2の実施形態の画像転送システムは、画像送信装置1200がインタレース化されたフィールド画像を水平方向に縮小し、縮小された画像を圧縮する。そして、水平方向の解像度の縮小の際に用いられた変換率、及び、カットオフ周波数を多重して符号化し、伝送路110を介して画像受信装置1220に送信する。
ここで、第2の実施形態の画像送信装置1200は、縮小された画像を圧縮できるため、送信データ量を低減することができる。これによって、伝送路110の通信帯域に限りがあってもより情報量の多い映像信号を送信することが可能となる。
また、第2の実施形態の画像受信装置1220は、圧縮及び符号化された画像符号化データを受信し、受信した画像符号化データをフィールド画像に復号する。そして、フィールド画像と水平方向の解像度の縮小の際に設定された変換率及びカットオフ周波数を取得し、復号化されたフィールド画像に、画像送信装置1200から送信された変換率及びカットオフ周波数に基づいて水平方向に拡大する。これによって、既に生じている折返し成分の他に、折返し成分が発生することを防ぐことができる。従って第2の実施形態の超解像部124は、適切に折返し成分を除去できる。
また、拡大されたフィールド画像の各画素において直線又はエッジの角度304を求め、その角度304に従って折返し成分を除去する量を変化させる。特に垂直方向に傾いた直線又はエッジについて折返し成分を除去する量を多くし、水平方向に傾いた直線又はエッジについて、折返し成分を除去する量を少なくする。
これによって、水平方向の折返し成分の多くが除去可能な一方、被写体に垂直方向の動きがある場合でもインタレース化に伴う折返し成分の多くが残る。また、水平方向の解像度の縮小の際に用いられた変換率1229及び第1のカットオフ周波数1228に基づいて、水平方向に拡大することによって、前述の折返し成分を除去する成分と、除去する量とがより正確に判定され、画質劣化の少ない高解像度なフィールド画像を生成することができる。
また、第2の実施形態の画像受信装置1220の超解像部1224において、変換率1229及び第1のカットオフ周波数1228、及び、水平方向の解像度の拡大に用いられた拡大率1231、第2のカットオフ周波数1230を用いて、空間方向において折返し成分の発生を推定し、直線又はエッジの角度304とともに折返し成分除去に用いることによって、折返し成分除去の程度をより正確に調整可能になり、画質劣化の少ない高解像度なフィールド画像を生成することができる。
さらに、画像送信装置1200からカットオフ周波数と変換率とを送信することによって、第2の実施形態の画像転送システムは、画像受信装置1220において用いられるカットオフ周波数及び拡大率を、自動的に変更することができる。
例えば、画像送信装置1200が、管理者による入出力が可能な場所に設置され、画像受信装置1220が管理者による入出力ができない場所に設置されている場合、第2の実施形態の画像転送システムは、画像送信装置1200におけるカットオフ周波数及び拡大率の変更を、ただちに、画像受信装置1220に反映させることができる。
なお、第2の実施形態の画像転送システムは、伝送路110に蓄積装置を用い、画像送信装置1200と画像受信装置1220とを一体化することによって、画像蓄積装置として実装されることも可能である。
(第3の実施形態)
第1の実施形態の画像転送システムは、インタレース走査の画像(フィールド画像)を送受信したが、第3の実施形態の画像転送システムは、プログレッシブ走査の画像(フレーム画像)を送受信する。プログレッシブ走査の画像にも、本実施形態の方法によって、ノイズ等の画質劣化の少ない高解像度画像を生成可能である。
以下に示す画像転送システムが有する機能が、前述の第1の実施形態の画像転送システム、及び、第2の実施形態の画像転送システムの機能と同じである場合、同一の符号を付し、重複する説明を省略する。
図15は、本発明の第3の実施形態の画像転送システムの構成を示すブロック図である。
画像送信装置1600は、入力部1601、画像縮小部1602、符号化部103、及び、送信部104を有する。画像送信装置1600の符号化部103及び送信部104は、第1の実施形態の画像送信装置100の符号化部103及び送信部104と同じである。
画像送信装置1600は、第1の実施形態の画像送信装置100と同じく、プロセッサ、及び、メモリ等を備える計算機であってもよく、入力部1601、画像縮小部1602、符号化部103、及び、送信部104等の機能をプログラムによって実装してもよい。また、入力部1601、画像縮小部1602、符号化部103、及び、送信部104等の機能を、LSI等の素子によって実装してもよい。
また、画像送信装置1600は、管理者等によって、画像送信装置1600において用いられるパラメータを入力するための入力装置を備えてもよい。
画像受信装置1620は、受信部121、復号化部122、画像拡大部1623、超解像部1624、表示部125及び送信部126を有する。画像受信装置1620の受信部121、復号化部122、表示部125及び送信部126は、第1の実施形態の画像受信装置120の受信部121、復号化部122、表示部125及び送信部126と同じである。
画像受信装置1620は、第1の実施形態の画像受信装置120と同じく、プロセッサ、及び、メモリ等を備える計算機であってもよく、受信部121、復号化部122、画像拡大部1623、超解像部1624、表示部125及び送信部126等の機能をプログラムによって実装してもよい。また、画像受信装置1620は、受信部121、復号化部122、画像拡大部1623、超解像部1624、表示部125及び送信部126等の機能を、LSI等の素子によって実装してもよい。
また、画像受信装置1620は、管理者等によって、画像受信装置1620において用いられるパラメータを入力するための入力装置を備えてもよい。
入力部1601には、例えば、テレビジョン放送信号などの動画像をプログレッシブ走査によって表示するための、フレーム画像が入力される。また、入力部1601は、符号化された符号化ストリームが入力された場合、入力された符号化ストリームを復号処理し、そして、復号結果から、動画像のフレーム画像を抽出する。
図16は、本発明の第3の実施形態の画像縮小部1602の構成を示すブロック図である。
第3の実施形態の画像縮小部1602は、垂直縮小部1724、及び、水平縮小部1725を有する。水平縮小部1725は、図2A又は図2Bに示す水平縮小部102と同じであり、垂直縮小部1724は、図2A又は図2Bに示す水平縮小部102と同様である。垂直縮小部1724は、周波数スペクトルの垂直方向を縮小する(垂直方向の画素数を減らす)点において、水平縮小部102と異なる。
垂直縮小部1724は、変換率mv/nvによって、フレーム画像の垂直方向の画素を減らし、水平縮小部1725は、変換率mh/nhによって、フレーム画像の水平方向の画素を減らす。
図17A〜図17Cは、垂直縮小部1724がmv=1、nv=2の条件において、垂直方向の画素数を減らす際の周波数スペクトルを示す。図17A〜図17Cにおいて、垂直縮小部1724は、図2Bに示すオーバサンプリング型であり、アップサンプリング部203、補間ローパスフィルタ部204、及び、ダウンサンプリング部205を有する。
図17A〜図17Cに示す図の横軸は、水平周波数μであり、縦軸は垂直周波数νであり、黒丸は垂直方向のサンプリング位置(周波数)1800を示す。また、水平方向のサンプリング周波数は、μs毎の周波数であり、垂直方向のサンプリング周波数はνs’毎の周波数である。
図17Aは、本発明の第3の実施形態の垂直縮小部1724に入力された画像の周波数スペクトルを示す説明図である。
図17Aに示す周波数スペクトルは、垂直縮小部1724に入力されるフレーム画像の周波数スペクトルである。フレーム画像の垂直周波数成分には、ナイキスト周波数(νs’/2)以上の周波数成分を含まれていないものとする。また、フレーム画像の水平周波数成分には、ナイキスト周波数(μs/2)以上の周波数成分を含んでいないものとする。
入力部101から出力されるフレーム画像を、垂直方向に1/2倍縮小するため、垂直縮小部1724は、補間ローパスフィルタ部204によるフィルタリング、及び、ダウンサンプリング部205による1/2倍ダウンサンプリングを行う。
図17Bは、本発明の第3の実施形態の垂直縮小部1724の補間ローパスフィルタ部204による出力の周波数スペクトルを示す説明図である。
図17Bに示す周波数スペクトルは、垂直縮小部1724の補間ローパスフィルタ部204の出力を示す。補間ローパスフィルタ部204は、図17Aに示す水平方向の周波数スペクトルのうちν=0と、ν=0からνs’の整数倍離れた周波数(垂直方向のサンプリング周波数1800)との各々の近傍の周波数を残し、その他の周波数の成分を削除する。
図17Bにおけるカットオフ周波数は、νs’/2である。垂直縮小部1724の補間ローパスフィルタ部204のカットオフ周波数は、図17Cに示すダウンサンプリング部205による出力の周波数スペクトルにおいて、垂直方向の折返し成分1830が生じるような値に、管理者等によってあらかじめ定められる。
図17Cは、本発明の第3の実施形態の垂直縮小部1724のダウンサンプリング部205の出力の周波数スペクトルを示す説明図である。
図17Cに示す周波数スペクトルは、nv=2の条件における、垂直縮小部1724のダウンサンプリング部205の出力を示す。図17Cのとおり、ダウンサンプリング部205によって、垂直方向のサンプリング周波数は、νs(=νs’/2)毎の周波数に定められる。このサンプリング周波数の間隔に、補間ローパスフィルタ部204の出力の周波数成分が配置される。この結果、フレーム画像は垂直方向に縮小される。
図17Cのとおり、垂直縮小部1724の補間ローパスフィルタ部204が、カットオフ周波数をνs/2以上にすることによって、垂直方向の折返し成分1830が生じる。
水平縮小部1725は、垂直縮小部1724における処理によって発生した折返し成分1830に重なりが生じず、かつ、水平方向に折返し成分が生じるような、カットオフ周波数をあらかじめ保持する。
第3の実施形態の水平縮小部1725は、mh=2、nh=3を条件として、図17Cに示す周波数スペクトルの出力を、水平方向に縮小する。具体的には、第1の実施形態の水平縮小部102による処理と同じであり、出力の周波数スペクトルは、図6A〜図6Dに示す周波数スペクトルと同じである。また、画像縮小部1602によって出力される画像の周波数スペクトルは、図6Dの周波数スペクトルと同じである。
画像縮小部1602の処理によって、フレーム画像は、垂直方向及び水平方向に縮小された画像になる。
図18は、本発明の第3の実施形態の画像拡大部1623の構成を示すブロック図である。
図18に示す画像拡大部1623は、超解像部1624において複数のフレーム画像間において被写体が動くことによって生じる位相差を用いて、フレーム画像を高解像度化するための機能を保持する。画像拡大部1623は、位置推定部221、動き補償部222、第1の水平拡大部1924、第1の垂直拡大部1925、第2の水平拡大部1926、及び、第2の垂直拡大部1927を有する。
第1の水平拡大部1924、第1の垂直拡大部1925、第2の水平拡大部1926、及び、第2の垂直拡大部1927は、それぞれ図2A又は図2Bに示す水平縮小部102と同じ構成である。
位置推定部221は、フレーム画像#1の各画素とフレーム画像#2の各画素とを比較することによって、画素ごとに水平方向のサンプリング位相差θhと垂直方向のサンプリング位相差θvとを求める。
図19A〜図19Cは、mv=1、nv=2の条件において、第1の垂直拡大部1925又は第2の垂直拡大部1927がフレーム画像の垂直方向の画素数を減らす処理における、各処理部の出力の周波数スペクトルを示す。図19A〜図19Cにおいて、第1の垂直拡大部1925及び第2の垂直拡大部1927は、図2Bに示すオーバサンプリング型であり、アップサンプリング部203、補間ローパスフィルタ部204、及び、ダウンサンプリング部205を有する。
図19A〜図19Cに示す図の横軸は水平周波数μであり、縦軸は垂直周波数νであり、黒丸は垂直方向のサンプリング位置(周波数)2000を示す。また、水平方向のサンプリング周波数はμs毎の周波数であり、垂直方向のサンプリング周波数はνs’(=2νs)毎の周波数である。
図19Aは、本発明の第3の実施形態の第1の垂直拡大部1925又は第2の垂直拡大部1927に入力されるフレーム画像の周波数スペクトルを示す説明図である。
図19Aに示す周波数スペクトルは、第1の水平拡大部1924から第1の垂直拡大部1925へ、又は、第2の水平拡大部1926から第2の垂直拡大部1927へ、入力されるフレーム画像の周波数スペクトルである。
すなわち、図19Aに示す周波数スペクトルは、第1の水平拡大部1924又は第2の水平拡大部1926によって第1の実施形態の水平拡大部123と同じ処理が行われた結果、出力されたフレーム画像の周波数スペクトルである。このため、図19Aは、図7Dに相当する。
第1の水平拡大部1924から入力されたフレーム画像を、垂直方向に2倍に拡大するため、第1の垂直拡大部1925は、アップサンプリング部203による2倍アップサンプリング、及び、補間ローパスフィルタ部204によるフィルタリングを行う。また、第2の水平拡大部1926から入力されたフレーム画像を、垂直方向に2倍に拡大するため、第2の垂直拡大部1927は、アップサンプリング部203による2倍アップサンプリング、及び、補間ローパスフィルタ部204によるフィルタリングを行う。
図19Bは、本発明の第3の実施形態の第1の垂直拡大部1925又は第2の垂直拡大部1927のアップサンプリング部203による出力の周波数スペクトルを示す説明図である。
図19Bに示す周波数スペクトルは、mv=2の条件における、第1の垂直拡大部1925又は第2の垂直拡大部1927のアップサンプリング部203の出力を示す。図19A及び図19Bに示すとおり、図19Aにおいてνsであった垂直方向のサンプリング周波数の間隔が、図19Bにおいて2νsに広がる。
図19Cは、本発明の第3の実施形態の第1の垂直拡大部1925又は第2の垂直拡大部1927の補間ローパスフィルタ部204による出力の周波数スペクトルを示す説明図である。
図19Cに示す周波数スペクトルは、第1の垂直拡大部1925又は第2の垂直拡大部1927の補間ローパスフィルタ部204の出力を示す。第1の垂直拡大部1925又は第2の垂直拡大部1927の補間ローパスフィルタ部204は、図19Bに示す周波数スペクトルのうち、垂直方向のサンプリング周波数(図19Cにおいて、ν=0、ν=2νs等)の近傍の周波数帯域(通過帯域2030)だけを残し、その他の周波数の成分を削除する。
管理者等は、ダウンサンプリング部205の出力の周波数スペクトルにおいて、垂直方向に新たな折返し成分が生じないような値に、補間ローパスフィルタ部204のカットオフ周波数をあらかじめ定める。図19Bにおけるカットオフ周波数は、νs/2とνsとの間に定められる。
図20は、本発明の第3の実施形態の超解像部1624の構成を示すブロック図である。
第3の実施形態の超解像部1624に送信されるフィールド画像は、輝度成分と二つの色差成分とを含んでもよく、赤成分、緑成分、及び、青成分を含んでもよい。第3の実施形態における超解像部1624は、第1の実施形態の超解像部124と同じく、前述の成分ごとに超解像処理を実行するか否かを判定する機能、及び、判定するためのパラメータを保持してもよい。
超解像部1624は、水平超解像部2101、垂直超解像部2102、及び、混合部2103を有する。
水平超解像部2101は、水平方向のサンプリング位相差θhを用いて、フレーム画像を水平方向に高解像度化する。垂直超解像部2102は、垂直方向のサンプリング位相差θvを用いて垂直方向に高解像度化する。サンプリング位相差θhを用いる水平超解像部2101、及び、サンプリング位相差θvを用いる垂直超解像部2102には、例えば、特許文献2に記載された水平超解像部及び垂直超解像部が用いられてもよい。
混合部2103は、水平超解像部2101及び垂直超解像部2102から出力されたフレーム画像を混合する。
第3の実施形態によれば、水平方向に高解像度化した画像と垂直方向に高解像度化した画像を混合することによって、プログレッシブ走査による画像を水平方向及び垂直方向共に高解像度化することができる。
水平超解像部2101及び垂直超解像部2102は、図3に示す超解像部124と同じ構成を各々有する。このとき、水平超解像部2101の混合部303は、角度304の値が小さい場合、係数αを1に定め、角度304の値が大きい場合、係数αを0に定める。これによって、水平方向の折返し成分を適切に除去できる。
また、垂直超解像部2102の混合部303は、角度304の値が小さい場合、係数αを0に定め、角度304の値が大きい場合、係数αを1に定める。これによって、被写体に垂直方向の動きがある場合、垂直方向の折返し成分を適切に除去できる。
また、超解像部1624には、第1の実施形態の超解像部124を用いてもよい。この場合、超解像部1624は、図20に示す構成と比較して高解像度化効果は小さいが、少ない回路規模によって高解像度化を実現できる。
第3の実施形態の画像転送システムは、前述のとおり、画像送信装置1600がプログレッシブ走査による画像を縮小し、縮小された画像を圧縮及び符号化することによって、画像符号化データを生成する。そして、伝送路110を介して画像受信装置1620に生成された画像符号化データを送信する。
画像送信装置1600は、画像を縮小した後に圧縮するため、画像受信装置1220へ送信する画像符号化データ量を低減することができる。このため、伝送路110の通信帯域に限りがあっても、より情報量の多い映像信号を送信することが可能となる。
また、画像受信装置1620は、圧縮及び符号化された画像符号化データを受信し、復号することによって取得したフレーム画像を拡大する。そして、拡大されたフレーム画像の各画素において直線又はエッジの角度304を求め、その角度304に従って折返し成分除去の程度を調整する。さらに、フレーム画像を拡大する際、新たな折返し成分が生じないようにすることによって、画質劣化の少ない高解像度なフィールド画像を生成することができる。
なお、第3の実施形態において、第2の実施形態の画像転送システムのように、フレーム画像を縮小する際の変換率(1/n)及びカットオフ周波数を、画像受信装置1620に送信し、画像受信装置1620の第1の水平拡大部1924、第1の垂直拡大部1925、第2の水平拡大部1926、及び、第2の垂直拡大部1927は、送信された変換率(1/n)及びカットオフ周波数に基づいて、フレーム画像を拡大してもよい。
また、伝送路110に蓄積装置を用い、画像送信装置1600と画像受信装置1620とを、一つの装置によって実装することによって、画像蓄積装置として構成してもよい。
(第4の実施形態)
第4の実施形態の画像撮像装置2200は、第1の実施形態、第2の実施形態又は第3の実施形態の画像転送システムにおける高解像度画像を生成するための機能を実装された撮像装置である。これによって、画像撮像装置2200は、高解像度画像を撮像できる。
以下において、前述の第1の実施形態の画像転送システム、第2の実施形態の画像転送システム、及び、第3の実施形態の画像転送システムと同じ機能を果たす処理部には、同じ符号を付し、重複する説明を省略する。
図21は、本発明の第4の実施形態の画像撮像装置2200の構成を示すブロック図である。
画像撮像装置2200は、レンズ2201、光学ローパスフィルタ部2202、撮像素子2203、画像拡大部1623、超解像部1624、及び、送信部126を有する。
レンズ2201は、入射光を撮像素子2203に取得するための集光機能を有する。
光学ローパスフィルタ部2202は、水平方向と垂直方向とについて、ある周波数範囲を通過させるフィルタ機能を有する。光学ローパスフィルタ部2202は、一般的に、3枚の水晶を用いるフィルタが知られている。以下に、光学ローパスフィルタ部2202の周波数特性について説明する。
光学ローパスフィルタ部2202の垂直方向の周波数特性は、撮像素子2203の垂直方向のピッチから取得される垂直方向のサンプリング周波数の1/2以上の周波数成分を通過するようにする。また、水平方向の周波数特性を、撮像素子2203の水平方向のピッチから取得される水平方向のサンプリング周波数の1/2以上であり、垂直方向において発生する折返し成分に重ならないような周波数以上の成分を通過するようにする。
具体的には、図7Dに示す水平方向の折返し成分と垂直方向の折返し成分とが重ならない周波数スペクトルが取得できるような光学ローパスフィルタを用いる。このため、光学ローパスフィルタ部2202は、本発明において、どのような構造によって実装されてもよい。
撮像素子2203は、2次元CCD入力部イメージセンサ、又は、2次元CMOSイメージセンサなどの一般的な撮像素子である。
さらに、第4の実施形態の画像撮像装置と、第1の実施形態の画像受信装置120とを用いてもよい。すなわち、光学ローパスフィルタ部2202は、水平方向と垂直方向とにおいてお互いの折返し成分が重ならないように折返し成分を発生させる。そして、第1の実施形態の画像受信装置120が圧縮及び符号化された画像符号化データを受信し、受信したデータを復号する。これによって、取得されたフィールド画像を水平方向に拡大する。これによって、画質劣化の少ない高解像度なフィールド画像を生成することができる。
また、超解像部1624は、拡大されたフィールド画像の各画素において直線又はエッジの角度304を求め、その角度304に従って、第1の実施形態と同じく、折返し成分除去の程度を変化させる。これによって、第4の実施形態の画像撮像装置2200は、画質劣化のより少ない高解像度なフィールド画像を生成することができる。
また、第4の実施形態の画像拡大部1623、及び、超解像部1624の代わりに、水平拡大部123、及び、超解像部124が用いられてもよい。そして、光学ローパスフィルタ部2202が、撮像素子2203の水平方向のピッチから得られる水平方向のサンプリング周波数の1/2以上の成分を通過させ、撮像素子2203の垂直方向のピッチから得られる垂直方向のサンプリング周波数の1/2以下の成分を通過させる。これによって、水平方向にのみ生じた折返し成分を除去可能となり、画質劣化の少ない高解像度なフィールド列を撮像可能となる。
また、前述の水平拡大部123を、π/2回転させることによって、フィールド画像を垂直方向に拡大させ、光学ローパスフィルタ部2202の垂直方向の周波数特性については、撮像素子2203の垂直方向のピッチから得られる垂直方向のサンプリング周波数の1/2以上の成分を通過させ、水平方向の周波数特性については撮像素子2203の水平方向のピッチから得られる水平方向のサンプリング周波数の1/2以下の成分を通過させるフィルタとする構成としてもよい。これによって、垂直方向にのみ生じた折返し成分を除去可能となり、画質劣化の少ない高解像度なフィールド画像を撮像可能となる。
本実施形態の画像転送システムによれば、画像送信装置において画像を縮小するため、画像を高い圧縮率によって符号化し、画像受信装置に送信することができる。
また、画像に表示される直線又はエッジの角度304に従って、折返し成分を除去する量を変化させることによって、インタレース走査又はプログレッシブ走査によって画像を縮小及び拡大した画像から、画質劣化の少ない高解像度画像を生成できる。