JP6598365B2 - 帯域合成装置、帯域分割装置、解像度変換装置、超解像装置およびプログラム - Google Patents
帯域合成装置、帯域分割装置、解像度変換装置、超解像装置およびプログラムInfo
- Publication number
- JP6598365B2 JP6598365B2 JP2015206215A JP2015206215A JP6598365B2 JP 6598365 B2 JP6598365 B2 JP 6598365B2 JP 2015206215 A JP2015206215 A JP 2015206215A JP 2015206215 A JP2015206215 A JP 2015206215A JP 6598365 B2 JP6598365 B2 JP 6598365B2
- Authority
- JP
- Japan
- Prior art keywords
- frequency
- low
- signal
- samples
- integer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000002194 synthesizing effect Effects 0.000 title claims description 28
- 238000006243 chemical reaction Methods 0.000 title description 18
- 238000000605 extraction Methods 0.000 claims description 115
- 239000011159 matrix material Substances 0.000 claims description 45
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 claims description 37
- 239000000284 extract Substances 0.000 claims description 13
- 230000015572 biosynthetic process Effects 0.000 claims description 10
- 238000003786 synthesis reaction Methods 0.000 claims description 10
- 238000010586 diagram Methods 0.000 description 10
- 238000000034 method Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
Description
本発明は、帯域合成装置、帯域分割装置、解像度変換装置、超解像装置およびプログラムに関する。
画像の解像度を向上する手法として、超解像技術が知られている。特許文献１には、ウェーブレット超解像による超解像技術が開示されている。
ウェーブレット超解像は、超解像の対象となる原信号と、当該原信号の高域成分を示す信号とを合成することで、原信号の２倍の標本数を有する超解像信号を生成する技術である。そのため、ウェーブレット超解像に基づく超解像装置は、原信号の標本数に対して２のべき乗数倍以外の倍率による拡大を行うことができない。同様に、ウェーブレット変換に基づく帯域分割装置は、原信号の標本数に対して２のべき乗数倍以外の倍率による分割を行うことができない。また、ウェーブレット逆変換に基づく帯域合成装置は、標本数の異なる低域信号と高域信号と合成することができない。
本発明の目的は、上述の課題を解決する帯域合成装置、帯域分割装置、解像度変換装置、超解像装置およびプログラムを提供することにある。
本発明の目的は、上述の課題を解決する帯域合成装置、帯域分割装置、解像度変換装置、超解像装置およびプログラムを提供することにある。
本発明の第１の態様によれば、帯域合成装置は、目的信号の低周波成分であるＳ×Ｌ個の標本を有する低域入力信号と、前記目的信号の高周波成分であるＳ×Ｈ個の標本を有する高域入力信号との入力を受け付ける分割信号入力部と、前記低域入力信号のＬ個の標本と前記高域入力信号のＨ個の標本とからなる標本列の、標本位置に応じたＬ＋Ｈ個の係数による加重和を出力するＭ個のフィルタと、前記フィルタの出力を結合することでＳ×Ｍ個の標本を有する前記目的信号を生成する目的信号生成部とを備え、Ｍ個の前記フィルタにおけるＬ＋Ｈ個の前記係数を要素とする行列の逆行列または疑似逆行列が、低域抽出フィルタとして機能し得るＭ個の係数列を要素とするＬ個の行と高域抽出フィルタとして機能し得るＬ＋Ｈ個の係数列を要素とするＨ個の行とを含む行列であり、前記Ｌが、１以上の整数であり、前記Ｈが、１以上の整数であり、前記Ｓが、１以上の整数であり、前記Ｍが、３以上の整数である。
本発明の第２の態様によれば、第１の態様に係る帯域合成装置は、前記Ｍが、前記Ｈと前記Ｌの和である。
本発明の第３の態様によれば、第１または第２の態様に係る帯域合成装置は、前記Ｌが、２以上の整数であり、Ｌ個の前記行のＭ個の前記係数列が、それぞれ異なる位置にピークを有する。
本発明の第４の態様によれば、第１から第３の何れかの態様に係る帯域合成装置は、前記Ｈが、２以上の整数であり、Ｈ個の前記行のＭ個の前記係数列が、それぞれ異なる位置にピークを有する。
本発明の第５の態様によれば、第１から第４の何れかの態様に係る帯域合成装置は、前記Ｌが３であり、前記Ｈが１であり、前記Ｍが４である。
本発明の第６の態様によれば、帯域分割装置は、Ｓ×Ｍ個の標本を有する入力信号のＭ個の標本からなる標本列ごとに、当該標本列の低周波成分を抽出するＬ個の低域抽出フィルタと、前記入力信号のＭ個の標本からなる標本列ごとに、当該標本列の高周波成分を抽出するＨ個の高域抽出フィルタと、Ｌ個の前記低域抽出フィルタが抽出した前記低周波成分を結合することでＳ×Ｌ個の標本を有する低域出力信号を生成する低域信号生成部とＨ個の前記高域抽出フィルタが抽出した前記高周波成分を結合することでＳ×Ｈ個の標本を有する高域出力信号を生成する高域信号生成部とを備え、前記Ｌが、１以上の整数であり、前記Ｈが、１以上の整数であり、前記Ｓが、１以上の整数であり、前記Ｍが、３以上の整数である。
本発明の第７の態様によれば、第６の態様に係る帯域分割装置は、前記Ｍが、前記Ｈと前記Ｌの和である。
本発明の第８の態様によれば、第６または第７の態様に係る帯域分割装置は、前記Ｌが、２以上の整数であり、Ｌ個の前記低域抽出フィルタは、それぞれ異なる標本位置にピークを有する係数列による加重和を算出することで前記低周波成分を抽出する。
本発明の第９の態様によれば、第６から第８の何れかの態様に係る帯域分割装置は、前記Ｈが、２以上の整数であり、Ｈ個の前記高域抽出フィルタは、それぞれ異なる標本位置にピークを有する係数列による加重和を算出することで前記高周波成分を抽出する。
本発明の第１０の態様によれば、第６から第９の何れかの態様に係る帯域分割装置は、前記Ｌが３であり、前記Ｈが１であり、前記Ｍが４である。
本発明の第１１の態様によれば、解像度変換装置は、Ｓ×Ｍ個の標本を有する入力信号のＭ個の標本からなる標本列ごとに、それぞれ異なる標本位置にピークを有する係数列による加重和を算出することで、当該標本列の低周波成分を抽出するＬ個の低域抽出フィルタと、Ｌ個の前記低域抽出フィルタが抽出した前記低周波成分を結合することでＳ×Ｌ個の標本を有する低域出力信号を生成する低域信号生成部とを備え、少なくとも１つの前記低域抽出フィルタの前記係数列のピークが、当該係数列の端部に存在し、当該係数列を構成する係数が、前記係数列の端部に近いほど大きな値であり、前記Ｌが、２以上の整数であり、前記Ｓが、１以上の整数であり、前記Ｍが、３以上の整数である。
本発明の第１２の態様によれば、超解像装置は、Ｓ×Ｌ個の標本を有する原信号に基づいて、当該原信号の高周波成分であるＳ×Ｈ個の標本を有する高域信号を抽出する高域抽出装置と、前記原信号と前記高域信号とを帯域合成することでＳ×（Ｌ＋Ｈ）個の標本を有する超解像信号を生成する第１の態様に係る帯域合成装置である超解像信号生成装置とを備える。
本発明の第１３の態様によれば、第１２の態様に係る超解像装置は、前記高域抽出装置が、前記原信号を帯域分割することで前記高域出力信号を生成する第６の態様に係る帯域分割装置と、前記高域出力信号と各標本の値がゼロであるゼロ信号とを帯域合成することで前記高域信号を抽出する第１の態様に係る帯域合成装置である補間拡大装置とを備える。
本発明の第１４の態様によれば、プログラムは、コンピュータを、目的信号の低周波成分であるＳ×Ｌ個の標本を有する低域入力信号と、前記目的信号の高周波成分であるＳ×Ｈ個の標本を有する高域入力信号との入力を受け付ける分割信号入力部、前記低域入力信号のＬ個の標本と前記高域入力信号のＨ個の標本とからなる標本列の、標本位置に応じたＬ＋Ｈ個の係数による加重和を出力するＭ個のフィルタ、前記フィルタの出力を結合することでＳ×Ｍ個の標本を有する前記目的信号を生成する目的信号生成部として機能させ、Ｍ個の前記フィルタにおけるＬ＋Ｈ個の前記係数を要素とする行列の逆行列または疑似逆行列が、低域抽出フィルタとして機能し得るＭ個の係数列を要素とするＬ個の行と高域抽出フィルタとして機能し得るＬ＋Ｈ個の係数列を要素とするＨ個の行とを含む行列であり、前記Ｌが、１以上の整数であり、前記Ｈが、１以上の整数であり、前記Ｓが、１以上の整数であり、前記Ｍが、３以上の整数である。
本発明の第１５の態様によれば、プログラムは、コンピュータを、Ｓ×Ｍ個の標本を有する入力信号のＭ個の標本からなる標本列ごとに、当該標本列の低周波成分を抽出するＬ個の低域抽出フィルタ、前記入力信号のＭ個の標本からなる標本列ごとに、当該標本列の高周波成分を抽出するＨ個の高域抽出フィルタ、Ｌ個の前記低域抽出フィルタが抽出した前記低周波成分を結合することでＳ×Ｌ個の標本を有する低域出力信号を生成する低域信号生成部、Ｈ個の前記高域抽出フィルタが抽出した前記高周波成分を結合することでＳ×Ｈ個の標本を有する高域出力信号を生成する高域信号生成部として機能させ、前記Ｌが、１以上の整数であり、前記Ｈが、１以上の整数であり、前記Ｓが、１以上の整数であり、前記Ｍが、３以上の整数である。
本発明の第１６の態様によれば、プログラムは、コンピュータを、Ｓ×Ｍ個の標本を有する入力信号のＭ個の標本からなる標本列ごとに、それぞれ異なる標本位置にピークを有する係数列による加重和を算出することで、当該標本列の低周波成分を抽出するＬ個の低域抽出フィルタ、Ｌ個の前記低域抽出フィルタが抽出した前記低周波成分を結合することでＳ×Ｌ個の標本を有する低域出力信号を生成する低域信号生成部として機能させ、少なくとも１つの前記低域抽出フィルタの前記係数列のピークが、当該係数列の端部に存在し、当該係数列を構成する係数が、前記係数列の端部に近いほど大きな値であり、前記Ｌが、２以上の整数であり、前記Ｓが、１以上の整数であり、前記Ｍが、３以上の整数である。
上記態様のうち少なくとも１つの態様によれば、帯域合成装置は、任意の比（Ｌ：Ｈ）に係る低域信号と高域信号とに基づいて信号を合成することができる。また帯域分割装置は、信号を任意の比（Ｌ：Ｈ）に係る低域信号と高域信号とに分割することができる。また解像度変換装置は、原信号を任意の倍率（Ｌ／Ｍ）に縮小することができる。また超解像装置は、原信号を任意の倍率（（Ｌ＋Ｈ）／Ｌ）に拡大することができる。
《第１の実施形態》
以下、図面を参照しながら実施形態について詳しく説明する。
図１は、第１の実施形態に係る超解像装置の構成を示す概略ブロック図である。
第１の実施形態に係る超解像装置１００は、入力画像の解像度を４／３倍に向上させた出力画像を生成する。なお、本実施形態において解像度とは、画像解像度やサンプリング周波数など、信号における標本の密度を示す。
超解像装置１００は、入力端子１０１、帯域分割装置１０２、補間拡大装置１０３、畳込装置１０４、超解像信号生成装置１０５、出力端子１０６を備える。本実施形態に係る帯域分割装置１０２、補間拡大装置１０３、畳込装置１０４および超解像信号生成装置１０５は、デジタル回路である。
以下、図面を参照しながら実施形態について詳しく説明する。
図１は、第１の実施形態に係る超解像装置の構成を示す概略ブロック図である。
第１の実施形態に係る超解像装置１００は、入力画像の解像度を４／３倍に向上させた出力画像を生成する。なお、本実施形態において解像度とは、画像解像度やサンプリング周波数など、信号における標本の密度を示す。
超解像装置１００は、入力端子１０１、帯域分割装置１０２、補間拡大装置１０３、畳込装置１０４、超解像信号生成装置１０５、出力端子１０６を備える。本実施形態に係る帯域分割装置１０２、補間拡大装置１０３、畳込装置１０４および超解像信号生成装置１０５は、デジタル回路である。
帯域分割装置１０２は、入力端子１０１に入力された入力画像を低域出力画像と高域出力画像とに帯域分割する。低域出力画像の画素数は、入力画像の画素数の３／４倍である。高域出力画像の画素数は、入力画像の画素数の１／４倍である。
補間拡大装置１０３は、帯域分割装置１０２が生成した高域出力画像を補間により４／３倍に拡大した拡大高域画像を生成する。つまり、拡大高域画像の画素数は、入力画像の画素数の１／３倍である。具体的には、補間拡大装置１０３は、帯域分割装置１０２が生成した高域出力画像と、各画素の画素値がゼロである黒色画像とを補間により４／３倍に拡大した拡大高域画像を生成する。
畳込装置１０４は、補間拡大装置１０３が生成した拡大高域画像に所定のカーネルを畳み込み、修正高域画像を生成する。本実施形態に係る畳込装置１０４は、拡大高域画像に最大値０．５、分散値０．５画素のガウシアンカーネルを畳み込む。なお、他の実施形態に係る畳込装置１０４は、微分カーネルなどの他の畳み込みカーネルを用いてもよい。また、他の実施形態に係る超解像装置１００は、必ずしも畳込装置１０４を備えなくてもよい。また、他の実施形態に係る超解像装置１００は、畳込装置１０４に代えて、拡大高域画像をスカラー倍する増幅器を備えてもよい。
超解像信号生成装置１０５は、入力画像と修正高域画像とを帯域合成することで、出力画像を生成し、出力端子１０６から出力する。出力画像の画素数は、入力画像の画素数の４／３倍である。超解像信号生成装置１０５は、入力画像に対する修正高域画像の遅延を補償するバッファを備える。当該遅延は、帯域分割装置１０２、補間拡大装置１０３および超解像信号生成装置１０５の信号処理によるものである。
ここで、帯域分割装置１０２の構成について詳述する。図２は、第１の実施形態に係る帯域分割装置の構成を示す概略ブロック図である。
帯域分割装置１０２は、入力端子２０１、区間分割部２０２、低域抽出フィルタ２０３、低域抽出フィルタ２０４、低域抽出フィルタ２０５、高域抽出フィルタ２０６、低域信号生成部２０７、高域信号生成部２０８、低域出力端子２０９、高域出力端子２１０を備える。
帯域分割装置１０２は、入力端子２０１、区間分割部２０２、低域抽出フィルタ２０３、低域抽出フィルタ２０４、低域抽出フィルタ２０５、高域抽出フィルタ２０６、低域信号生成部２０７、高域信号生成部２０８、低域出力端子２０９、高域出力端子２１０を備える。
区間分割部２０２は、入力端子２０１に入力された画像を、４画素ごとの画素列に分割する。例えば、入力端子２０１に４×Ｓの画素数を有する画像が入力された場合、区間分割部２０２は、当該画像を分割し、４画素ごとの画素列をＳ個生成する。なお、Ｓは１以上の整数である。区間分割部２０２が分割した画素列は、順番を保ったまま、低域抽出フィルタ２０３、低域抽出フィルタ２０４、低域抽出フィルタ２０５、および高域抽出フィルタ２０６に入力される。
低域抽出フィルタ２０３、低域抽出フィルタ２０４、および低域抽出フィルタ２０５は、分割された各画素列について、画素列の低周波成分を抽出する。高域抽出フィルタ２０６は、分割された各画素列について、画素列の高周波成分を抽出する。低域抽出フィルタ２０３、低域抽出フィルタ２０４、低域抽出フィルタ２０５、および高域抽出フィルタ２０６は、いずれも４つのタップを有するＦＩＲフィルタであって、画素列ごとに１つの画素値を出力する。
低域信号生成部２０７は、低域抽出フィルタ２０３、低域抽出フィルタ２０４、および低域抽出フィルタ２０５が出力する画素値を、低域抽出フィルタ２０３、低域抽出フィルタ２０４、および低域抽出フィルタ２０５の順に結合することで、順次、３画素の画素列を生成する。また、低域信号生成部２０７は、当該画素列を、順番を保ったまま結合することで、低域出力画像を生成する。低域信号生成部２０７は、例えばデータセレクタとバッファによって構成される。低域信号生成部２０７が生成した低域出力画像は、低域出力端子２０９から出力される。
高域信号生成部２０８は、高域抽出フィルタ２０６が出力する画素値を、順番を保ったまま結合することで、高域出力画像を生成する。高域信号生成部２０８は、例えばバッファによって構成される。高域信号生成部２０８が生成した高域出力画像は、高域出力端子２１０から出力される。
高域信号生成部２０８は、高域抽出フィルタ２０６が出力する画素値を、順番を保ったまま結合することで、高域出力画像を生成する。高域信号生成部２０８は、例えばバッファによって構成される。高域信号生成部２０８が生成した高域出力画像は、高域出力端子２１０から出力される。
以下に、帯域分割装置１０２が備えるフィルタの具体例を示す。
例えば、低域抽出フィルタ２０３は、画素列について、１番目の画素の画素値に５／６を乗算した値と、２番目の画素の画素値に１／６を乗算した値と、３番目の画素の画素値に０を乗算した値と、４番目の画素の画素値に０を乗算した値との和を出力する。
例えば、低域抽出フィルタ２０４は、画素列について、１番目の画素の画素値に０を乗算した値と、２番目の画素の画素値に１／２を乗算した値と、３番目の画素の画素値に１／２を乗算した値と、４番目の画素の画素値に０を乗算した値との和を出力する。
例えば、低域抽出フィルタ２０５は、画素列について、１番目の画素の画素値に０を乗算した値と、２番目の画素の画素値に０を乗算した値と、３番目の画素の画素値に１／６を乗算した値と、４番目の画素の画素値に１／６を乗算した値との和を出力する。
例えば、高域抽出フィルタ２０６は、画素列について、１番目の画素の画素値に０を乗算した値と、２番目の画素の画素値に１／２を乗算した値と、３番目の画素の画素値に−１／２を乗算した値と、４番目の画素の画素値に０を乗算した値との和を出力する。
つまり、フィルタを行にとり、画素位置を列にとると、帯域分割装置１０２のタップ係数群は、以下に示す式（１）の行列Ｘｄで表すことができる。
例えば、低域抽出フィルタ２０３は、画素列について、１番目の画素の画素値に５／６を乗算した値と、２番目の画素の画素値に１／６を乗算した値と、３番目の画素の画素値に０を乗算した値と、４番目の画素の画素値に０を乗算した値との和を出力する。
例えば、低域抽出フィルタ２０４は、画素列について、１番目の画素の画素値に０を乗算した値と、２番目の画素の画素値に１／２を乗算した値と、３番目の画素の画素値に１／２を乗算した値と、４番目の画素の画素値に０を乗算した値との和を出力する。
例えば、低域抽出フィルタ２０５は、画素列について、１番目の画素の画素値に０を乗算した値と、２番目の画素の画素値に０を乗算した値と、３番目の画素の画素値に１／６を乗算した値と、４番目の画素の画素値に１／６を乗算した値との和を出力する。
例えば、高域抽出フィルタ２０６は、画素列について、１番目の画素の画素値に０を乗算した値と、２番目の画素の画素値に１／２を乗算した値と、３番目の画素の画素値に−１／２を乗算した値と、４番目の画素の画素値に０を乗算した値との和を出力する。
つまり、フィルタを行にとり、画素位置を列にとると、帯域分割装置１０２のタップ係数群は、以下に示す式（１）の行列Ｘｄで表すことができる。
このように、低域抽出フィルタ２０３、低域抽出フィルタ２０４および低域抽出フィルタ２０５の係数列は、それぞれ異なる位置にピーク（係数の最大値）を有する。具体的には、低域抽出フィルタ２０３の係数列のピーク位置は、１画素目の画素位置である。低域抽出フィルタ２０４の係数列のピーク位置は、２画素目および３画素目の画素位置である。低域抽出フィルタ２０５の係数列のピーク位置は、４画素目の画素位置である。また、画素列の端部（１画素目または４画素目）にピーク位置を有するフィルタである低域抽出フィルタ２０３および低域抽出フィルタ２０５における係数は、端部に近いほど大きい値に設定される。これにより、低域信号生成部２０７によって生成される低域出力画像の画素列の境界部分に生じるエッジの大きさを低減することができる。
補間拡大装置１０３および超解像信号生成装置１０５の構成について説明する。補間拡大装置１０３および超解像信号生成装置１０５は、帯域合成装置３００の一例であり、同一の構成を有する。図３は、第１の実施形態に係る帯域合成装置の構成を示す概略ブロック図である。
帯域合成装置３００は、ある目的画像の低周波成分である低域入力画像と、当該目的画像の高周波成分である高域入力画像とを合成し、当該目的画像を生成する。帯域合成装置３００は、低域入力端子３０１、高域入力端子３０２、標本列生成部３０３、フィルタ３０４、フィルタ３０５、フィルタ３０６、フィルタ３０７、目的信号生成部３０８、出力端子３０９を備える。
帯域合成装置３００は、ある目的画像の低周波成分である低域入力画像と、当該目的画像の高周波成分である高域入力画像とを合成し、当該目的画像を生成する。帯域合成装置３００は、低域入力端子３０１、高域入力端子３０２、標本列生成部３０３、フィルタ３０４、フィルタ３０５、フィルタ３０６、フィルタ３０７、目的信号生成部３０８、出力端子３０９を備える。
標本列生成部３０３は、低域入力端子３０１に入力された低域入力画像を３画素ごとに分割する。また標本列生成部３０３は、高域入力端子３０２に入力された高域入力画像を１画素ごとに分割する。標本列生成部３０３は、低域入力画像の３画素と高域入力画像の１画素とを結合することで、４画素ごとの画素列を生成する。低域入力端子３０１および高域入力端子３０２は、分割信号入力部の一例である。
例えば、低域入力端子３０１に３×Ｓの画素数を有する低域入力画像が入力され、高域入力端子３０２に１×Ｓの画素数を有する高域入力画像が入力された場合、標本列生成部３０３は、４画素ごとの画素列をＳ個生成する。なお、Ｓは１以上の整数である。標本列生成部３０３が生成した画素列は、順番を保ったまま、フィルタ３０４、フィルタ３０５、フィルタ３０６、フィルタ３０７に入力される。
例えば、低域入力端子３０１に３×Ｓの画素数を有する低域入力画像が入力され、高域入力端子３０２に１×Ｓの画素数を有する高域入力画像が入力された場合、標本列生成部３０３は、４画素ごとの画素列をＳ個生成する。なお、Ｓは１以上の整数である。標本列生成部３０３が生成した画素列は、順番を保ったまま、フィルタ３０４、フィルタ３０５、フィルタ３０６、フィルタ３０７に入力される。
フィルタ３０４、フィルタ３０５、フィルタ３０６、フィルタ３０７は、いずれも４つのタップを有するＦＩＲフィルタであって、画素列ごとに１つの画素値を出力する。
目的信号生成部３０８は、フィルタ３０４、フィルタ３０５、フィルタ３０６、フィルタ３０７が出力する画素値を、フィルタ３０４、フィルタ３０５、フィルタ３０６、フィルタ３０７の順に結合することで、順次、４画素の画素列を生成する。また、目的信号生成部３０８は、当該画素列を、順番を保ったまま結合することで、４×Ｓの画素数を有する目的画像を生成する。目的信号生成部３０８は、例えばデータセレクタとバッファによって構成される。目的信号生成部３０８が生成した目的画像は、出力端子３０９から出力される。
目的信号生成部３０８は、フィルタ３０４、フィルタ３０５、フィルタ３０６、フィルタ３０７が出力する画素値を、フィルタ３０４、フィルタ３０５、フィルタ３０６、フィルタ３０７の順に結合することで、順次、４画素の画素列を生成する。また、目的信号生成部３０８は、当該画素列を、順番を保ったまま結合することで、４×Ｓの画素数を有する目的画像を生成する。目的信号生成部３０８は、例えばデータセレクタとバッファによって構成される。目的信号生成部３０８が生成した目的画像は、出力端子３０９から出力される。
以下に、帯域合成装置３００が備えるフィルタの具体例を示す。
例えば、フィルタ３０４は、画素列について、１番目の画素の画素値に６／５を乗算した値と、２番目の画素の画素値に−１／５を乗算した値と、３番目の画素の画素値に０を乗算した値と、４番目の画素の画素値にに−１／５を乗算した値との和を出力する。
例えば、フィルタ３０５は、画素列について、１番目の画素の画素値に０を乗算した値と、２番目の画素の画素値に１を乗算した値と、３番目の画素の画素値に０を乗算した値と、４番目の画素の画素値に１を乗算した値との和を出力する。
例えば、フィルタ３０６は、画素列について、１番目の画素の画素値に０を乗算した値と、２番目の画素の画素値に１を乗算した値と、３番目の画素の画素値に０を乗算した値と、４番目の画素の画素値に−１を乗算した値との和を出力する。
例えば、フィルタ３０７は、画素列について、１番目の画素の画素値に０を乗算した値と、２番目の画素の画素値に−１／５を乗算した値と、３番目の画素の画素値に６／５を乗算した値と、４番目の画素の画素値に１／５を乗算した値との和を出力する。
つまり、フィルタを行にとり、画素位置を列にとると、帯域合成装置３００のタップ係数群は、以下に示す式（２）の行列Ｘｃで表すことができる。
例えば、フィルタ３０４は、画素列について、１番目の画素の画素値に６／５を乗算した値と、２番目の画素の画素値に−１／５を乗算した値と、３番目の画素の画素値に０を乗算した値と、４番目の画素の画素値にに−１／５を乗算した値との和を出力する。
例えば、フィルタ３０５は、画素列について、１番目の画素の画素値に０を乗算した値と、２番目の画素の画素値に１を乗算した値と、３番目の画素の画素値に０を乗算した値と、４番目の画素の画素値に１を乗算した値との和を出力する。
例えば、フィルタ３０６は、画素列について、１番目の画素の画素値に０を乗算した値と、２番目の画素の画素値に１を乗算した値と、３番目の画素の画素値に０を乗算した値と、４番目の画素の画素値に−１を乗算した値との和を出力する。
例えば、フィルタ３０７は、画素列について、１番目の画素の画素値に０を乗算した値と、２番目の画素の画素値に−１／５を乗算した値と、３番目の画素の画素値に６／５を乗算した値と、４番目の画素の画素値に１／５を乗算した値との和を出力する。
つまり、フィルタを行にとり、画素位置を列にとると、帯域合成装置３００のタップ係数群は、以下に示す式（２）の行列Ｘｃで表すことができる。
なお、当該行列Ｘｃは、式（１）に示す行列Ｘｄの逆行列である。つまり、行列Ｘｃの逆行列は、行列Ｘｄと等しい。当該逆行列のうち、低域抽出フィルタとして機能し得る４個の係数列を要素とする３個の行の係数列は、それぞれ異なる位置にピークを有する。
このように、帯域合成装置３００のタップ係数は、帯域分割装置１０２のタップ係数群を示す行列Ｘｄの逆行列によって規定される。これにより、帯域合成装置３００は、帯域分割装置１０２が分割した低域出力画像と高域出力画像とを合成することで、帯域分割装置１０２に入力された画像を復元することができる。
このように、帯域合成装置３００のタップ係数は、帯域分割装置１０２のタップ係数群を示す行列Ｘｄの逆行列によって規定される。これにより、帯域合成装置３００は、帯域分割装置１０２が分割した低域出力画像と高域出力画像とを合成することで、帯域分割装置１０２に入力された画像を復元することができる。
次に、本実施形態に係る超解像装置１００の動作を説明する。図４は、第１の実施形態に係る超解像装置の動作を示すフローチャートである。
入力端子１０１に入力画像が入力されると、帯域分割装置１０２は、入力画像を帯域分割し、入力画像の３／４の画素数を有する低域出力画像と、入力画像の１／４の画素数を有する高域出力画像とを生成する（ステップＳ１）。高域出力画像は、補間拡大装置１０３の低域入力端子３０１に入力される。また補間拡大装置１０３の高域入力端子３０２には、各画素の画素値がゼロである黒色画像（ゼロ信号）が入力される。補間拡大装置１０３は、高域出力画像と黒色画像とを帯域合成することで、入力画像の１／３倍の画素数を有する拡大高域画像を生成する（ステップＳ２）。次に、畳込装置１０４は、拡大高域画像にガウシアンカーネルを畳み込み、修正高域画像を生成する（ステップＳ３）。修正高域画像は、超解像信号生成装置１０５の高域入力端子３０２に入力される。また超解像信号生成装置１０５の低域入力端子３０１には、ステップＳ１の入力画像が入力される。そして、超解像信号生成装置１０５は、入力画像と修正高域画像とを帯域合成することで、入力画像の４／３倍の画素数を有する出力画像を生成し、出力端子１０６から出力する（ステップＳ４）。
入力端子１０１に入力画像が入力されると、帯域分割装置１０２は、入力画像を帯域分割し、入力画像の３／４の画素数を有する低域出力画像と、入力画像の１／４の画素数を有する高域出力画像とを生成する（ステップＳ１）。高域出力画像は、補間拡大装置１０３の低域入力端子３０１に入力される。また補間拡大装置１０３の高域入力端子３０２には、各画素の画素値がゼロである黒色画像（ゼロ信号）が入力される。補間拡大装置１０３は、高域出力画像と黒色画像とを帯域合成することで、入力画像の１／３倍の画素数を有する拡大高域画像を生成する（ステップＳ２）。次に、畳込装置１０４は、拡大高域画像にガウシアンカーネルを畳み込み、修正高域画像を生成する（ステップＳ３）。修正高域画像は、超解像信号生成装置１０５の高域入力端子３０２に入力される。また超解像信号生成装置１０５の低域入力端子３０１には、ステップＳ１の入力画像が入力される。そして、超解像信号生成装置１０５は、入力画像と修正高域画像とを帯域合成することで、入力画像の４／３倍の画素数を有する出力画像を生成し、出力端子１０６から出力する（ステップＳ４）。
このように、本実施形態によれば、超解像装置１００は、入力画像を任意の倍率（４／３倍）に拡大した出力画像を生成することができる。例えば、入力画像の画素数が３×Ｓである場合、超解像装置１００は、画素数が４×Ｓの出力画像を生成する。
また、本実施形態に係る帯域分割装置１０２は、入力画像を任意の比（３：１）に係る低域画像と高域画像とに分割することができる。また、本実施形態に係る帯域合成装置３００（補間拡大装置１０３および超解像信号生成装置１０５）は、任意の比（３：１）に係る低域信号と高域信号とに基づいて画像を合成することができる。
また、本実施形態に係る帯域分割装置１０２は、入力画像を任意の比（３：１）に係る低域画像と高域画像とに分割することができる。また、本実施形態に係る帯域合成装置３００（補間拡大装置１０３および超解像信号生成装置１０５）は、任意の比（３：１）に係る低域信号と高域信号とに基づいて画像を合成することができる。
なお、本実施形態に係る超解像装置１００は、入力画像を４／３倍に拡大するが、これに限られない。例えば、他の実施形態に係る超解像装置１００は、入力画像を他の倍率である（Ｌ＋Ｈ）／Ｌ倍に拡大してもよい。なお、ＬおよびＨは、１以上の整数である。つまり、上述した実施形態は、Ｌ＝３、Ｈ＝１とする超解像装置１００である。
また、本実施形態に係る帯域分割装置１０２および帯域合成装置３００は、フィルタ数とタップ数が等しいが、これに限られない。つまり、本実施形態では、帯域分割装置１０２の低域抽出フィルタの数をＬ個とおき、高域抽出フィルタの数をＨ個とおき、タップ数をＭ個とおいた場合、Ｌ＋ＨがＭに等しいが、これに限られない。なお、Ｍは３以上の整数である。なお、帯域分割装置１０２のフィルタ数がＬ＋Ｈ個でありかつタップ数をＭ個である場合、帯域合成装置３００のフィルタ数はＭ個でありかつタップ数はＬ＋Ｈ個である。Ｌ＋ＨがＭに等しくない場合、帯域分割装置１０２および帯域合成装置３００のタップ係数を示す行列Ｘｄ、Ｘｃは、正方行列とならない。この場合、帯域合成装置３００のタップ係数は、行列Ｘｄの疑似逆行列によって規定される。なお、帯域合成装置３００のタップ係数が行列Ｘｄの疑似逆行列によって規定される場合、帯域合成装置３００が低域出力画像と高域出力画像とを合成した画像は、帯域分割装置１０２に入力された画像に近似するが、一致するとは限らない。
また、Ｌ＋ＨがＭに等しくても、帯域分割装置１０２のタップ係数を示す行列Ｘｄが正則行列とならない場合、帯域合成装置３００のタップ係数は、行列Ｘｄの疑似逆行列によって規定される。
また、Ｌ＋ＨがＭに等しくても、帯域分割装置１０２のタップ係数を示す行列Ｘｄが正則行列とならない場合、帯域合成装置３００のタップ係数は、行列Ｘｄの疑似逆行列によって規定される。
また、本実施形態に係る帯域分割装置１０２は、高域抽出フィルタ２０６を１つ備えるが、これに限られない。例えば、他の実施形態に係る帯域分割装置１０２は、高域抽出フィルタ２０６を２つ以上備えてもよい。なお、他の実施形態に係る帯域分割装置１０２が高域抽出フィルタ２０６を２つ以上備える場合、各高域抽出フィルタ２０６の係数列は、それぞれ異なる位置にピーク（係数の最大値および最小値）を有することが好ましい。この場合、帯域合成装置３００のフィルタ３０４、フィルタ３０５、フィルタ３０６、フィルタ３０７におけるタップ係数を要素とする行列Ｘｃの逆行列のうち、高域抽出フィルタとして機能し得る係数列を要素とする行の係数列は、それぞれ異なる位置にピークを有することとなる。
また、本実施形態に係る低域抽出フィルタ２０３、低域抽出フィルタ２０４、低域抽出フィルタ２０５、および高域抽出フィルタ２０６は、いずれも４個のタップを備えるＦＩＲフィルタであるが、これに限られない。例えば、他の実施形態に係る低域抽出フィルタ２０３、低域抽出フィルタ２０４、低域抽出フィルタ２０５、および低域抽出フィルタ２０３は、係数の一部にゼロを含む場合、当該係数に係るタップを省略してもよい。具体的には、低域抽出フィルタ２０３は、画素列について、１番目の画素の画素値に５／６を乗算した値と、２番目の画素の画素値に１／６を乗算した値との和を出力する２タップのフィルタとして構成されてもよい。
同様に、本実施形態に係るフィルタ３０４、フィルタ３０５、フィルタ３０６およびフィルタ３０７は、いずれも４個のタップを備えるＦＩＲフィルタであるが、これに限られない。例えば、他の実施形態に係るフィルタ３０４、フィルタ３０５、フィルタ３０６およびフィルタ３０７は、係数の一部にゼロを含む場合、当該係数に係るタップを省略してもよい。具体的には、フィルタ３０４は、画素列について、１番目の画素の画素値に６／５を乗算した値と、２番目の画素の画素値に−１／５を乗算した値と、４番目の画素の画素値に−１／５を乗算した値との和を出力する３タップのフィルタとして構成されてもよい。
同様に、本実施形態に係るフィルタ３０４、フィルタ３０５、フィルタ３０６およびフィルタ３０７は、いずれも４個のタップを備えるＦＩＲフィルタであるが、これに限られない。例えば、他の実施形態に係るフィルタ３０４、フィルタ３０５、フィルタ３０６およびフィルタ３０７は、係数の一部にゼロを含む場合、当該係数に係るタップを省略してもよい。具体的には、フィルタ３０４は、画素列について、１番目の画素の画素値に６／５を乗算した値と、２番目の画素の画素値に−１／５を乗算した値と、４番目の画素の画素値に−１／５を乗算した値との和を出力する３タップのフィルタとして構成されてもよい。
また、本実施形態では、帯域分割装置１０２が生成した高域出力画像を、補間拡大装置１０３が拡大することにより、拡大高域画像を生成するが、これに限られない。例えば、他の実施形態に係る超解像装置１００は、帯域分割装置１０２と補間拡大装置１０３の組み合わせに代えて、入力画像に基づいて、当該入力画像の高周波成分であって入力画像の１／３倍の画素数を有する高域画像を抽出する高域抽出装置を備えてもよい。例えば、高域抽出装置は、ソーベルフィルタやラプラシアンフィルタにより、入力画像と同じ画素数を有するエッジ画像を抽出し、当該エッジ画像の画素を１／３に間引くことで、高域画像を生成してもよい。なお、帯域分割装置１０２と補間拡大装置１０３の組み合わせは、高域抽出装置の一例である。
また、他の実施形態に係る帯域分割装置１０２は、低域抽出フィルタ２０３、低域抽出フィルタ２０４、低域抽出フィルタ２０５、区間分割部２０２および低域出力端子２０９を備えない構成であってもよい。つまり、超解像装置１００が備える帯域分割装置１０２は、低域出力画像を出力するものであればよく、高域出力画像を生成しなくてもよい。
また、他の実施形態に係る帯域分割装置１０２は、低域抽出フィルタ２０３、低域抽出フィルタ２０４、低域抽出フィルタ２０５、区間分割部２０２および低域出力端子２０９を備えない構成であってもよい。つまり、超解像装置１００が備える帯域分割装置１０２は、低域出力画像を出力するものであればよく、高域出力画像を生成しなくてもよい。
なお、本実施形態では、帯域合成装置３００のタップ係数が、帯域分割装置１０２のタップ係数群を示す行列Ｘｄの逆行列によって規定されるが、これに限られない。例えば、他の実施形態では、帯域合成装置３００のタップ係数が、低域抽出フィルタとして機能し得るＭ個の係数列を要素とするＬ個の行と高域抽出フィルタとして機能し得るＭ個の係数列を要素とするＨ個の行とを含む行列の逆行列によって規定されても良い。なお、行列Ｘｃの逆行列が行列Ｘｄと一致しない場合、帯域合成装置３００が低域出力画像と高域出力画像とを合成した画像は、帯域分割装置１０２に入力された画像に近似するが、一致するとは限らない。
なお、行列Ｘｄは、低域抽出フィルタとして機能し得るＭ個の係数列を要素とするＬ個の行と高域抽出フィルタとして機能し得るＭ個の係数列を要素とするＨ個の行とを含む行列の一例である。
なお、行列Ｘｄは、低域抽出フィルタとして機能し得るＭ個の係数列を要素とするＬ個の行と高域抽出フィルタとして機能し得るＭ個の係数列を要素とするＨ個の行とを含む行列の一例である。
《第２の実施形態》
第２の実施形態について説明する。図５は、第２の実施形態に係る解像度変換装置の構成を示す概略ブロック図である。
第１の実施形態に係る超解像装置１００は、入力画像の解像度を４／３倍に拡大するものである。これに対し、第２の実施形態に係る解像度変換装置４００は、入力画像の解像度を３／４倍に縮小するものである。
第２の実施形態に係る解像度変換装置４００は、第１の実施形態の帯域分割装置１０２から高域抽出フィルタ２０６、高域信号生成部２０８および高域出力端子２１０を除いたものである。つまり、解像度変換装置４００は、入力画像に基づいて、入力画像の３／４倍の画素数を有する出力画像（低域出力画像）を生成する。なお、第１の実施形態と同様に、解像度変換装置４００の低域抽出フィルタ２０３および低域抽出フィルタ２０５における係数は、端部に近いほど大きい値に設定される。これにより、解像度変換装置４００が出力する出力画像の画素列の境界部分に生じるエッジの大きさを低減することができる。
第２の実施形態について説明する。図５は、第２の実施形態に係る解像度変換装置の構成を示す概略ブロック図である。
第１の実施形態に係る超解像装置１００は、入力画像の解像度を４／３倍に拡大するものである。これに対し、第２の実施形態に係る解像度変換装置４００は、入力画像の解像度を３／４倍に縮小するものである。
第２の実施形態に係る解像度変換装置４００は、第１の実施形態の帯域分割装置１０２から高域抽出フィルタ２０６、高域信号生成部２０８および高域出力端子２１０を除いたものである。つまり、解像度変換装置４００は、入力画像に基づいて、入力画像の３／４倍の画素数を有する出力画像（低域出力画像）を生成する。なお、第１の実施形態と同様に、解像度変換装置４００の低域抽出フィルタ２０３および低域抽出フィルタ２０５における係数は、端部に近いほど大きい値に設定される。これにより、解像度変換装置４００が出力する出力画像の画素列の境界部分に生じるエッジの大きさを低減することができる。
このように、本実施形態によれば、解像度変換装置４００は、入力画像を任意の倍率（３／４倍）に縮小した出力画像を生成することができる。例えば、入力画像の画素数が４×Ｓである場合、解像度変換装置４００は、画素数が３×Ｓの出力画像を生成する。
なお、本実施形態に係る解像度変換装置４００は、入力画像を３／４倍に縮小するが、これに限られない。例えば、他の実施形態に係る解像度変換装置４００は、入力画像を他の倍率であるＬ／（Ｌ＋Ｈ）倍に縮小してもよい。なお、ＬおよびＨは、１以上の整数である。つまり、上述した実施形態は、Ｌ＝３、Ｈ＝１とする解像度変換装置４００である。
また、本実施形態に係る低域抽出フィルタ２０３、低域抽出フィルタ２０４、および低域抽出フィルタ２０５は、いずれも４個のタップを備えるＦＩＲフィルタであるが、これに限られない。例えば、他の実施形態に係る低域抽出フィルタ２０３、低域抽出フィルタ２０４および低域抽出フィルタ２０５は、係数の一部にゼロを含む場合、当該係数に係るタップを省略してもよい。
以上、図面を参照して一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、様々な設計変更等をすることが可能である。
上述した実施形態では、超解像装置１００、帯域分割装置１０２、帯域合成装置３００および解像度変換装置４００が、画像を処理する場合について説明した、これに限られない。例えば、他の実施形態に係る超解像装置１００、帯域分割装置１０２、帯域合成装置３００または解像度変換装置４００は、音声信号など他の信号を処理するために用いられてもよい。つまり、帯域合成装置３００は、任意の比に係る低域信号と高域信号とに基づいて信号を合成することができる。また帯域分割装置１０２は、信号を任意の比に係る低域信号と高域信号とに分割することができる。また解像度変換装置４００は、原信号を任意の倍率に縮小することができる。また超解像装置１００は、原信号を任意の倍率に拡大することができる。なお、画像の画素は、信号の標本の一例である。
例えば、上述した第１の実施形態に係る帯域分割装置１０２および帯域合成装置３００は、超解像装置１００に備えられるが、これに限られない。例えば、他の実施形態では、フィルタバンクが帯域分割装置１０２を備えても良い。フィルタバンクは、入力信号を複数の帯域に分割する装置である。フィルタバンクがウェーブレット変換器により構成される場合、帯域の分割が２のべき乗数に限られるが、帯域分割装置１０２を用いることで、任意の比率で信号を分割することができる。なお、帯域分割装置１０２を利用するフィルタバンクによって分割された信号は、帯域合成装置３００を用いることで復元することができる。
上述した実施形態では、超解像装置１００、帯域分割装置１０２、帯域合成装置３００および解像度変換装置４００が、画像を処理する場合について説明した、これに限られない。例えば、他の実施形態に係る超解像装置１００、帯域分割装置１０２、帯域合成装置３００または解像度変換装置４００は、音声信号など他の信号を処理するために用いられてもよい。つまり、帯域合成装置３００は、任意の比に係る低域信号と高域信号とに基づいて信号を合成することができる。また帯域分割装置１０２は、信号を任意の比に係る低域信号と高域信号とに分割することができる。また解像度変換装置４００は、原信号を任意の倍率に縮小することができる。また超解像装置１００は、原信号を任意の倍率に拡大することができる。なお、画像の画素は、信号の標本の一例である。
例えば、上述した第１の実施形態に係る帯域分割装置１０２および帯域合成装置３００は、超解像装置１００に備えられるが、これに限られない。例えば、他の実施形態では、フィルタバンクが帯域分割装置１０２を備えても良い。フィルタバンクは、入力信号を複数の帯域に分割する装置である。フィルタバンクがウェーブレット変換器により構成される場合、帯域の分割が２のべき乗数に限られるが、帯域分割装置１０２を用いることで、任意の比率で信号を分割することができる。なお、帯域分割装置１０２を利用するフィルタバンクによって分割された信号は、帯域合成装置３００を用いることで復元することができる。
図６は、少なくとも１つの実施形態に係るコンピュータの構成を示す概略ブロック図である。
コンピュータ９００は、ＣＰＵ９０１、主記憶装置９０２、補助記憶装置９０３、インタフェース９０４を備える。
上述した実施形態に係る超解像装置１００、帯域分割装置１０２、帯域合成装置３００および解像度変換装置４００は、各処理部が半導体素子によって構成される集積回路として実装される。他方、他の実施形態に係る超解像装置１００、帯域分割装置１０２、帯域合成装置３００または解像度変換装置４００は、コンピュータ９００に実装されてもよい。この場合、各処理部の動作は、プログラムの形式で補助記憶装置９０３に記憶される。ＣＰＵ９０１は、プログラムを補助記憶装置９０３から読み出して主記憶装置９０２に展開し、当該プログラムに従って上記処理を実行する。
コンピュータ９００は、ＣＰＵ９０１、主記憶装置９０２、補助記憶装置９０３、インタフェース９０４を備える。
上述した実施形態に係る超解像装置１００、帯域分割装置１０２、帯域合成装置３００および解像度変換装置４００は、各処理部が半導体素子によって構成される集積回路として実装される。他方、他の実施形態に係る超解像装置１００、帯域分割装置１０２、帯域合成装置３００または解像度変換装置４００は、コンピュータ９００に実装されてもよい。この場合、各処理部の動作は、プログラムの形式で補助記憶装置９０３に記憶される。ＣＰＵ９０１は、プログラムを補助記憶装置９０３から読み出して主記憶装置９０２に展開し、当該プログラムに従って上記処理を実行する。
なお、少なくとも１つの実施形態において、補助記憶装置９０３は、一時的でない有形の媒体の一例である。一時的でない有形の媒体の他の例としては、インタフェース９０４を介して接続される磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等が挙げられる。また、このプログラムが通信回線によってコンピュータ９００に配信される場合、配信を受けたコンピュータ９００が当該プログラムを主記憶装置９０２に展開し、上記処理を実行してもよい。
また、当該プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、当該プログラムは、前述した機能を補助記憶装置９０３に既に記憶されている他のプログラムとの組み合わせで実現するもの、いわゆる差分ファイル（差分プログラム）であってもよい。
１００ 超解像装置
１０２ 帯域分割装置
１０３ 補間拡大装置
１０５ 超解像信号生成装置
２０３、２０４、２０５ 低域抽出フィルタ
２０６ 高域抽出フィルタ
２０７ 低域信号生成部
２０８ 高域信号生成部
３００ 帯域合成装置
３０１ 低域入力端子
３０２ 高域入力端子
３０４、３０５、３０６、３０７ フィルタ
３０８ 目的信号生成部
１０２ 帯域分割装置
１０３ 補間拡大装置
１０５ 超解像信号生成装置
２０３、２０４、２０５ 低域抽出フィルタ
２０６ 高域抽出フィルタ
２０７ 低域信号生成部
２０８ 高域信号生成部
３００ 帯域合成装置
３０１ 低域入力端子
３０２ 高域入力端子
３０４、３０５、３０６、３０７ フィルタ
３０８ 目的信号生成部
Claims (16)
- 目的信号の低周波成分であるＳ×Ｌ個の標本を有する低域入力信号と、前記目的信号の高周波成分であるＳ×Ｈ個の標本を有する高域入力信号との入力を受け付ける分割信号入力部と、
前記低域入力信号のＬ個の標本と前記高域入力信号のＨ個の標本とからなる標本列の、標本位置に応じたＬ＋Ｈ個の係数による加重和を出力するＭ個のフィルタと、
前記フィルタの出力を結合することでＳ×Ｍ個の標本を有する前記目的信号を生成する目的信号生成部と
を備え、
Ｍ個の前記フィルタにおけるＬ＋Ｈ個の前記係数を要素とする行列の逆行列または疑似逆行列が、低域抽出フィルタとして機能し得るＭ個の係数列を要素とするＬ個の行と高域抽出フィルタとして機能し得るＬ＋Ｈ個の係数列を要素とするＨ個の行とを含む行列であり、
前記Ｌが、１以上の整数であり、
前記Ｈが、１以上の整数であり、
前記Ｓが、１以上の整数であり、
前記Ｍが、３以上の整数である
帯域合成装置。 - 前記Ｍが、前記Ｈと前記Ｌの和である
請求項１に記載の帯域合成装置。 - 前記Ｌが、２以上の整数であり、
Ｌ個の前記行のＭ個の前記係数列が、それぞれ異なる位置にピークを有する
請求項１または請求項２に記載の帯域合成装置。 - 前記Ｈが、２以上の整数であり、
Ｈ個の前記行のＭ個の前記係数列が、それぞれ異なる位置にピークを有する
請求項１から請求項３の何れか１項に記載の帯域合成装置。 - 前記Ｌが３であり、
前記Ｈが１であり、
前記Ｍが４である
請求項１から請求項４の何れか１項に記載の帯域合成装置。 - Ｓ×Ｍ個の標本を有する入力信号のＭ個の標本からなる標本列ごとに、当該標本列の低周波成分を抽出するＬ個の低域抽出フィルタと、
前記入力信号のＭ個の標本からなる標本列ごとに、当該標本列の高周波成分を抽出するＨ個の高域抽出フィルタと、
Ｌ個の前記低域抽出フィルタが抽出した前記低周波成分を結合することでＳ×Ｌ個の標本を有する低域出力信号を生成する低域信号生成部と
Ｈ個の前記高域抽出フィルタが抽出した前記高周波成分を結合することでＳ×Ｈ個の標本を有する高域出力信号を生成する高域信号生成部と
を備え、
前記Ｌが、１以上の整数であり、
前記Ｈが、１以上の整数であり、
前記Ｓが、１以上の整数であり、
前記Ｍが、３以上の整数である
帯域分割装置。 - 前記Ｍが、前記Ｈと前記Ｌの和である
請求項６に記載の帯域分割装置。 - 前記Ｌが、２以上の整数であり、
Ｌ個の前記低域抽出フィルタは、それぞれ異なる標本位置にピークを有する係数列による加重和を算出することで前記低周波成分を抽出する
請求項６または請求項７に記載の帯域分割装置。 - 前記Ｈが、２以上の整数であり、
Ｈ個の前記高域抽出フィルタは、それぞれ異なる標本位置にピークを有する係数列による加重和を算出することで前記高周波成分を抽出する
請求項６から請求項８の何れか１項に記載の帯域分割装置。 - 前記Ｌが３であり、
前記Ｈが１であり、
前記Ｍが４である
請求項６から請求項９の何れか１項に記載の帯域分割装置。 - Ｓ×Ｍ個の標本を有する入力信号のＭ個の標本からなる標本列ごとに、それぞれ異なる標本位置にピークを有する係数列による加重和を算出することで、当該標本列の低周波成分を抽出するＬ個の低域抽出フィルタと、
Ｌ個の前記低域抽出フィルタが抽出した前記低周波成分を結合することでＳ×Ｌ個の標本を有する低域出力信号を生成する低域信号生成部と
を備え、
少なくとも１つの前記低域抽出フィルタの前記係数列のピークが、当該係数列の端部に存在し、当該係数列を構成する係数が、前記係数列の端部に近いほど大きな値であり、
前記Ｌが、２以上の整数であり、
前記Ｓが、１以上の整数であり、
前記Ｍが、３以上の整数である
解像度変換装置。 - Ｓ×Ｌ個の標本を有する原信号に基づいて、当該原信号の高周波成分であるＳ×Ｈ個の標本を有する高域信号を抽出する高域抽出装置と、
前記原信号と前記高域信号とを帯域合成することでＳ×（Ｌ＋Ｈ）個の標本を有する超解像信号を生成する請求項１に記載の帯域合成装置である超解像信号生成装置と
を備える超解像装置。 - 前記高域抽出装置が、
前記原信号を帯域分割することで前記高域出力信号を生成する請求項６に記載の帯域分割装置と、
前記高域出力信号と各標本の値がゼロであるゼロ信号とを帯域合成することで前記高域信号を抽出する請求項１に記載の帯域合成装置である補間拡大装置と
を備える請求項１２に記載の超解像装置。 - コンピュータを、
目的信号の低周波成分であるＳ×Ｌ個の標本を有する低域入力信号と、前記目的信号の高周波成分であるＳ×Ｈ個の標本を有する高域入力信号との入力を受け付ける分割信号入力部、
前記低域入力信号のＬ個の標本と前記高域入力信号のＨ個の標本とからなる標本列の、標本位置に応じたＬ＋Ｈ個の係数による加重和を出力するＭ個のフィルタ、
前記フィルタの出力を結合することでＳ×Ｍ個の標本を有する前記目的信号を生成する目的信号生成部
として機能させ、
Ｍ個の前記フィルタにおけるＬ＋Ｈ個の前記係数を要素とする行列の逆行列または疑似逆行列が、低域抽出フィルタとして機能し得るＭ個の係数列を要素とするＬ個の行と高域抽出フィルタとして機能し得るＬ＋Ｈ個の係数列を要素とするＨ個の行とを含む行列であり、
前記Ｌが、１以上の整数であり、
前記Ｈが、１以上の整数であり、
前記Ｓが、１以上の整数であり、
前記Ｍが、３以上の整数である
プログラム。 - コンピュータを、
Ｓ×Ｍ個の標本を有する入力信号のＭ個の標本からなる標本列ごとに、当該標本列の低周波成分を抽出するＬ個の低域抽出フィルタ、
前記入力信号のＭ個の標本からなる標本列ごとに、当該標本列の高周波成分を抽出するＨ個の高域抽出フィルタ、
Ｌ個の前記低域抽出フィルタが抽出した前記低周波成分を結合することでＳ×Ｌ個の標本を有する低域出力信号を生成する低域信号生成部、
Ｈ個の前記高域抽出フィルタが抽出した前記高周波成分を結合することでＳ×Ｈ個の標本を有する高域出力信号を生成する高域信号生成部
として機能させ、
前記Ｌが、１以上の整数であり、
前記Ｈが、１以上の整数であり、
前記Ｓが、１以上の整数であり、
前記Ｍが、３以上の整数である
プログラム。 - コンピュータを、
Ｓ×Ｍ個の標本を有する入力信号のＭ個の標本からなる標本列ごとに、それぞれ異なる標本位置にピークを有する係数列による加重和を算出することで、当該標本列の低周波成分を抽出するＬ個の低域抽出フィルタ、
Ｌ個の前記低域抽出フィルタが抽出した前記低周波成分を結合することでＳ×Ｌ個の標本を有する低域出力信号を生成する低域信号生成部
として機能させ、
少なくとも１つの前記低域抽出フィルタの前記係数列のピークが、当該係数列の端部に存在し、当該係数列を構成する係数が、前記係数列の端部に近いほど大きな値であり、
前記Ｌが、２以上の整数であり、
前記Ｓが、１以上の整数であり、
前記Ｍが、３以上の整数である
プログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015206215A JP6598365B2 (ja) | 2015-10-20 | 2015-10-20 | 帯域合成装置、帯域分割装置、解像度変換装置、超解像装置およびプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015206215A JP6598365B2 (ja) | 2015-10-20 | 2015-10-20 | 帯域合成装置、帯域分割装置、解像度変換装置、超解像装置およびプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2017078939A JP2017078939A (ja) | 2017-04-27 |
| JP6598365B2 true JP6598365B2 (ja) | 2019-10-30 |
Family
ID=58667030
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015206215A Active JP6598365B2 (ja) | 2015-10-20 | 2015-10-20 | 帯域合成装置、帯域分割装置、解像度変換装置、超解像装置およびプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6598365B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111281396B (zh) * | 2020-01-22 | 2022-09-06 | 哈尔滨理工大学 | 胸腹表面呼吸运动信号超分辨方法 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2522357B2 (ja) * | 1988-09-13 | 1996-08-07 | 日本電気株式会社 | 画像の拡大方式 |
| JPH08294001A (ja) * | 1995-04-20 | 1996-11-05 | Seiko Epson Corp | 画像処理方法および画像処理装置 |
| JP2005217532A (ja) * | 2004-01-27 | 2005-08-11 | Canon Inc | 解像度変換方法及び解像度変換装置 |
| JP4429816B2 (ja) * | 2004-06-10 | 2010-03-10 | オリンパス株式会社 | 撮像装置および画像の高解像度化方法 |
-
2015
- 2015-10-20 JP JP2015206215A patent/JP6598365B2/ja active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2017078939A (ja) | 2017-04-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4767345B2 (ja) | 画像処理装置及び方法、並びに画像表示装置及び方法 | |
| WO2011111819A1 (ja) | 画像処理装置、画像処理プログラム、および、画像を生成する方法 | |
| JPS60502022A (ja) | 潰れウオルシュ・アダマ−ル変換による画像処理方法 | |
| JP4728744B2 (ja) | 画像処理装置 | |
| KR20110008727A (ko) | 다중 대역 합성 필터를 이용한 고해상도 영상 획득 장치 및 방법 | |
| Yoshikawa et al. | Super resolution image reconstruction using total variation regularization and learning-based method | |
| JP2007096431A (ja) | 任意の変換比率を有するデジタル・ビデオ・フォーマット下方変換装置及び方法 | |
| JP6598365B2 (ja) | 帯域合成装置、帯域分割装置、解像度変換装置、超解像装置およびプログラム | |
| KR100298327B1 (ko) | 고속 컨벌루션 처리 방법 및 그 장치 | |
| JPWO2008020487A1 (ja) | 画像処理装置、画像処理プログラム、および画像処理方法 | |
| US8902474B2 (en) | Image processing apparatus, control method of the same, and program | |
| JP5514132B2 (ja) | 画像縮小装置、画像拡大装置、及びこれらのプログラム | |
| JP6580831B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
| JP5203824B2 (ja) | 画像処理装置及び撮像システム | |
| JPWO2007102244A1 (ja) | 画像拡大縮小装置 | |
| JP4323808B2 (ja) | 二次元ピラミッド・フィルタ・アーキテクチャ | |
| WO2015115168A1 (ja) | 画像処理装置 | |
| JP2009008945A (ja) | 画像信号処理装置、画像信号処理方法およびプログラム | |
| JP2004530206A (ja) | 二次元ピラミッド・フィルタ・アーキテクチャ | |
| Azgin et al. | A high performance alternating projections image demosaicing hardware | |
| JP2007188211A (ja) | 画像処理装置、撮像装置、画像処理方法およびそのプログラム | |
| JP2012080255A (ja) | 画像処理装置及びその制御方法 | |
| US10559066B2 (en) | Image processing device and image processing method | |
| JP5624701B2 (ja) | 間引きフィルタおよび間引きプログラム | |
| US20230153944A1 (en) | Super resolution image generating device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180827 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20181026 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190711 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190903 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190930 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6598365 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |