JP5891702B2

JP5891702B2 - 画像処理装置及びプログラム

Info

Publication number: JP5891702B2
Application number: JP2011229952A
Authority: JP
Inventors: 中川　聰; 聰中川
Original assignee: Oki Electric Industry Co Ltd
Current assignee: Oki Electric Industry Co Ltd
Priority date: 2011-10-19
Filing date: 2011-10-19
Publication date: 2016-03-23
Anticipated expiration: 2031-10-19
Also published as: JP2013090204A

Description

本発明は画像処理装置及びプログラムに関し、例えば、入力画像の全体若しくは一部を拡大して出力する場合に適用し得るものである。

従来、入力画像を拡大して高解像度化する方法として、バイリニア法等の補間フィルタによって、入力画素間を補間する方法が一般的に用いられる。また、近年、このような拡大画像の画質を向上させる技術として、種々の超解像技術が研究されている（非特許文献１参照）。

超解像技術では、推定した高解像度画像を低解像度化モデルに従って変換した画像と入力低解像度画像との差分が小さくなるように高解像度画像を補正していく処理が通常繰り返して行われる。

例えば、非特許文献１で紹介されている繰返し逆投影法では、推定された高解像度画像からモデルに従って変換した低解像度画素と入力低解像度画素との差分に、逆投影変換を施して高解像度画像に対する補正量を求めて補正し、かかる補正量の算出に基づく補正を繰り返している。

Ｓ．Ｃ．Ｐａｒｋ，ｅｔ．ａｌ．"Ｓｕｐｅｒ−ＲｅｓｏｌｕｔｉｏｎＩｍａｇｅＲｅｃｏｎｓｔｒｕｃｔｉｏｎ：ＡＴｅｃｈｎｉｃａｌＯｖｅｒｖｉｅｗ．" ＩＥＥＥＳｉｇｎａｌＰｒｏｃｅｓｓｉｎｇＭａｇａｚｉｎｅ，Ｖｏｌ．２０，Ｎｏ．３，Ｍａｙ２００３，ｐｐ．２１−３６

しかしながら、従来の補間フィルタでは、拡大倍率が大きくなるに従ってボケやジャギーといった画質劣化が生じてしまうという課題があった。

超解像技術等の高解像度化技術は、演算処理量や必要となるメモリ量が多い。また、ビデオのフレームレートで連続的にズーム倍率を変化させるような場合（特に、注目領域の移動が伴っている場合）には、演算処理量や必要となるメモリ量が比較的軽量な２倍等に特化したような高解像度化技術（例えば、エッジを保存するような適応的なフィルタ等）を利用することができない。

特に、倍率の変動を想定すると、繰り返し処理を行うような高解像度化技術を用いる場合、低解像度画素と高解像度画素の間の変換行列等の再計算がその都度必要となり、さらに、演算処理量が多くなり動画像の処理は困難であった。

本発明は、上記課題に鑑みなされたものであり、軽微な演算量で画質劣化の少ない解像度変換を行うことができる画像処理装置及びプログラムを提供しようとしたものである。

第１の本発明は、入力画像ごとに、出力画像として抽出する入力画像の領域と倍率を指定して解像度変換を行う画像処理装置において、（１）入力画像を、１つ以上の固定の倍率のいずれかで高解像化可能な高解像化変換部と、（２）前記高解像化変換部によって高解像化された中間画像を保持する中間画像記憶部と、（３）前記中間画像記憶部の中間画像を参照して解像度変換を施して出力画像を得る解像度変換部と、（４）入力画像に対して指定された倍率に近い、前記高解像化変換部が対応可能な倍率を選択すると共に、選択倍率及び指定領域とに基づいて、入力画像における高解像化変換処理領域を算出して高解像化変換部を制御する高解像化制御部と、（５）前記高解像化制御部で選択された倍率と前記指定倍率との比を中間画像を出力画像に変換する際の倍率とすると共に、中間画像を出力画像に変換する際に必要となる基準的な位置情報である変換パラメータを算出して、前記解像度変換部を制御する解像度変換制御部とを有し、（６）前記解像度変換部が、所定のｍＸｍタップの補間フィルタ処理を適用し、（７）前記高解像化制御部が、前記ｍｘｍタップの補間フィルタ処理に必要となる分、指定領域を拡大した領域分の中間画像を生成させるように、前記高解像化変換部を制御することを特徴とする。

第２の本発明の画像処理プログラムは、入力画像ごとに、出力画像として抽出する入力画像の領域と倍率を指定して解像度変換を行う画像処理装置に搭載されるコンピュータを、（１）入力画像を、１つ以上の固定の倍率のいずれかで高解像化可能な高解像化変換部と、（２）前記高解像化変換部によって高解像化された中間画像を保持する中間画像記憶部と、（３）前記中間画像記憶部の中間画像を参照して解像度変換を施して出力画像を得る解像度変換部と、（４）入力画像に対して指定された倍率に近い、前記高解像化変換部が対応可能な倍率を選択すると共に、選択倍率及び指定領域とに基づいて、入力画像における高解像化変換処理領域を算出して高解像化変換部を制御する高解像化制御部と、（５）前記高解像化制御部で選択された倍率と前記指定倍率との比を中間画像を出力画像に変換する際の倍率とすると共に、中間画像を出力画像に変換する際に必要となる基準的な位置情報である変換パラメータを算出して、前記解像度変換部を制御する解像度変換制御部として機能させ、（６）前記解像度変換部が、所定のｍＸｍタップの補間フィルタ処理を適用し、（７）前記高解像化制御部が、前記ｍｘｍタップの補間フィルタ処理に必要となる分、指定領域を拡大した領域分の中間画像を生成させるように、前記高解像化変換部を制御することを特徴とする。

本発明の画像処理装置及びプログラムによれば、軽微な演算量で画質劣化の少ない解像度変換を行うことができる。

第１の実施形態に係る画像処理装置の構成を示す機能ブロック図である。第１の実施形態の画像処理装置における画像処理の説明図である。第２の実施形態に係る画像処理装置の構成を示す機能ブロック図である。

（Ａ）第１の実施形態
以下、本発明による画像処理装置及びプログラムの第１の実施形態を、図面を参照しながら説明する。

（Ａ−１）第１の実施形態の構成
図１は、第１の実施形態に係る画像処理装置の構成を示す機能ブロック図である。第１の実施形態の画像処理装置は、各部を搭載した専用ＩＣチップなどハードウェア的に構成しても良く、また、ＣＰＵが実行するプログラムを中心としてソフトウェア的に構成しても良いが、機能的には、図１で表すことができる。

図１において、第１の実施形態の画像処理装置１００は、高解像化制御部１０１と、解像度変換制御部１０２と、高解像化変換部１０３と、中間画像メモリ１０４と、解像度変換部１０５とを有する。

第１の実施形態の画像処理装置１００には、動画像（映像シーケンス）が１フレーム毎入力されると共に、注目領域の情報と指定倍率とが入力される。

図２は、第１の実施形態の画像処理装置１００における画像処理の説明図である。第１の実施形態の画像処理装置１００は、入力画像（入力された１フレーム分の画像）ＰＩＮ内で指示された注目領域ＡＲ（の画像）を指定倍率で拡大し、出力画像ＰＯＵＴを得るものである。入力画像ＰＩＮは、高解像化変換部１０３に与えられ、注目領域ＡＲの情報（以下、この情報に対しても符号ＡＲを用いる）と指定倍率ｃとは、高解像化制御部１０１及び解像度変換制御部１０２に与えられる。

高解像化変換部１０３は、１つ以上の予め定まっている拡大倍率ａ_ｉ（ｉ＝１，…，ｎ；ｎ≧１）のいずれかで、高解像度変換を実行できるものである。高解像化変換部１０３が対応できる拡大倍率ａ_ｉは、例えば、２倍、４倍などの整数倍である。

高解像化制御部１０１は、高解像化変換部１０３が対応できる拡大倍率ａ_ｉの中から、入力された指定倍率ｃに近似した又は一致した倍率を選択して高解像化変換部１０３に与えられると共に、入力された注目領域情報ＡＲに基づいて、入力画像ＰＩＮにおける高解像化の処理対象となる領域（例えば、後段での補間フィルタ処理を考慮すると処理対象となる領域は注目領域より大きい）を特定して高解像化変換部１０３に与えるものである。

高解像化変換部１０３は、入力画像ＰＩＮにおける、高解像化制御部１０１により特定された領域を、選択された倍率ａ_ｉで高解像化し、得られた中間高解像度画像ＰＩＭを中間画像メモリ１０４に出力するものである。

中間画像メモリ１０４は、中間高解像度画像ＰＩＭをバッファリングするものである。

解像度変換制御部１０２は、入力された指定倍率ｃと高解像化制御部１０１が選択した倍率ａ_ｉとの比ｂや、解像度変換部１０５が利用する基準となる座標の情報である変換パラメータを算出するものである。

解像度変換部１０５は、解像度変換制御部１０２から供給される倍率比ｂや変換パラメータに従って、中間画像メモリ１０４に記憶されている中間高解像度画像ＰＩＭから出力画像ＰＯＵＴを生成して出力するものである。

（Ａ−２）第１の実施形態の動作
次に、以上のような構成を有する第１の実施形態に係る画像処理装置１００の動作を説明する。

動画像（映像シーケンス）は、図示しない処理部によってフレーム毎に分離されて画像処理装置１００に入力され、そのフレーム単位の入力画像ＰＩＮは、高解像化変換部１０３に与えられる。また、図示しない処理部から、入力画像ＰＩＮから抽出して出力画像ＰＯＵＴとして出力するべき注目領域の情報ＡＲと、指定倍率ｃとが画像処理装置１００に入力され、注目領域の情報ＡＲ及び指定倍率ｃは、高解像化制御部１０１及び解像度変換制御部１０２に与えられる。

例えば、第１の実施形態に係る画像処理装置１００が監視カメラからの動画像を処理する監視システムの一要素として適用されている場合、監視員が入力装置を介して指定した監視画像内の領域を注目領域とし、監視員が指定した倍率を指定倍率として、第１の実施形態に係る画像処理装置１００に入力するようにしても良い。また例えば、同様な監視システムであっても、システム自体が自動認識処理により監視画像内に存在する移動物体を認識し、その移動物体を含む領域を注目領域とし、その注目領域のサイズから指定倍率を自動的に演算して、第１の実施形態に係る画像処理装置１００に入力するようにしても良い。

ここで、注目領域ＡＲや指定倍率ｃの特定方法は問われないものである。注目領域ＡＲが矩形の領域に限定されているとする。図２に示すように、入力画像ＰＩＮの左上（の画素）の座標を原点（０，０）とし、Ｘ軸は右に正でＹ軸は下に正の座標系を定義する。注目領域ＡＲを、その左上の座標（ｘ_０，ｙ_０）と、Ｘ軸及びＹ軸方向のサイズ（例えば画素数）ｗ及びｈとで特定しても良い。また、注目領域ＡＲを、その左上の座標（ｘ_０，ｙ_０）と、図２には示していないが、右下の座標とで特定するようにしても良い。なお、以下では、注目領域ＡＲや出力画像ＰＯＵＴに関し、Ｘ軸方向のサイズを「幅」と呼び、Ｙ軸方向のサイズを「高さ」と呼ぶ。指定倍率ｃは、そのもの自体を入力するようにしても良い。例えば、注目領域の中心等を示す座標と指定倍率ｃ及び出力画像のサイズ情報から注目領域ＡＲの座標を算出するようにしても良い。また例えば、指定倍率ｃを直接入力するのではなく、注目領域ＡＲに係るサイズの情報と出力画像ＰＯＵＴの情報とから、高解像化制御部１０１及び解像度変換制御部１０２が算出するようにしても良い（高解像化制御部１０１及び解像度変換制御部１０２の一方が算出し、他方へ与えるようにしても良い）。出力画像ＰＯＵＴのサイズ（幅×高さ）は固定されており、図２に示すようにＷ×Ｈであるとする。この場合、Ｗ／ｗ若しくはＨ／ｈで指定倍率ｃを算出することができる。

入力画像ＰＩＮにおける座標（ｘ，ｙ）と出力画像ＰＯＵＴにおける対応座標（Ｘ，Ｙ）の関係は、（１−１）式〜（１−４）式で表すことができる。

Ｘ＝ｃ（ｘ−ｘ_０） …（１−１）
Ｙ＝ｃ（ｙ−ｙ_０） …（１−２）
Ｗ＝ｃｗ …（１−３）
Ｈ＝ｃｈ …（１−４）
そのため、入力画像ＰＩＮから出力画像ＰＯＵＴへ一気に高解像度変換することも考えられるが、発明が解決しようとする課題の項で説明したような課題に鑑み、第１の実施形態の画像処理装置１００では、入力画像ＰＩＮを中間高解像度画像ＰＩＭに変換し、さらに、中間高解像度画像ＰＩＭを出力画像ＰＯＵＴに変換することによって、出力画像ＰＯＵＴを得ることとしている。

指定倍率ｃが入力されると、高解像化制御部１０１において、高解像化変換部１０３が高解像度変換を実行できる拡大倍率ａ_ｉ（ｉ＝１，…，ｎ；ｎ≧１）の中から、指定倍率ｃに近い又は一致する拡大倍率ａ_ｉが選択され、この選択された拡大倍率ａ_ｉ、指定された注目領域の情報ＡＲから定まる処理対象領域の情報が高解像化変換部１０３に与えられる。これにより、高解像化変換部１０３によって、入力画像ＰＩＮにおける処理対象領域が、選択された拡大倍率ａ_ｉの画像に高解像度変換され、中間高解像度画像ＰＩＭが得られて中間画像メモリ１０４に格納される。

入力画像座標（ｘ，ｙ）と中間高解像度画像座標（ｘ_ｉ，ｙ_ｉ）との対応関係は、（２−１）式〜（２−４）式で表すことができる。

ｘ_ｉ＝ａ_ｉ（ｘ−ｘ_０） …（２−１）
ｙ_ｉ＝ａ_ｉ（ｙ−ｙ_０） …（２−２）
ｗ_ｉ＝ａ_ｉｗ＋ｍ …（２−３）
ｈ_ｉ＝ａ_ｉｈ＋ｍ …（２−４）
ここで、中間高解像度画像ＰＩＭのサイズｗ_ｉ×ｈ_ｉは、（２−３）式及び（２−４）式に示すように、注目領域ＡＲを拡大した分ａ_ｉｗ×ａ_ｉｈに、後段の解像度変換部１０５で使用する補間フィルタのフィルタタップ数ｍだけ幅方向及び高さ方向に画素を追加したサイズとなる。ｍ画素は、幅方向についてはｍ／２画素ずつ左右のそれぞれに追加され、高さ方向についてはｍ／２画素ずつ上下のそれぞれに追加される。例えば、解像度変換部１０５の補間フィルタとして、バイキュービック畳み込みフィルタを適用している場合にはｍ＝４となり、注目領域ＡＲを拡大した分ａ_ｉｗ×ａ_ｉｈの上下左右に２画素ずつを追加した中間高解像度画像ＰＩＭが生成される。

なお、出力画像ＰＯＵＴをラスタスキャン順に生成するような場合には、中間画像メモリ１０４としてｍライン分のラインバッファを適用し、中間高解像度画像ＰＩＭの全てが生成されていなくても、中間高解像度画像ＰＩＭの最新に生成されたｍライン分を中間画像メモリ１０４に格納して、解像度変換部１０５に引き渡すようにしても良い。

また、注目領域ＡＲの座標が整数精度で与えられていない場合には、入力画像ＰＩＮの座標（ｘ，ｙ）に対応する中間高解像度画像ＰＩＭの座標（ｘ_ｉ，ｙ_ｉ）が整数位置となるように注目領域ＡＲの左上の座標（ｘ_０，ｙ_０）を調整しておき、この調整分を解像度変換部１０５で逆に調整するように構成しても良い。

高解像化変換部１０３が実行する高解像化変換処理は、拡大倍率ａ_ｉとして２倍や整数倍等に特化してエッジ保存型の適応的な高解像化フィルタ等を用いても良い。また、拡大倍率ａ_ｉで拡大された中間画像を、固定の解像度間変換行列を用いて（変換行列に関しては、例えば、特開平１１−７３４１０に記載されている）、入力画像の低解像度へ写像して、入力画像との誤差を最小化するような繰り返し演算を行う高解像化技術などを用いても良い。この場合も、予め拡大倍率ａ_ｉが固定されているので、入力画像ＰＩＮの画素位置と中間画像の画素位置の関係は繰り返しパターンとなり、また、画素値間の写像で想定する点広がり関数等も繰り返しパターンとして予め組み込んでおくようにすることもできる。なお、複数画像からの高解像化処理を用いる場合には、複数の入力画像ＰＩＮを高解像化変換部１０３内でバッファリングするように構成しても良い。

解像度変換制御部１０２において、指定倍率ｃと選択された高解像化の拡大倍率ａ_ｉの比ｂ＝ｃ／ａ_ｉが、解像度変換部１０５で用いる倍率として算出される。また、解像度変換制御部１０２において、基準となる座標の情報である変換パラメータ（ｘ_ｉ０，ｙ_ｉ０）が算出される。中間高解像度画像座標（ｘ_ｉ，ｙ_ｉ）と出力画像座標（Ｘ，Ｙ）の対応関係は、（３−１）式及び（３−２）式に従っているとして、変換パラメータ（ｘ_ｉ０，ｙ_ｉ０）を算出する。

Ｘ＝ｂ（ｘ_ｉ−ｘ_ｉ０） …（３−１）
Ｙ＝ｂ（ｙ_ｉ−ｙ_ｉ０） …（３−２）
ここで、変換パラメータ（ｘ_ｉ０，ｙ_ｉ０）は、解像度変換部１０５で用いるフィルタタップ数ｍ、及び、注目領域ＡＲの左上座標（ｘ_０，ｙ_０）が整数位置でなかった場合に整数位置に調整したのと逆に調整する量から算出される。すなわち、変換パラメータ（ｘ_ｉ０，ｙ_ｉ０）は、入力画像ＰＩＮ上の注目領域ＡＲの（調整前の）左上座標（ｘ_０，ｙ_０）が中間高解像度画像ＰＩＭに写像された座標である。

解像度変換部１０５において、解像度変換制御部１０２から供給された倍率比ｂや変換パラメータ（ｘ_ｉ０，ｙ_ｉ０）が適用され、中間画像メモリ１０４に格納されている中間高解像度画像ＰＩＭから、補間フィルタ等により、出力画像ＰＯＵＴが生成されて出力される。

以下では、一例として、補間フィルタとしてバイキュービック畳み込み補間フィルタを適用する場合を説明する。この場合、フィルタタップ数ｍは４である。求めようとしている出力画素値の位置（Ｘ，Ｙ）に対応する中間画像座標上の点（ｘ_ｉ，ｙ_ｉ）を上述した（３−１）式及び（３−２）式を、ｘ_ｉ及びｙ_ｉを求める式に変換した式に従って算出する。中間画像座標上の点（ｘ_ｉ，ｙ_ｉ）の近傍のｍ×ｍ（すなわち、４×４）画素の中間画像高解像度画素をフィルタ処理で用いる画素とする。出力画素値の位置（Ｘ，Ｙ）に対応する中間画像座標上の点（ｘ_ｉ，ｙ_ｉ）の整数画素位置からのずれ（ｕ，ｖ）、言い換えると、点（ｘ_ｉ，ｙ_ｉ）の小数点以下の部分の値を算出する。この算出式は、（４−１）式及び（４−２）式で表され、算出式中のｆｌｏｏｒは床関数を表している。適用するｍ×ｍ画素のそれぞれについて、点（ｘ_ｉ，ｙ_ｉ）の整数画素位置からのずれ（ｕ，ｖ）に応じて定まるフィルタ係数を用いてバイキュービック畳み込み補間フィルタ処理を施し、出力画像ＰＯＵＴ上の位置（Ｘ，Ｙ）における画素値を得る。

ｕ＝ｘ_ｉ−ｆｌｏｏｒ（ｘ_ｉ） …（４−１）
ｖ＝ｙ_ｉ−ｆｌｏｏｒ（ｙ_ｉ） …（４−２）
ここで、バイキュービック畳み込み補間フィルタの場合、フィルタ係数はずれ（ｕ，ｖ）に関する３次式となり、一般的に言えば演算量は多い。しかし、水平方向、垂直方向に分離可能であり、また、ずれ（ｕ，ｖ）を適切な精度で離散化すれば、フィルタ係数を予めテーブル化しておくことなどができ、演算量を軽微にすることが可能である。例えば、各方向のずれ（小数点以下）ｕ又はｖをそれぞれ、４ビット（１／１６精度）に離散化する場合には１６エントリのテーブルとすることができる。

また、分離可能な補間フィルタを用いる場合には、水平方向にフィルタにより変換したラインを垂直方向にタップ数分だけバッファし、その後、垂直方向にフィルタにより変換することにより演算量を削減するように構成することもできる。

（Ａ−３）第１の実施形態の効果
第１の実施形態によれば、固定の拡大倍率を有する高解像化変換部を設けたので、簡単な補間フィルタのみによる処理に比べて、画質の劣化を低減した解像度変換を行うことが可能となり、倍率を固定しているので、特定の倍率に特化した高解像化変換処理を用いることが可能となる。

また、第１の実施形態によれば、高解像度化の固定拡大倍率と指定倍率との比に応じた補間フィルタ等による解像度変換部を設けたので、比較的軽量な処理で、任意の指定倍率に対応することが可能となっている。

さらに、第１の実施形態によれば、それぞれの解像度変換処理に対して、変換対象領域を限定することができ、処理対象のデータ処理量を削減することができる。

以上から明らかなように、第１の実施形態によれば、軽微な演算量で画質劣化の少ない解像度変換を行うことができる。

（Ｂ）第２の実施形態
次に、本発明による画像処理装置及びプログラムの第２の実施形態を、図面を参照しながら説明する。

（Ｂ−１）第２の実施形態の構成
図３は、第２の実施形態に係る画像処理装置の構成を示す機能ブロック図であり、上述した第１の実施形態に係る図１との同一、対応部分には同一、対応符号を付して示している。

図３において、第２の実施形態の画像処理装置１００Ａは、高解像化制御部１０１Ａ、解像度変換制御部１０２、高解像化変換部１０３Ａ、中間画像メモリ１０４及び解像度変換部１０５に加え、倍率安定化検出部１０６及び高解像化変換行列生成部１０７を有する。なお、高解像化制御部１０１Ａ及び高解像化変換部１０３Ａの機能も、第１の実施形態のものと多少機能が変わっている。

第２の実施形態の場合、指定倍率ｃは倍率安定化検出部１０６にも入力されるようになされている。倍率安定化検出部１０６は、指定倍率の変動が安定化したか否かを判断するものであり、指定倍率の変動が安定化したと判断した場合には、安定化倍率を算出し、算出した安定化倍率を、高解像化制御部１０１Ａ及び高解像化変換行列生成部１０７に与えるものである。

変換行列生成部１０７は、安定化倍率が供給された場合に、入力画像解像度と安定化倍率倍された中間画像解像度間の高解像化処理で用いる解像度間の変換行列を生成し、高解像化変換部１０３Ａに供給するものである。

第２の実施形態の高解像化制御部１０１Ａが第１の実施形態と異なる点は、倍率安定化検出部１０６が指定倍率の変動が安定化したと判断した場合には安定化倍率を選択し、指定倍率の変動が安定化していないと判断した場合には高解像化変換部１０３Ａが対応可能な１つ以上の固定の拡大倍率の中から指定倍率に近い又は一致する倍率を選択し、高解像化変換部１０３Ａに与える点である。

第２の実施形態の高解像化変換部１０３Ａも、入力画像ＰＩＮのうち高解像化制御部１０１Ａにより指定された領域を指定された倍率で高解像化し、中間高解像度画像ＰＩＭを中間画像メモリ１０４に出力する。第２の実施形態の高解像化変換部１０３Ａは、安定化倍率が指定された場合には、高解像化変換行列生成部１０７から供給される変換行列を参照しつつ高解像化処理を行う点が、第１の実施形態のものと異なっている。

解像度変換制御部１０２、中間画像メモリ１０４及び解像度変換部１０５は、第１の実施形態のものと同様であるので、その機能説明は省略する。

（Ｂ−２）第２の実施形態の動作
次に、以上のような構成を有する第２の実施形態に係る画像処理装置１００Ａの動作を説明する。以下では、第１の実施形態と異なる動作を中心に説明し、第１の実施形態と同様な動作については説明をできるだけ省略する。

第２の実施形態の場合、図示しない処理部から当該画像処理装置１００Ａに入力された指定倍率ｃは、高解像化制御部１０１及び解像度変換制御部１０２に与えられるだけでなく、倍率安定化検出部１０６にも与えられる。倍率安定化検出部１０６においては、入力画像ＰＩＮ（フレーム）毎に与えられた指定倍率に基づき、指定倍率の変動が安定したか否かが判断され、安定した場合には、安定化倍率が算出される。

安定化の判断方法としては、直前フレーム（直前フレームのフレーム毎のパラメータをｔ−１とする）の指定倍率ｃ（ｔ−１）と現フレームの指定倍率ｃ（ｔ）の差あるいは比が、所定の閾値より小さいときに安定化していると判断する方法を適用できる。また、所定閾値と比較するパラメータとして、現フレームに対する直前過去の所定フレーム数における指定倍率の平均（すなわち、移動平均）等の統計量との関係を適用するようにしても良い。

安定化倍率としては、現フレームの指定倍率在ｃ（ｔ）若しくは指定倍率の移動平均等を、整数で近似した値ａ（ｔ）を用いる。あるいは、安定化倍率は、現フレームの指定倍率在ｃ（ｔ）若しくは指定倍率の移動平均等を、小さな整数（例えば１０未満の整数）の比で表される有理数に近似した値ａ（ｔ）を用いる。ここで、既に、安定化倍率ａ（ｔ−ｋ）が選択されている場合には、指定倍率ｃ（ｔ）が選択中の安定化倍率ａ（ｔ−ｋ）から所定の閾値以上に逸脱しない限り選択中の安定化倍率ａ（ｔ−ｋ）を現フレームの安定化倍率ａ（ｔ）として継続して出力するように制御しても良い。

変換行列生成部１０７においては、高解像化変換部１０３Ａで使用する、安定化倍率ａ（ｔ）に対応する変換行列を生成する。変換行列は、入力画像解像度と中間画像解像度との間の高解像化処理で用いるものであり、安定化倍率ａ（ｔ）によって変化するものである。安定化倍率ａ（ｔ）が整数（若しくは分母及び分子が小さな有理数）であるので、変換行列は繰り返しパターンとなり、繰り返しの１周期分のみを生成するなどして演算量やメモリ容量を削減するように構成しても良い。

高解像化制御部１０１Ａにおいては、倍率安定化検出部１０６が指定倍率の変動か安定化したと判断した場合には安定化倍率ａ（ｔ）を選択し、安定化していないと判断した場合には、高解像化変換部１０３Ａが対向可能な倍率の中から、指定倍率ｃに近い若しくは一致した倍率ａ_ｉを選択する。安定化倍率ａ（ｔ）若しくは選択された倍率ａ_ｉに対する処理対象領域等の算出は第１の実施形態の場合と同様である。

高解像化変換部１０３Ａにおいては、入力画像ＰＩＮのうち、高解像化制御部１０１Ａにより指定された領域が、指定された倍率ａ（ｔ）若しくはａ_ｉで高解像化され、中間高解像度画像ＰＩＭが生成されて中間画像メモリ１０４に格納される。このとき、安定化倍率ａ（ｔ）が指定された場合には、高解像化変換行列生成部１０７から供給される変換行列が参照され、高解像化処理が実行される。

中間高解像度画像ＰＩＭから出力画像ＰＯＵＴへの解像度変換については、入力画像ＰＩＮから中間高解像度画像ＰＩＭへの高解像度変換に適用された倍率が、安定化倍率ａ（ｔ）若しくは選択された倍率ａ_ｉとなっている点を反映させている点を除けば、第１の実施形態と同様の動作であるので、その説明は省略する。

（Ｂ−３）第２の実施形態の効果
第２の実施形態によれば、第１の実施形態と同様の効果が得られることに加えて次のような効果が得られる。

注目領域、倍率の変動が安定化した場合（例えば、ズーム動作等が終了し同じ注目領域を同じ倍率で拡大し続けるような場合）には、高解像化変換処理を最適化するような変換行列等を生成して処理するよう構成したので、画質劣化が知覚されやすい安定状態の画質を改善することが可能となる。

また、変換行列が繰り返しパターンとなるように安定化倍率を近似するので、変換行列の生成や高解像化処理の演算量、メモリ容量を削減することができる。

（Ｃ）他の実施形態
上記各実施形態の説明では、高解像化変換部１０３、１０３Ａや解像度変換部１０５が常に処理を行うよう記載したが、処理条件によっては、高解像化変換部１０３、１０３Ａ又は解像度変換部１０５が入力された画像や画素の情報をそのままスル―（バイパス）するようにしても良い。

例えば、指定倍率ｃが１で、入出力の画素位置にずれがない場合は、高解像化変換部１０３、１０３Ａや解像度変換部１０５等をバイパスして入力画素をそのまま対応する出力画素として出力するように構成しても良い。

また例えば、入力画像から出力画像への変換が縮小となる場合や、指定倍率ｃが１に近い場合には、高解像化処理部１０３、１０３Ａをバイパスして、解像度変換部１０５での変換処理のみを行うようにしても良い。

さらに例えば、指定倍率ｃが、高解像化変換部１０３、１０３Ａが対応可能な倍率と一致するなど、解像度変換部１０５の処理を省略できる場合には、解像度変換部１０５をバイパスするように構成しても良い。

１００、１００Ａ…画像処理装置、１０１、１０１Ａ…高解像化制御部、１０２…解像度変換制御部、１０３、１０３Ａ…高解像化変換部、１０４…中間画像メモリ、１０５…解像度変換部、１０６…倍率安定化検出部、１０７…変換行列生成部。

Claims

入力画像ごとに、出力画像として抽出する入力画像の領域と倍率を指定して解像度変換を行う画像処理装置において、
入力画像を、１つ以上の固定の倍率のいずれかで高解像化可能な高解像化変換部と、
前記高解像化変換部によって高解像化された中間画像を保持する中間画像記憶部と、
前記中間画像記憶部の中間画像を参照して解像度変換を施して出力画像を得る解像度変換部と、
入力画像に対して指定された倍率に近い、前記高解像化変換部が対応可能な倍率を選択すると共に、選択倍率及び指定領域とに基づいて、入力画像における高解像化変換処理領域を算出して高解像化変換部を制御する高解像化制御部と、
前記高解像化制御部で選択された倍率と前記指定倍率との比を中間画像を出力画像に変換する際の倍率とすると共に、中間画像を出力画像に変換する際に必要となる基準的な位置情報である変換パラメータを算出して、前記解像度変換部を制御する解像度変換制御部とを有し、
前記解像度変換部が、所定のｍＸｍタップの補間フィルタ処理を適用し、
前記高解像化制御部が、前記ｍｘｍタップの補間フィルタ処理に必要となる分、指定領域を拡大した領域分の中間画像を生成させるように、前記高解像化変換部を制御する
ことを特徴とする画像処理装置。
入力画像について指定された倍率の変動が安定化したことを検出し、変動が安定化した倍率を近似する安定化倍率を算出する倍率安定化検出部と、
前記倍率安定化検出部によって指定倍率が安定化したと判断された場合に、前記高解像化変換部で用いる解像度間の変換行列を算出する変換行列生成部とをさらに有し、
前記高解像化制御部は、安定化倍率が指定された場合にはこれを高解像化倍率として選択し、
前記高解像化変換部は、安定化倍率が指定された場合には、前記変換行列生成部によって算出された変換行列を用いて高解像化変換処理を行う
ことを特徴とする請求項１に記載の画像処理装置。
前記高解像化変換部の変換処理が、２倍若しくは整数倍に特化したエッジ保存型の適応的なフィルタ処理を含むことを特徴とする請求項１又は請求項２に記載の画像処理装置。
前記高解像化変換部の変換処理が、固定の解像度間変換行列を用いて中間画像を入力画像解像度に写像した画像と入力画像との差を最小化するような繰り返し処理を含むことを特徴とする請求項１又は請求項２に記載の画像処理装置。
前記高解像化変換部の変換処理が、前記変換行列生成部から供給される解像度間の変換行列を用いて、中間画像を入力画像解像度に写像した画像と入力画像との差を最小化するような繰り返し処理を含むことを特徴とする請求項２に記載の画像処理装置。
前記解像度変換部はラスタスキャン順に出力画像を生成するものであり、前記中間画像記憶部はｍライン分のラインバッファを用いて構成されていることを特徴とする請求項１に記載の画像処理装置。
前記解像度変換部が、出力画素位置に対応する中間画像座標の位置の小数点以下を所定ビット数で規定できる精度で離散化し、補間フィルタ係数を予めテーブル化して保持しておくことを特徴とする請求項１に記載の画像処理装置。
前記高解像化制御部が、指定領域の座標が整数精度で指定されていない場合に、対応する中間画像座標の位置が整数精度となるように座標系を調整し、調整分を前記解像度変換制御部で逆に調整された変換パラメータとして算出することを特徴とする請求項１又は請求項２に記載の画像処理装置。
前記高解像化変換部が、入力画像をバッファリングし、バッファリングされた過去の入力画像も高解像化変換に利用することを特徴とする前記請求項１又は請求項２に記載の画像処理装置。
前記倍率安定化検出部が、過去の指定倍率の統計量との閾値処理により倍率の変動が安定化したことを検出することを特徴とする請求項２に記載の画像処理装置。
前記倍率安定化検出部が、指定倍率を、整数でなる安定化倍率、若しくは、小さい整数の比で表される有理数でなる安定化倍率に近似し、
前記変換行列生成部は、解像度間の変換行列の繰り返しパターン分の変換行列を生成する
ことを特徴とする請求項２に記載の画像処理装置。
入力画像ごとに、出力画像として抽出する入力画像の領域と倍率を指定して解像度変換を行う画像処理装置に搭載されるコンピュータを、
入力画像を、１つ以上の固定の倍率のいずれかで高解像化可能な高解像化変換部と、
前記高解像化変換部によって高解像化された中間画像を保持する中間画像記憶部と、
前記中間画像記憶部の中間画像を参照して解像度変換を施して出力画像を得る解像度変換部と、
入力画像に対して指定された倍率に近い、前記高解像化変換部が対応可能な倍率を選択すると共に、選択倍率及び指定領域とに基づいて、入力画像における高解像化変換処理領域を算出して高解像化変換部を制御する高解像化制御部と、
前記高解像化制御部で選択された倍率と前記指定倍率との比を中間画像を出力画像に変換する際の倍率とすると共に、中間画像を出力画像に変換する際に必要となる基準的な位置情報である変換パラメータを算出して、前記解像度変換部を制御する解像度変換制御部として機能させ、
前記解像度変換部が、所定のｍＸｍタップの補間フィルタ処理を適用し、
前記高解像化制御部が、前記ｍｘｍタップの補間フィルタ処理に必要となる分、指定領域を拡大した領域分の中間画像を生成させるように、前記高解像化変換部を制御する
ことを特徴とする画像処理プログラム。
上記コンピュータを、
入力画像について指定された倍率の変動が安定化したことを検出し、変動が安定化した倍率を近似する安定化倍率を算出する倍率安定化検出部と、
前記倍率安定化検出部によって指定倍率が安定化したと判断された場合に、前記高解像化変換部で用いる解像度間の変換行列を算出する変換行列算出部としても機能させ、
前記高解像化制御部は、安定化倍率が指定された場合にはこれを高解像化倍率として選択し、
前記高解像化変換部は、安定化倍率が指定された場合には、前記変換行列算出部によって算出された変換行列を用いて高解像化変換処理を行う
ことを特徴とする請求項１２に記載の画像処理プログラム。